У всех систем машинного обучения от перцептрона и далее существует свой эквивалент карты Ширли, а именно – набор информации, по которому они обучаются. Если в нем определенный тип данных представлен в недостаточном объеме или отсутствует, но имеется в реальном мире, тогда ситуация становится непредсказуемой [64].
Как говорит Мориц Хардт из Калифорнийского университета в Беркли, «вся соль больших данных в том, что мы можем создавать более качественные классификаторы во многом благодаря обширным наборам данных. Как следствие, нехватка данных приводит к неудовлетворительным результатам. К несчастью, надо признать, данных об этнических меньшинствах собрано попросту меньше. Это означает, что наши модели решают задачи, касающиеся национальных меньшинств, хуже, чем отвечают на вопросы о населении в целом» [65].
Раздраженный твит Алсине, отправленный поздним вечером, был связан именно с этим чувством. Он программист. Он мгновенно определил, что пошло не так. Как заключил Джеки, Google Photos не получили фотографий чернокожих людей в том же количестве, что и фотографий белых. И модель, увидев нечто незнакомое, делала ошибку с большей вероятностью.
«Опять же, я могу понять, как это произошло, – рассказал мне Алсине [66]. – Скажем, вы фотографируете только красные яблоки. Когда машина увидит зеленое яблоко, она может подумать, что это груша. Казалось бы, мелочь. Я понимаю. Но если вы известная во всем мире компания, если ваша миссия – внести в указатель социальные знания обо всех людях, как вы могли так запросто пропустить целый континент людей?»
Кажется, проблемы ХХ века перекочевывают в XXI. К счастью, некоторые способы их разрешения тоже. Всего лишь нужен тот, кто задастся вопросом, кто и что появится на эталонных картах Ширли XXI века и как могут выглядеть лучшие из них.
Когда в начале 2010‐х годов Джой Буоламвини училась на факультете информационных технологий Технологического института Джорджии, ей дали задание запрограммировать робота для игры в прятки. Программа была несложной, но возникла проблема: робот не распознавал лицо Буоламвини. «Пришлось просить соседку по комнате о разрешении использовать ее лицо, чтобы доделать проект и сдать задание. Я подумала: „Пусть кто‐то другой возится с этой проблемой“» [67].
Позднее, во время учебы в аспирантуре Буоламвини поехала в Гонконг на конкурс предпринимателей. Местный стартап показывал демоверсию одного из своих «социальных роботов». Демо сработала на всех в группе, кроме… Буоламвини! Дело в том, что стартап использовал тот же открытый код для распознавания лиц, который она применяла в Технологическом институте Джорджии.
В одной из первых статей, где открыто говорилось о существовании неравенства в компьютерных системах, Батиа Фридман из университета Вашингтона и Хелен Ниссенбаум из Корнеллского университета предупреждали, что «распространять компьютерные системы достаточно дешево, и когда‐нибудь разработанная система с предрассудками может оказать очень широкое влияние. Если она будет стандартом в отрасли, ее воздействие станет преобладающим» [68].
Или, как сказала сама Буоламвини, «объехав половину мира, я поняла, что алгоритмическое неравенство может перемещаться со скоростью скачиваемых из Интернета файлов» [69].
Закончив Оксфорд как стипендиат Родса, Буоламвини пришла работать в медиалабораторию Массачусетского технологического института. Там она занялась проектом дополненной реальности под названием «Зеркало желаний». В его основе была идея – разместить вдохновляющие или веселые изображения поверх лица пользователя, который мог превратиться, к примеру, во льва. Опять же, возникла только одна проблема. «Зеркало» работало с лицом самой Буоламвини, только если она надевала белую маску.
И дело не в стохастическом градиентном спуске, дело явно в наборе изображений, по которым обучаются системы. Каждая система распознавания или определения лиц имеет за собой (и – в неявном виде – внутри себя) набор изображений – обычно десятки или сотни тысяч, – на которых система первоначально развивалась и обучалась. Этот набор данных для обучения, карты Ширли XXI века, часто невидим, принимается как само собой разумеющееся или вообще отсутствует: заранее обученная модель распространяется онлайн, а набор обучающих данных почти никогда не поставляется в комплекте. Но он очень ощутимо дает о себе знать и постоянно формирует поведение развернутой системы.
Таким образом, движение к искоренению неравенства – это попытка вытащить на свет и лучше понять наборы данных для обучения, стоящие за крупными научными и коммерческими системами машинного обучения.
К примеру, одна из самых популярных публично доступных баз данных с изображениями лиц, известная как Labeled Faces in the Wild (LFW), была методично собрана из новостных статей в Интернете и снабжена подписями к изображениям в 2007 году командой Массачусетского университета в Амхерсте. После этого ее бесконечно использовали самые разные исследователи [70]. Тем не менее состав этой базы данных был подробно изучен только много лет спустя. В 2014 году Ху Хань и Анил Джайн из университета штата Мичиган проанализировали набор данных и определили, что 77 % изображений – это фотографии мужчин и более 83 % – белых [71]. Самый часто встречающийся человек в базе данных – это тот, кто больше других появлялся на фотографиях в новостях 2007 года, – тогдашний президент Джордж Буш-младший, 530 уникальных изображений. В действительности его изображения встречаются в LWF более чем в два раза чаще, чем фотографии всех черных женщин в совокупности [72].
В оригинальной статье 2007 года, где описывается база данных, отмечено, что выбор изображений из статей онлайн-новостей «очевидно, имеет определенную пристрастность», но она оценивалась не с социальной, а с технической точки зрения: «Например, здесь не слишком много фотографий, сделанных на чрезмерно ярком или скудном свете». Авторы статьи писали, что, если оставить проблемы с освещением в стороне, «набор и разнообразие представленных фотографий очень велики».
Тем не менее двенадцать лет спустя, осенью 2019 года, на странице LFW в Интернете неожиданно появилось заявление об отказе от ответственности, где изложена совершенно иная точка зрения. В нем отмечается, что «в LWF многие группы представлены недостаточно хорошо. Например, здесь почти нет изображений детей, совсем нет младенцев, очень мало людей старше 80 лет и относительно немного женщин. К тому же многие национальности представлены очень слабо или вовсе отсутствуют» [73].
В последние годы наполнению этих наборов данных для обучения начали уделять повышенное внимание, но работы впереди все еще очень много. В 2015 году Аппарат директора национальной разведки США и Агентство передовых исследований в сфере разведки выпустили набор данных с фотографиями лиц под названием IJB-A, где, по их словам, представлены «более широкие географические вариации объектов» [74]. Вместе с Тимнит Гебру из компании Microsoft Буоламвини проанализировала IJB-A. Ученые обнаружили, что более 75 % изображений принадлежат мужчинам и у более 80 % людей на них светлая кожа. Всего 4,4 % фотографий в базе данных – это лица чернокожих женщин [75].
Наконец Буоламвини стало понятно, что «тот, кто должен решить проблему», – это, конечно же, она сама. Она начала широкомасштабное исследование текущего состояния систем распознавания лиц, что стало темой ее диссертации в Массачусетском технологическом институте. Совместно с Гебру они задались целью создать набор данных с более сбалансированным представлением обоих полов и различных тонов кожи. Но где им было взять фотографии? Предыдущие базы данных, собранные из онлайн-новостей, были совершенно не сбалансированы. Исследовательницы решили пойти на компромисс и взять фотографии членов парламента, соединив наборы данных по представителям шести стран: Руанда, Сенегал, Южная Африка, Исландия, Финляндия и Швеция. База данных была однородна с точки зрения возраста, освещения и позы людей на фотографиях. Почти все субъекты были средних лет или старше, находились в центре снимка, смотрели прямо в камеру с нейтральным выражением лица или легкой улыбкой. Но с точки зрения цвета кожи и пола этот набор данных стал самым разнообразным в истории машинного обучения на сегодняшний день [76].
Имея под рукой этот парламентский набор, Буоламвини и Гебру взяли три имеющихся на рынке системы классификации лиц – от IBM, Microsoft и китайской компании Megvii, производителя широко распространенного программного обеспечения Face++ – и прогнали через них свою базу данных.
Внутри набора данных в целом все три системы показали себя достаточно хорошо, правильно определяя пол субъекта – приблизительно на 90 % для всех трех компаний. Во всех трех случаях программное обеспечение было на 10–20 % точнее в работе с мужскими лицами по сравнению с женскими и на те же 10–20 % точнее при работе с более светлыми тонами кожи. Но когда Буоламвини сделала перекрестный анализ по этим двум признакам, получился самый впечатляющий результат. Все три системы значительно хуже классифицировали лица чернокожих женщин. Система IBM, к примеру, для белых мужчин имела погрешность всего в 0,3 %, но 34,7 % для темнокожих женщин – более чем в 100 раз больше.
Аболиционистка и защитница прав женщин Соджорнер Трут особенно известна благодаря своей речи 1851 года «Разве я не женщина?». Буоламвини ядовито повторила этот вопрос в XXI веке, указывая на фотографию Трут, которую современное коммерческое ПО для распознавания лиц снова, снова и снова относило не в ту категорию, определяя женщину как мужчину [77].
22 декабря 2017 года Буоламвини отправила свои результаты во все три компании, объяснив, что она представит их на ближайшей конференции, и давая каждой фирме возможность ответить. Megvii не отозвалась вообще. Microsoft отделалась общими словами: «Мы считаем, что объективность технологий ИИ – это самая главная проблема отрасли, и Microsoft серьезно к ней относится. Мы уже предприняли шаги для повышения точности технологии распознавания лиц и продолжаем вкладывать средства в исследования, чтобы определить и понять неравенство и избавиться от него» [78]. С IBM же получилось совершенно по-другому. Ее сотрудники ответили в тот же день, поблагодарили Буоламвини за то, что связалась с компанией, повторили ее опыт и подтвердили результаты, а затем пригласили исследовательницу в кампусы в Нью-Йорке и Кембридже и в течение нескольких недель объявили о выпуске новой версии API, погрешность которой при распознавании лиц темнокожих женщин снизилась в десятки раз [79].
«Изменения возможны», – говорила Буоламвини. Не существует никаких фундаментальных препятствий (технических или еще каких‐либо) для того, чтобы выровнять это неравенство в показателях; нужно только, чтобы кто‐то задал правильные вопросы.
Работа Буоламвини и Гебру подчеркивает скептицизм, который мы должны ощущать, когда слышим, что какая‐то компания заявляет о «99 % точности» своей системы. Точности в чем? Точности для кого? Также работа исследовательниц напоминает, что любая система машинного обучения – это своего рода парламент, где информация для обучения представляет более широкий электорат и, как при любой демократии, важно убедиться, что у каждого есть возможность отдать свой голос [80].
Предвзятость в системах машинного обучения часто становится результатом состава данных, на которых машина учится, что делает чрезвычайно важным понимание того, кто представлен в наборе данных и до какой степени, прежде чем обучать системы, имеющие дело с реальными людьми.
Но что делать, если ваш набор данных настолько исчерпывающий, насколько это вообще возможно, – скажем, вмещает в себя всю полноту письменного английского языка, несколько сотен миллиардов слов, – но мир сам по себе несправедлив?