В главе 1 мы обсуждали, кого или что представляют данные, используемые для обучения моделей. Мы заметно продвинулись: сегодня едва ли найдется система распознавания лиц для массового потребителя, которая разрабатывается без учета репрезентативности обучающих данных. Однако стоит помнить, что такие модели применяются не только в потребительском ПО (для подписей и фото) или в аппаратных решениях (для разблокировки смартфонов). Поэтому возникает вопрос: действительно ли повышение точности распознавания лиц представителей расовых меньшинств, уже находящихся под пристальным вниманием, – безусловное благо?
Удивительно, насколько проблемы репрезентации в потребительских технологиях перекликаются с более старыми, сложными и, возможно, более опасными несоответствиями. Недавно я обедал с группой врачей-исследователей. Когда я рассказал им о переходе к более репрезентативным данным для обучения моделей машинного обучения, они почти хором напомнили: большинство медицинских исследований по-прежнему проводится на мужчинах [795].
Выбор участников клинических испытаний – палка о двух концах. Даже разумные на первый взгляд ограничения, призванные защитить уязвимые группы (например, запрет на участие беременных женщин и пожилых людей), порождают неравенство и пробелы в данных.
Яркий пример – история с препаратом талидомид. Его выпустили на рынок как «абсолютно безопасный», поскольку производитель «не смог обнаружить дозу, достаточную для того, чтобы убить крысу». Однако оно вызвало десятки тысяч врожденных уродств, прежде чем было снято с продажи [796]. Американцы избежали этой трагедии благодаря доктору Фрэнсис Олдхэм Келси из Управления по контролю качества продуктов и лекарств, которая проявила скептицизм и не допустила препарат на рынок.
В случае контролируемого обучения, где данные «размечены», критически важно не только то, какие данные мы включаем, но и то, как мы расставляем метки, которые система воспринимает как эталон. Зачастую эта «истина» таковой не является.
К примеру, ImageNet опиралась на суждения случайных пользователей Интернета. Если большинство людей считает волчонка щенком, то и система распознавания образов будет думать, что это щенок.
Известен случай, когда Андрей Карпатый (ныне директор по ИИ в Tesla, а тогда – аспирант Стэнфорда) почти неделю занимался разметкой изображений для ImageNet, проводя человеческий эталонный тест. После некоторой практики он достиг 95 % «точности». Но… точности относительно чего? Не относительно истины, а относительно консенсуса [797].
На философском уровне разметка отражает некий полуфабрикат объектной модели, который мы вынуждены принимать без вопросов. Каждое изображение в ImageNet относится к одной из тысячи категорий [798]. Чтобы использовать эти данные и модели, обученные на их основе, мы должны принять допущение: все тысячи категорий взаимно уникальны и исчерпывающи. Изображение не может быть отнесено одновременно к категориям «ребенок» и «собака», даже если оба объекта присутствуют. Любой объект на фото обязан входить в одну из тысячи категорий. Если на фото изображен мул, а в категориях есть только «осел» и «лошадь», модель должна выбрать один из этих вариантов – двоякое толкование исключено. В условиях стохастического градиентного спуска модель принуждается принять эту догму. Подписи не могут быть неопределенными – даже если разные люди поставили разные метки, мы не знаем, насколько они не уверенны или колебались.
Помимо данных и подписей, стоит задуматься о целевой функции. Системы распознавания изображений часто обучаются с помощью функции потерь перекрестной энтропии. Если опустить технические детали, она штрафует за любое неправильное отнесение к категории. С точки зрения этой функции, ошибочно назвать кухонную плиту автомобильным грилем, перепутать зеленое яблоко с грушей и принять английского бульдога за французского стоит так же дорого, как ошибочно классифицировать человека как гориллу. Но в реальности некоторые ошибки в тысячи или миллионы раз серьезнее других [799]– хотя бы с точки зрения политики Google, не говоря уже о чувствах людей, которых отнесли к другой категории.
Во второй части главы 1 мы говорили о векторном представлении слов и его способности работать как аналогия. За внешней простотой скрывалась сложная проблема выравнивания.
Что такое аналогия? Например, прямое сложение векторов (метод «параллелограмма» или алгоритм 3CosAdd) часто дает слово, которое оказывается собственной лучшей аналогией. Выражение «врач – мужчина + женщина» порождает вектор, ближайшим словом к которому оказывается просто врач [800].
Группа исследователей Толги Болукбаси и Адама Калаи сочла такой результат неудовлетворительным: для аналогии важно, чтобы два объекта хотя бы в чем‐то различались. Поэтому они предложили иной подход. Они определили «радиус сходства» вокруг слова «врач», включив в него «медсестру», «акушерку», «гинеколога», «медика», «ортопеда», но исключив «фермера», «секретаря» и «правоведа». Затем они искали внутри этого радиуса ближайшее слово, отличное от «врача».
Есть и другие подводные камни. Геометрия векторов слов (представление слов как точек в математическом пространстве) делает аналогии симметричными, что не всегда соответствует человеческому восприятию. Например, люди говорят, что эллипс похож на круг, но не что круг похож на эллипс, или что Северная Корея похожа на Китай, но не что Китай похож на Северную Корею [801].
Так какой же алгоритм позволит создать репрезентацию слов, которая будет ближе к человеческим аналогам [802]?
Может возникнуть мысль: зачем специалистам по информатике, лингвистам и когнитивным психологам спорить об этом и разрабатывать новые алгоритмы? Почему бы не обучить машину на примерах человеческих аналогий, включив асимметрию и нюансы, и позволить ей найти приемлемый способ определять, что такое аналогия?
Мешает проблема выравнивания. Человеческое понятие «аналогии» столь же расплывчато и неопределенно, как и многие другие. В результате приходится использовать тот же набор инструментов для выравнивания, который применяется в других контекстах.