Осенью 2012 года аспирантка Массачусетского технологического института Бин Ким, начинавшая работу над диссертацией для получения степени PhD, занялась проектом, который определил ее жизнь на следующие несколько лет. Ранее она занималась робототехникой и зашла так далеко, что получила права на вождение вилочного погрузчика, чтобы лучше понимать атмосферу промышленной робототехники. Но в конце концов Бин решила, что ей это не совсем подходит. «Я поняла, что робототехника имеет связанные с оборудованием ограничения, – рассказывает она. – Мысли у меня летели так быстро, что физически я за ними не успевала» [288].
Постепенно Ким поняла, что интерпретируемость может стать темой диссертации, если не работой всей жизни. Впервые побывав на конференции NeurIPS в декабре того года, она поговорила со старшим коллегой. «Я сказала преподавателю, что работаю над интерпретируемостью, а он ответил что‐то вроде: „А зачем? Нейронные сети решат все проблемы! Почему вас это волнует?“, – вспоминает она с усмешкой. – И я объяснила. Представьте, что вы заходите в кабинет врача, а он заявляет, что собирается вас разрезать и удалить пару органов. Вы спросите зачем. А он скажет: „Я не знаю. Машина сказала, что это для вас лучший вариант. На 99,9 %“».
«Что бы вы на это ответили? – задала она риторический вопрос, на который все‐таки ждала ответа. – Что бы вы сказали врачу? У меня не было сомнений, что нам нужно в этом разобраться. Но я не была уверена, что люди скоро поймут, как это важно».
Дневное солнце проникает через окно конференц-зала в Google Brain, где Ким работает с 2017 года. «Кажется, время пришло».
Ким убеждена в том, что в объяснениях и интерпретациях есть нечто человеческое, и поэтому в них проявляется неупорядоченность и связь разных дисциплин. «Значительная часть этой задачи – все еще не исследованная – касается восприятия человеком, – говорит она. – Я всегда придавала особое значение взаимодействию человека с компьютером, науке о процессах познания… Без них нам не решить эту проблему». Понимать неизбежность человеческой стороны в интерпретируемости означает, что происходящее не всегда удается точно перевести на знакомый язык информатики.
«Некоторые люди думают, что для объяснения необходимо найти математическое определение. Я не считаю это осуществимым, – рассказывает Ким. – Компьютерные специалисты чувствуют себя неуютно – очень неуютно – из-за того, что не поддается вычислениям».
Практически в каждой научной статье Ким есть что‐то необычное для информатики, что‐то, находящееся за гранью науки о компьютерах: современные исследования, затрагивающие человеческие проблемы. «Организация цикла с пользователями критически важна, – говорит исследовательница. – Потому что, если единственная причина вашего существования – потребительство… мы должны доказать, что эта вещь хороша». Этот цикл жизненно важен, потому что часто то, что разработчики считают полезным для пользователей, таковым не является. Если вы разрабатываете интерпретации или интерпретируемые модели, которые будут использовать реальные люди, то процесс должен быть не менее циклическим, чем, скажем, разработка рабочего места летчика или пользовательского интерфейса программного обеспечения [289]. Не ставить эту эмпирическую обратную связь во главу процесса – вызывающая самонадеянность.
Подобные исследования усложняют использование простых моделей. Ким отмечает, что в конце концов все сводится к эмпирическому вопросу – можно ли этот подход к интерпретируемости назвать лучшим. «В очень немногих случаях, когда можно определить и эмпирически оценить, существует ли небольшой набор характерных особенностей, объяснимых в рамках отдельно взятой задачи, – в этих случаях можно записать то, что будет вразумительным для конкретной задачи, и оптимизировать это». Но реальные исследования, проведенные Ким и другими учеными, показывают, что на практике такие вещи редко столь прямолинейны.
Например, в 2017 году Джен Уортман Воган и ее коллеги по Microsoft Research изучали, как пользователи взаимодействуют с моделью машинного обучения, которая определяла стоимость домов и предсказывала их цену с помощью таких характеристик, как метраж, количество ванных комнат и т. д. Люди лучше угадывали прогнозы модели, когда она использовала меньше факторов и, таким образом, была более прозрачной для пользователя. Но ни простота, ни прозрачность не влияют на уровень доверия людей к модели. И в действительности они реже понимают, что модель сделала ошибку, если система более прозрачна [290].
Ким убеждена, что «люди думают и общаются с помощью понятий», а не цифр [291]. Мы взаимодействуем и, по большей части, думаем с помощью слов, эффективно используя понятия высокого уровня (речь не о необработанных сигналах сенсорного восприятия). По этой причине Ким думает, что многие методы, основанные на зрительном восприятии, не до конца справляются с задачей. Они с коллегами работают над тем, что называют тестированием с помощью векторов активации концептов (Concept Activation Vectors, TCAV). Этот способ использовать человеческие понятия, чтобы объяснить внутреннюю работу нейронных сетей.
Например, представим себе модель, правильно распознавшую изображение зебры. Предположим, TCAV показывает, что для своего прогноза нейросеть использовала понятия «полоски», «лошадь» и «саванна». Это вполне резонно. С другой стороны, нейронная сеть, несколько наивно обученная на фотографиях врачей – наборе с систематической ошибкой, – может предположить, что для этого прогноза имеет ценность понятие «мужской». TCAV это покажет и выдаст предупреждение о необходимости настроить модель или изменить данные для обучения, чтобы убрать это искажение [292].
Каким образом мы можем сделать такого рода открытия? На основе каждого изображения в нашей модели возникает не только метка категории, но и обширная схема внутренней деятельности нейронной сети по всем десяткам миллионов искусственных нейронов. Эти внутренние активности нетренированному глазу могут показаться беспорядочной мешаниной, но это не означает, что они столь же бессмысленны по мнению машины. Основная идея TCAV в том, что для любого понятия, например «мужской пол» в случае с врачами, вы показываете нейросети ряд изображений мужчин и ряд изображений, выбранных случайным образом: женщин, животных, растений, автомобилей, мебели и так далее. Внутреннее состояние нейросети (скажем, на каком‐то уровне) вы показываете второй системе – простой линейной модели, которая учится находить отличия между активацией, типичной для выбранной вами категории (в данном случае «мужской пол») и активацией от показа случайно выбранных изображений [293]. Затем можно посмотреть, присутствует ли обнаруженная схема активации и насколько она выражена, когда нейронная сеть относит изображение к категории «врачи».
«Полагаю, этот метод имеет уникальное достоинство, – говорит Ким. – Объяснение дается на языке пользователей. Им не придется изучать принципы машинного обучения… Мы можем все объяснить на языке, на котором они говорят, и откликнуться на их гипотезу, используя их терминологию» [294].
Использовав TCAV для изучения двух популярных моделей распознавания изображений Inception v3 и GoogLeNet, Ким обнаружила целый ряд подобных проблем. Понятие «красный», к примеру, было критически важным для понятия «пожарная машина». «Это имеет смысл, – говорит она, – если вы живете там, где пожарные машины красные» [295]. В Соединенных Штатах это именно так, но не в Австралии, где, в зависимости от района, пожарные машины могут быть белыми, а в Канберре – кислотно-желтыми. Можно предположить, что, допустим, модель беспилотного автомобиля, разработанная на американском наборе данных, может потребовать модификации, прежде чем ее будет безопасно внедрять в других странах.
Также Ким обнаружила, что понятие «руки» было важно при распознавании «гантелей», что соответствует более ранним открытиям группы DeepDream из Google и указывает на то, что нейронная сеть должна научиться находить гантели в рюкзаке или на земле [296]. Понятие «восточно-азиатский» оказалось важным для «мячика для пинг-понга», а понятие «европейский» – для «регби». Эти находки частично могут отражать схемы, которые не являются ошибочными: согласно данным Международного фонда настольного тенниса семь из десяти лучших в мире игроков-мужчин и все десять лучших игроков-женщин происходят из восточно-азиатских стран [297]. Как бы то ни было, результаты указывают на то, что некоторые части модели заслуживают внимательного изучения как с точки зрения точности, так и с точки зрения предвзятости. В любом случае нас не устроит, если система отнесет портрет китайского президента Си Цзиньпина к категории «мячик для пинг-понга», что обнаружили исследователи ИИ из Пьер Сток и Мустафа Циссе [298]. TCAV предлагает способ в явной форме количественно оценить эти проблемы, а в идеале – пресечь их в корне.
Работу Ким по TCAV отметил генеральный директор Google Сундар Пичаи в приветственной речи на конференции I/O в 2019 году. «Недостаточно знать, что модель работает, – сказал Пичаи. – Нужно еще понимать, как она работает».
В 2012 году Ким с трудом могла поверить, что ее идеи найдут свою аудиторию. Ей казалось, что только она, Синтия Рудин и Джули Шах (ее научные руководители в Массачусетском технологическом институте) «хоть как‐то интересуются этой темой». К 2017‐му интерпретируемости и объяснимости были посвящены целые симпозиумы на крупнейших конференциях отрасли. К 2019‐му генеральный директор Google с гордостью описывал ее работу с крупнейшей трибуны компании.
Я спросил Ким, ощущает ли она это признанием ее заслуг.
«Мы прошли такой долгий путь», – говорит она, похоже, не желая наслаждаться сиюминутным удовлетворением или чувством «Я же говорила!» Вместо этого она ощущает большую ответственность: нужно убедиться, что эти вопросы решаются быстрее, чем идет развитие и внедрение самой технологии. Ким обязана как‐то опережать эту волну успехов, присматривая за тем, чтобы в них не затесались критически важные проблемы.
Когда мы закончили разговор и направились к выходу из конференц-зала, я поблагодарил Ким за потраченное время и спросил, не хочет ли она добавить что‐то, о чем мы еще не говорили. Она задумалась на несколько секунд, а потом ее лицо просияло.
«Кстати, помните, я говорила о преподавателе?» Том самом, который в 2012‐м презрительно фыркал, когда аспирантка на первом году работы упомянула, что хочет писать диссертацию об интерпретируемости, и пытался отговорить ее от темы, которую считал тупиковой. Как бы то ни было, Ким не держит зла: «Я полагаю, он искренне хотел мне помочь…»
Тут Ким ухмыляется: «Так вот, этот человек теперь работает над интерпретируемостью!»