Воскресным вечером 28 июня 2015 года веб-разработчик Джеки Алсине сидел дома и смотрел церемонию награждения BET Awards. Неожиданно он получил сообщение о том, что друг поделился с ним фотографией через Google Photos. Открыв сайт, Джеки заметил, что дизайн изменился: «И тут я подумал: „О, пользовательский интерфейс стал другим!“ Я помнил, что прошла I/O [ежегодная конференция разработчиков программного обеспечения Google], но мне было любопытно, и я перешел по ссылке». Система распознавания образов Google автоматически определяла группы фотографий и давала каждой тематический заголовок. «Выпускной», – гласила одна из таких подписей, и Алсине впечатлило, что система сумела распознать шапочку с плоским квадратным верхом и кисточкой на голове его младшего брата. Но следующий заголовок заставил его похолодеть. В альбоме лежали селфи, сделанные Алсине и его подругой. Джеки – американец гаитянского происхождения, и он, и его подруга – чернокожие.

«Гориллы», – гласила подпись.

«Тут я подумал… Честно говоря, я подумал, что где‐то ошибся».

Он открыл альбом, ожидая, что каким‐то образом прошел не по той ссылке или неправильно проставил теги. В альбоме лежали десятки фотографий Алсине и его подруги. И больше ничего. «Я подумал: здесь больше семидесяти фотографий. Этого просто быть не может… Тогда я начал понимать, что произошло».

Алсине вошел в Twitter [50] и отправил сообщение: «Google Photos, черт вас побери, моя подруга не горилла!»

В течение двух часов на это сообщение отреагировал Йонатан Зунгер, главный архитектор социальной сети Google+. «Обалдеть! – писал он. – Это на 100 % не нормально!»

За несколько часов команда Зунгера внесла изменения в Google Photos, и к следующему утру только у двух фотографий были неправильные подписи. Затем Google пошла на более решительный шаг: они убрали всю категорию.

Три года спустя, в 2018 году, журнал Wired отмечал, что подпись «горилла» в Google Photos остается деактивированной вручную. То есть годы спустя ничего и никого нельзя отметить как гориллу, даже самих горилл [51].

Любопытно, что пресса снова и снова неправильно определяла сущность произошедшей ошибки, как в 2015‐м, так и в 2018‐м. Заголовки гласили: «Два года спустя Google разрешила проблему с „расистским алгоритмом“, убрав ярлык „горилла“ из классификатора изображений», «Google „исправила“ свой расистский алгоритм, убрав горилл из технологии разметки изображений» и «Расистский алгоритм Google Images был исправлен, но не слишком хорошо» [52].

Будучи программистом, знакомым с системами машинного обучения, Алсине понимал, что проблема не в систематической ошибке алгоритма. (В алгоритме использовался стохастический градиентный спуск – едва ли не самое универсальное базовое средство в информатике: проходите по набору данных для обучения случайным образом и настраиваете параметры модели так, чтобы слегка повысить вероятность, что изображение окажется в правильной категории; повторите столько раз, сколько нужно.) Нет, он тут же осознал, что ошибка закралась в сами данные для обучения. «Я даже не мог обвинить алгоритм, – сказал Джеки. – Это не его вина. Он делал именно то, для чего его разработали».

Проблема, разумеется, в системе, которая теоретически могла научиться всему из набора примеров. Вот только в итоге ей пришлось уповать на качество примеров, на которых она училась.