В 1997 году Стюарт Рассел из Калифорнийского университета в Беркли, направляясь в продуктовый магазин, задумался: почему мы ходим именно так? «Мы передвигаемся очень стереотипно, верно? Если вы видели скетч „Министерство глупых походок“ группы „Монти Пайтон“ [646], то знаете, что существует масса других способов ходить. Но все мы используем, в общем‐то, один и тот же» [647].

Вряд ли это просто подражание – по крайней мере, так не кажется. Наша походка почти лишена индивидуальных особенностей; более того, она одинакова в разных культурах и даже эпохах. «Это не просто „способ, которому нас научили“, – говорит Рассел. – Это способ, который почему‐то работает».

И все же это явление вызывает больше вопросов, чем ответов. «Что значит „работает“? Какова его целевая функция? Люди выдвигают разные гипотезы: „Думаю, так я минимизирую расход энергии“, или „минимизирую крутящий момент“ [648], или „резкие движения“ [649], или „минимизирую то, максимизирую это“. Но ни один из этих параметров не способен сгенерировать движение, которое выглядело бы реалистично. Это часто используют в анимации. Когда пытаются нарисовать бегущего или идущего человека так, чтобы он не выглядел как робот, все эти формулы проваливаются. Именно поэтому в итоге мы используем технологию захвата движения».

Поиском ответом на эти вопросы занимается целая отрасль биомеханики. Исследователей, например, давно интересовали виды аллюра четвероногих: шаг, рысь, кентер, галоп. В XIX веке понадобилось изобрести моментальную фотографию, чтобы понять механику аллюра: какие ноги поднимаются в какой момент и, главное, отрывается ли лошадь полностью от земли на галопе (в 1877 году мы узнали, что да). А в ХХ веке споры сместились с вопроса «как» на вопрос «почему».

В 1981 году гарвардский зоолог Чарльз Ричард Тейлор опубликовал в Nature большую статью, доказывающую, что лошадь переходит с рыси на галоп для минимизации расхода энергии [650]. Однако десять лет спустя он выпустил в Science не менее объемную работу, где утверждал, что дальнейшие исследования опровергли эту теорию: переход на галоп связан не с экономией энергии, а со снижением нагрузки на суставы [651].

Именно об этом размышлял Рассел по пути в магазин. «Я спускался с холма от дома к супермаркету Safeway и заметил, что на уклоне моя походка несколько отличается от той, что была на ровной дороге. И я подумал: как я могу предсказать это изменение? Представьте, что я посажу на ладонь таракана. Как он будет двигаться? Смогу ли я это предсказать? Если бы я знал его цель, я бы мог спрогнозировать, что он сделает, когда я наклоню руку».

К концу 90‐х обучение с подкреплением уже зарекомендовало себя как мощный метод машинного обучения, способный формировать осмысленное поведение в различных (на тот момент довольно простых) виртуальных и физических средах. А благодаря исследованиям дофаминовой системы мозга и пищевого поведения пчел стало ясно, что этот аппарат удивительно хорошо подходит и для изучения поведения животных и человека [652].

Была только одна проблема. Типичный сценарий обучения с подкреплением предполагает, что цель предельно ясна: понятно, какую именно награду мы пытаемся максимизировать – будь то еда в животном эксперименте или игровые очки в лаборатории ИИ. В реальности же источник этих «наград» куда менее очевиден. В чем заключался «счет» для ходьбы, если он вообще существовал?

Прогуливаясь по обсаженному деревьями бульвару Аплендс в Беркли, Рассел пришел к мысли: если человеческая походка – это ответ, а обучение с подкреплением – метод, которым тело ее находит, то каков же тогда вопрос?

В 1998 году Рассел написал статью, которая стала своеобразным призывом к действию. Он утверждал, что отрасли необходимо то, что он назвал обратным обучением с подкреплением (Inverse Reinforcement Learning, IRL). Традиционное обучение спрашивает: «Если у нас есть сигнал вознаграждения, какое поведение будет для него оптимальным?» Обратное обучение ставит вопрос иначе: «Если мы видим поведение человека (или животного), какую награду (если она существует) он пытается оптимизировать?» [653]

В повседневной жизни это звучит как один из главных человеческих вопросов: «Что, черт возьми, они делают?» Мы тратим огромную часть наших умственных ресурсов на поиск ответа. Мы наблюдаем за поведением окружающих – друзей и врагов, начальников и подчиненных, коллег и конкурентов – и пытаемся по их видимым действиям прочитать невидимые намерения и цели. В каком‐то смысле это краеугольный камень человеческого познания.

В XXI веке этот подход стал одним из самых фундаментальных и жизненно важных проектов в изучении ИИ. И вполне возможно, что именно он даст ключ к решению проблемы «согласования» искусственного интеллекта с человеческими ценностями.