Трудно быть настолько умным, чтобы следующее мгновение не смогло тебя обдурить.
В 1980‐е, в то время, когда Шульц начинал свои эксперименты по дофаминовой системе, по другую сторону Атлантики Барто и Саттон приступили к математическим расчетам по проблеме обучения с подкреплением.
Первым большим шагом было разложить задачу на составные части. Ученые понимали, что обучение тому, как производить действия в заданной обстановке, чтобы довести вознаграждение до максимума, затрагивает две связанные, но, возможно, не зависящие друг от друга проблемы: действие и оценка. Когда вы начинаете понимать какую‐то сферу деятельности и, в конце концов, добиваетесь в ней мастерства, это учит вас двум важным вещам: как поступать правильно в конкретных ситуациях и какие преимущества вас ждут при текущем положении вещей. Барто и Саттон пришли к тому, что смотрящий на доску шахматист испытывает сразу два озарения. Он предполагает, какие ходы сделает в дальнейшей игре (и как поступит его соперник). Также интуиция подсказывает ему, кто при таком положении дел с большей вероятностью победит. Эти два измерения проблемы обучения с подкреплением получили известность в качестве технических терминов «политика» или «набор правил» (что и когда делать) и «функция оценки состояния» (какого вознаграждения или наказания можно ожидать).
Одного из этих двух измерений было достаточно для решения проблемы – по крайней мере, в теории. Если шахматист всегда знает, какой ход будет правильным, не имеет значения, умеет ли он предсказывать победителя. И наоборот, если игрок всегда знает, кто в лучшем положении в данной позиции, не имеет значения, если он не уверен в своих действиях. Дайте ему достаточно времени, и он взвесит последствия каждого хода и выберет тот, который приведет его к самому многообещающему будущему.
Основанные на политике подходы вели к системе – будь то животное, человек или машина – с хорошо тренированной «мышечной памятью». Правильное поведение просто выходит само собой, без всяких усилий. Основанные на оценке ценностей подходы, напротив, вели к системе с хорошо развитым чутьем. Она сразу может ответить, угроза перед ней или перспектива. Если полностью развить каждую из них, этого, опять же, в теории было бы достаточно.
На практике же основанные на правилах и оценке ценностей подходы шли бок о бок. Барто и Саттон начали прорабатывать идею, ставшую известной как архитектура «актер-критик», где «актерская» часть системы учится совершать правильные действия, а критическая – предсказывать будущие вознаграждения [346]. Грубо говоря, архитектура актер-критик точно описывала сотрудничество ученых. Барто был особенно увлечен поведением. Саттон прежде всего интересовался прогнозами [347].
Начиная со своей дипломной работы 1978 года, Саттон был увлечен созданием «Единой теории ожиданий» [348]. Интерес к тому, как организмы формируют и совершенствуют свои ожидания, привело его в Амхерст, к сотрудничеству с Клопфом и Барто.
Как объясняет Саттон, формирование правильных ожиданий – хорошая оценочная функция – это согласование своих ежеминутных ожиданий с окончательным вердиктом, приходящим из реальности: окончательный счет игры, квартальный отчет, успешная посадка на Луну, признание восхищенных коллег, стоячая овация, улыбающиеся внуки. Но вам действительно надо дождаться конца игры, чтобы чему‐то из этого научиться; тогда решение проблемы назначения коэффициентов доверия будет буквально невозможно. Логика, как говорит Саттон, объединяет в себе три предмета.
Во-первых, непрактично или даже невозможно помнить все, что мы делаем и думаем. В конце полуторачасового матча по футболу, который мы с треском проиграли, разве мы собираемся в раздевалке и прорабатываем каждый до единого игровой момент? Каждое изменение наших надежд и страхов?
Во-вторых, мы хотим иметь способность учиться, даже если не дойдем до конца. Шахматная партия, прерванная до завершения, должна дать нам что‐то. Если мы были в шаге от мата или позиция казалась безнадежной, это все еще означает, что нам нужно было делать что‐то по-другому, невзирая на то, что нет ни потери, ни наказания, которое, как нам кажется, мы заслужили. Подобным же образом игра, в последние секунды выигранная или проигранная благодаря невозможному, невероятному, непредвиденному событию, не означает, что наши ожидания были неверными. Возможно, мы действительно были на пути к победе. Суждения исключительно по результату не обязательно имеют смысл, особенно в ситуациях, которые до какой‐то степени зависят от удачи.
В-третьих, в идеале мы хотим чему‐то научиться не только по факту, но в процессе. Это особенно важно для человека. Во время многих переломных моментов и критических целей в жизни – скажем, поступить в колледж, вырастить детей или удачно уйти на пенсию, – у нас есть только один шанс. И многих ошибок – провального среднего балла, расползающейся талии, ухудшающихся отношений – можно было бы избежать, если бы мы могли понять, что что‐то идет не так и сменить курс, пока не стало слишком поздно. И если мы, люди, учимся методом проб и ошибок, то нам, к счастью, не нужно ждать конца попытки, чтобы получить знания.
Как объясняет Саттон, каждый из этих факторов усложняет теорию ожиданий. «Очевидно, что мы можем попытаться не обращать на все эти вещи внимания, считать их ничего не значащими мелочами, но я думаю о них как о ключах, – говорит он. – Это подсказки самой природы о том, как нам строить теорию» [349].
Как выяснилось, Саттон первым разгадал эти намеки.
Открытие, которое он сделал, размышляя о прогнозах, состоит в следующем. По мере того как вы продвигаетесь к неопределенному будущему, у вас есть что‐то вроде «текущих ожиданий» о том, насколько оно многообещающее. В шахматной партии это могут быть шансы, которые вы даете себе на победу. В компьютерной игре – ожидаемый успех или количество очков, которые надеетесь получить. Эти предположения со временем изменяются и в целом становятся более правильными по мере того, как вы приближаетесь к тому, что пытаетесь предсказать. (Прогноз погоды на выходные почти всегда более точен в четверг, а не в понедельник. Расчетное время прибытия из аэропорта становится точнее по мере приближения к дому.) Это означает, что в целом, по мере изменения наших ожиданий, мы получаем разницу между следующими один за другим ожиданиями, и каждое из различий – это возможность для обучения. Саттон назвал их врéменными различиями (temporal differences, TD), или ошибками врéменных различий. Когда происходит одно из них, последняя из двух оценок – это та, которая с наибольшей вероятностью окажется правильной.
Так что, возможно, не нужно ждать истины в последней инстанции, чтобы чему‐нибудь научиться. Может быть, у нас получится извлечь новые знания из самих этих колебаний и отклонений данных. Каждый раз, когда смену ожиданий можно считать ошибкой в предыдущем прогнозе, возникает возможность для обучения: мы извлекаем урок не из той истины, которой еще не существует, а из новой оценки, сделанной чуть-чуть повзрослевшим и ставшим немного более мудрым «я». Как говорит Саттон: «Мы делаем предположение по догадке» [350].
(Он добавляет, как будто взяв эти слова в скобки: «Выглядит несколько опасным, не правда ли?»)
К концу 1980‐х эта идея – Саттон назвал ее методом темпоральных различий или TD-обучением для краткости – превратилась в алгоритм под названием «TD(λ)» (TD-лямбда) для точной настройки прогнозов в свете более поздних прогнозов [351]. Вдохновленный идеями Барто и Саттона аспирант Кембриджа Крис Уоткинс разработал TD-алгоритм под названием Q-обучение, переводивший прогнозы в действия [352]. Он доказал, что Q-обучение всегда «сходится», то есть, пока у системы есть возможность перепробовать каждое действие из каждого состояния столько раз, сколько необходимо, она будет всегда в конечном итоге вырабатывать идеальную функцию значений состояния – идеальный набор ожиданий для этой среды, будь то лабиринт, шахматная доска или что‐то более жизненное. Для теории отрасли это стало знаковым событием – разумеется, степень его значительности зависит от того, к какому типу людей вы принадлежите: к тому, кто подчеркивает «всегда» или «в конце концов».
Теория выглядела прекрасно, но TD-обучение еще следовало проверить на практике. Первое испытание прошло в IBM Research в Нью-Йорке. Молодой ученый по имени Джеральд Тесауро, интересовавшийся компьютерными моделями классического формирования условных рефлексов, в конце 1980‐х и начале 1990‐х работал над использованием нейросетей в игре в нарды. Результаты были многообещающими. Тогда в 1992 году он подключил к своей модели TD-обучение, и она взлетела как ракета [353]. Она получала предположения из догадок, постоянно обучаясь тому, как выглядит выигрышная позиция. «Это первое применение этого алгоритма к сложному нетривиальному заданию, – писал Тесауро. – Обнаружилось, что нейросеть способна с нуля научиться играть в игру на достаточно крепком среднем уровне, что ощутимо лучше, чем показатели традиционных коммерческих программ, и что на самом деле превосходит уровень сопоставимых нейросетей, которые обучались на крупном наборе данных, полученном от экспертов. Получается, что на практике TD-обучение может работать лучше, чем кто‐либо мог ожидать, основываясь на современной теории». К 1994 году его программа TD-Gammon достигла «потрясающего уровня эффективности: последняя версия TD-Gammon сейчас… чрезвычайно близка к лучшим игрокам в мире» [354].
В отрасли уже знали, что программист может написать систему, которая играет лучше, чем он сам: Артур Сэмюэл сделал это с шашками в 1950‐х. Но здесь было кое-что новое: программа играла не хуже любого случайного человека. И она была полностью «самообучающейся»: начала с нуля и прошла настройку, без конца играя с самой собой. Это было великолепной проверкой работоспособности TD-обучения и обеспечило прямой сценарий успеха, которым с удивительно небольшими изменениями воспользовались создатели игровых моделей XXI века, например авторы AlphaZero.
Саттон и другие ученые в активно развивающейся сфере обучения с подкреплением использовали подсказки самой природы. Но теперь пришла их очередь предложить что‐то взамен. В один из наиболее удивительных моментов в истории отрасли математическая структура, выросшая из психологии и нейронауки, была готова снова изменить положение дел.