Вопрос, на который исследователи всегда хотят ответить, звучит следующим образом: «Как отреагирует это животное на данный раздражитель?» … Когда же экспериментальная ситуация усложняется … возникает новый вопрос: «На какой именно раздражитель реагирует животное?»

Всякий раз, оказываясь между двух зол, я выбираю то, с которым еще не сталкивалась.

Одно из понятий, лежащих в основе человеческого любопытства и нашей внутренней мотивации, – это новизна. В отсутствие сильных внешних стимулов мы действуем не хаотично, как простые агенты обучения с подкреплением, использующие эпсилон-жадный алгоритм. Напротив, мы целенаправленно, последовательно и предсказуемо двигаемся ко всему новому.

В середине 1960‐х годов Роберт Фанц из университета Кейс Вестерн заметил, что уже в двухмесячном возрасте младенцы смотрят на знакомые картинки из журналов меньше времени, чем на новые [487]. Фанц особенно оценил тот факт, что задолго до того, как дети приобретают моторные навыки для физического изучения мира, они начинают исследовать его визуально и делают это весьма активно. Такое поведение, получившее название «предпочтение новизны», стало фундаментальным элементом возрастной психологии и одной из самых ярких характеристик поведения младенцев.

На самом деле, стремление детей смотреть на новые объекты настолько сильно, что психологи научились использовать его для проверки остроты зрения и даже памяти младенцев [488]. Может ли ребенок отличить два похожими изображения? Два оттенка одного цвета? Помнит ли он, что видел час, день, неделю назад? Врожденная тяга к визуальной новизне дает ответы на эти вопросы. Если младенец задерживает взгляд на картинке, можно предположить, что он видит отличия от предыдущей. Если спустя неделю он смотрит на знакомое изображение меньше времени, значит, он в какой‐то мере помнит его. Результаты этих тестов показали, что дети приобретают когнитивные способности раньше, чем было принято считать. Стимул визуальной новизны стал одним из самых мощных инструментов в руках психологов, позволяющим проникнуть в тайны развивающегося мозга [489].

Сообществу специалистов по обучению с подкреплением потребовалось не так много времени, чтобы взять на вооружение идею о естественной привлекательности новизны и применить ее в компьютерной сфере [490]. Одна из простейших идей заключалась в том, чтобы просто подсчитывать, сколько раз обучающийся агент попадал в конкретную ситуацию. Затем, при прочих равных, заставлять его выбирать действия, которые он совершал реже всего. К примеру, в 1990 году Ричард Саттон предложил добавлять «исследовательский бонус» к вознаграждению агента, если он делает что‐то новое или давно забытое [491].

Однако в этой бочке меда есть очевидная ложка дегтя. Что значит «подсчитать, сколько раз мы совершаем это действие в данной ситуации»? Как писал Берлайн еще в 1960 году: «Слово „новый“ широко используется в повседневной речи, и кажется, что мы понимаем его без труда. Но когда мы пытаемся определить, что именно значит фраза „эта модель стимулов является новой“ и как измерить степень ее новизны, мы сталкиваемся с целым рядом ловушек и проблем» [492].

Для простых сред, например лабиринтов или примитивных игр, вполне реально составить список всех возможных ситуаций и ставить «галочку» при каждом их посещении. (Рисовать путь по лабиринту карандашом – это, по сути, и есть создание такой записи.) Подход, при котором хранится гигантская таблица с описанием каждой ситуации, действий и результатов, называется «табличным» обучением с подкреплением. К сожалению, он абсолютно неприменим для чего‐либо сложнее простейших задач. Даже в «крестиках-ноликах» существуют тысячи уникальных позиций, а число возможных комбинаций в игре го выражается 170‐значным числом [493]. Всей компьютерной памяти мира не хватит, чтобы сохранить такую таблицу.

Помимо этих практических трудностей, в более сложных средах возникает глубокий философский вопрос: что вообще считать «одной и той же ситуацией»? В играх Atari, например, количество вариантов расположения пикселей настолько велико, что педантичное отслеживание каждого кадра и поощрение за малейшее отличие не приведет к интересному поведению. В играх даже средней сложности вы едва ли когда‐нибудь увидите абсолютно идентичный набор пикселей дважды. С этой точки зрения практически каждая ситуация уникальна, и каждое действие совершалось впервые. Даже если бы вы могли сохранить такую таблицу, пользы от нее было бы немного.

Когда в обычной жизни мы говорим: «Я никогда не сталкивался с такой ситуацией», мы не имеем в виду «именно на этой широте и долготе, в эту наносекунду, при таком же падении света на сетчатку и с теми же мыслями в голове». Такое утверждение было бы технически верным, но бессмысленным. Мы имеем в виду ключевые, порой едва уловимые характеристики ситуации. Именно по ним мы судим о новизне.

В играх Atari нам хотелось бы уметь определять, является ли текущая ситуация на экране по сути похожей на те, что мы видели раньше, и находить глубинные, неочевидные связи между ними.

В лондонском офисе DeepMind Марк Беллемаре задался вопросом: как адаптировать эту красивую, но труднореализуемую идею «подсчета посещений» для сложных сред? В играх вроде Frogger или Freeway, где нужно пересечь оживленную трассу, каждое успешное пересечение должно засчитываться как знакомое действие, даже если поток машин каждый раз генерируется случайно.

Беллемаре и его коллеги экспериментировали с математической концепцией «плотностной модели», и она показалась им перспективной [494]. Идея заключалась в использовании обучения без учителя для создания модели, способной предсказывать недостающие части изображения на основе контекста. (Это напоминает Word2vec и другие языковые модели, предсказывающие пропущенные слова в тексте.) Ученые «скармливали» этой модели все скриншоты, увиденные агентом, а затем использовали ее прогнозы для оценки вероятности: насколько «предсказуем» каждый новый экран с учетом прошлого опыта? Чем выше вероятность, тем знакомее экран; чем она ниже – тем выше новизна. Идея была заманчивой, но оставалось непонятным, как заставить ее работать на практике.

Они начали эксперименты с игрой Q*bert (классика Atari начала 1980‐х), где нужно прыгать по пирамиде из кубов, перекрашивая их, чтобы перейти на следующий уровень. Исследователи запустили DQN-агента, который учился играть с нуля, и вывели на экран индикатор «новизны», основанный на их плотностной модели.

Поначалу все было совершенно новым – совсем как у людей. Индикатор зашкаливал: каждый кадр регистрировался как невиданный ранее. Ученые тренировали агента несколько часов, позволяя ему сосредоточиться на зарабатывании очков (в Q*bert дают 25 очков за каждый перекрашенный блок). Затем они стали наблюдать за игрой опытного агента. Он прыгал по пирамиде, набирая очки, а зеленая полоска новизны (технически – отрицательный логарифм вероятности) едва отрывалась от нуля. Агент все это уже видел.

Беллемаре нашел запись тренировки, где агенту впервые удалось пройти первый уровень, и включил повтор. К его удовлетворению, по мере приближения к концу уровня зеленая полоса поползла вверх.

«Агент двигался к финалу уровня и словно говорил: „О, а вот этого я раньше не видел! Это мне в новинку“, – рассказывал Беллемаре. – Получилась красивая зависимость: чем ближе к концу игры, тем сильнее сигнал» [495].

Агент прыгнул на последний блок, пройдя уровень в первый раз. Экран заполнился вспышками, пирамида из бирюзовых кубов исчезла, и на ее месте возникла новая, ярко-оранжевая. «Вы только посмотрите на это!» – воскликнул Беллемаре. Зеленая полоска подскочила вверх. Новизна зашкаливала. «Агент мгновенно понял: „Я здесь еще никогда не был!“»

Казалось, плотностная модель верно улавливала суть новизны в сложных разнообразных средах, слишком больших для прямого подсчета вариантов. «Мы смотрели на результаты и думали: с этим определенно можно что‐то сделать».

Теперь вопрос стоял так: смогут ли исследователи использовать эту модель (они назвали ее «псевдоподсчетом»), чтобы мотивировать агента искать новые состояния? [496] Что, если награждать его не за игровые очки, а просто за то, что он видит что‐то новое? Получатся ли агенты, способные прогрессировать быстрее, чем те, что просто максимизируют награду и иногда действуют наугад?

Ставки были высоки. «Мы очень волновались, – рассказывал Беллемаре, – ведь мы были в шаге от того, чтобы расколоть „твердый орешек“ Montezuma’s Revenge».

В храме, где застрял Панама Джо, 24 комнаты. После трех недель непрерывной игры DQN-агент, показавший сверхчеловеческие результаты в других играх Atari, смог добраться только до второй комнаты. Перед ним лежал огромный неизведанный храм, полный опасностей и скупой на награды. Возможно, если вознаграждать игрока просто за новизну, он сможет зайти дальше, чем кто‐либо до него?

Беллемаре и его группа надеялись, что агент, воспринимая сигналы новизны как дополнительные бонусы к очкам, станет более мотивированным и успешным. Они запустили обучение на тот же срок, что и для обычного DQN-агента – сто миллионов кадров, или почти три недели круглосуточной игры. Разница была потрясающей.

Тот же DQN-агент, но обучаемый с учетом новизны, гораздо быстрее нашел первый ключ и за отведенное время прошел не две, а пятнадцать комнат храма. Агент, движимый любопытством, не только набрал больше очков – он демонстрировал качественно иное поведение. «Предпочтение новизны» удалось превратить в эффективный инструмент исследования территории, где одних наград было недостаточно.

И в этом поведении чувствовалось что‐то человеческое. Агент не просто дергал джойстик, когда не было награды. У него появилась внутренняя причина действовать.

«Агент с псевдоподсчетом тут же выбрался наружу и отправился исследовать мир», – говорил Беллемаре.