Механизм познавательного любопытства… работает с помощью эквивалента концептуального конфликта, его функция – в сущности, мотивационная.

Дети – не маленькие ученые, это ученые – большие дети.

Еще одно ключевое понятие, неразрывно связанное с любопытством, наряду с новизной, – это неожиданность [499]. Любознательного ребенка интересует не только то, что является «новым» само по себе, но и то, что может его чему‐то научить. Бейсбольный мяч в фиолетовый горошек привлечет внимание лишь на мгновение, но если в остальном он ведет себя как обычный мяч, интерес быстро угаснет. Напротив, мы долго сохраняем интерес к вещам, которые обманывают наши ожидания, ведут себя непредсказуемо и побуждают выяснить, что будет дальше.

Одна из ведущих ученых, изучающих роль неожиданности в развитии, – Лора Шульц из Массачусетского технологического института. В 2007 году она провела эксперимент с детьми, которые играли с коробками, откуда выскакивали различные игрушки [500]. Исследователи ненадолго забирали знакомую игрушку, а затем возвращали старую коробку вместе с новой, другого цвета. После этого они оставляли обе игрушки перед ребенком и наблюдали, к какой из них он потянется.

«На тот момент все, что мы знали о детских играх и любопытстве, сводилось к следующему, – рассказывал Шульц. – Если четырехлетки какое‐то время играют с одной коробкой, а затем им дают новую, они обязательно выберут ее. Они должны немедленно переключиться на новую коробку, поскольку основная идея любопытства связана с перцептивной новизной: эту вещь они еще не видели» [501].

Но Шульц заметила кое-что еще. В некоторых случаях демонстрация первой коробки была неоднозначной. У нее было два рычага, и при одновременном нажатии выскакивали сразу две игрушки. Было непонятно, что произойдет, если нажать только на один рычаг. Может быть, один рычаг активирует сразу обе игрушки, а второй не делает ничего? Или каждый рычаг связан с куклой, расположенной ближе к нему? А может, наоборот? В таких запутанных ситуациях четырехлетки не спешили менять знакомую игрушку на новую. Вместо этого они настойчиво продолжали возиться со старой коробкой, пытаясь разобраться в механизме ее работы.

«Похоже, любопытство в нас часто вызывают не абсолютно новые вещи, а те, которые озадачивают», – говорила Шульц [502].

Стало ясно: неожиданность – то есть неопределенность и возможность получить новую информацию – определяет внутреннюю мотивацию детей так же сильно, как и новизна. Эта идея породила второе, не менее мощное направление исследований, охватившее как когнитивные науки, так и информатику.

Вместе с психологом из Ратгерского университета и группой коллег Шульц продолжила эксперименты, используя утяжеленные кубики. Предварительные наблюдения показали, что примерно в шесть лет дети начинают строить теории о том, как уравновесить предметы разной формы. Некоторые ошибочно полагают, что центр тяжести всегда находится посередине, даже если предмет несимметричен. Другие же считают, что он смещен к более тяжелому концу, что верно. Исследователи с помощью магнитов создали кубики, которые нарушали ожидания обеих групп.

Когда дети сталкивались с кубиками, которые вели себя предсказуемо, срабатывало привычное предпочтение новизны: при первой же возможности они бросали кубики и выбирали новую игрушку. Но дети, которым попадались другие кубики (нарушающие их теорию равновесия), не отходили от них и продолжали играть, даже когда им предлагали замену [503].

Интересно, что дети 4–5 лет, у которых не сформировалась четкая теория равновесия, почти всегда выбирали новую игрушку. У них просто не было достаточных знаний и ожиданий, чтобы удивиться поведению кубиков.

Другие исследования, например работа Эми Сталь и Лизы Фейгенсон из Университета Джона Хопкинса (2005), подтверждают: то, как дети играют, зависит от того, как именно игрушка их удивляет [504]. Если показать им машинку, которая необъяснимо парит в воздухе, они будут ее подбрасывать и ронять. Если машинка проходит сквозь стену, они станут стучать ею по столу. В любом случае ребенок предпочтет удивившую его игрушку новой. (Контрольная группа, которая не видела странностей, стабильно выбирала новую игрушку.) Авторы исследования утверждали, что уже в 11 месяцев дети используют «нарушение ожиданий как особую возможность для обучения».

«Легко считать маленького ребенка „чистым листом“, – говорила Фейгенсон. – Но на самом деле у детей есть богатые и сложные ожидания относительно окружающего мира. Возможно, даже более сложные, чем принято думать». По ее словам, малыши «используют свои знания о мире, чтобы направлять процесс познания и понимать, о чем им нужно узнать больше» [505].

В информатике идея агента, мотивированного не только наградой, но и стремлением понять и предсказать происходящее, стара как само обучение с подкреплением. И неожиданно она принесла плоды.

Дэниел Берлайн, наблюдавший за первыми экспериментами по машинному обучению в 1950‐х, уже тогда задумывался об использовании удивления как подкрепления. Он писал, что будущие исследования могут быть направлены на создание машин, которые совершенствуют свои алгоритмы на основе опыта, стремясь снизить количество ошибок и несоответствий [506].

Немецкий исследователь ИИ Юрген Шмидхубер с 1990 года развивает идею агентов, которые получают вознаграждение за изучение принципов работы среды, то есть за улучшение способности делать прогнозы. «Их можно рассматривать как искусственных ученых или художников, – объясняет он, – движимых внутренним желанием создать лучшую модель мира» [507]. Для Шмидхубера, как и для Берлайна в 60‐х, эта концепция математически связана с теорией информации и, в частности, со сжатием данных: предсказуемый мир проще «сжать».

По мнению Шмидхубера, идея о том, что мы познаем мир, чтобы лучше сжимать свои представления о нем, дает «формальную теорию творчества и веселья». Он поясняет: «Все дело в вычислительных ресурсах. Пока вы не усвоили закономерность, вам требуется много ресурсов. Когда усвоили – гораздо меньше. Разница – это и есть ваша экономия! А ленивый мозг любит экономить».

«И, – он щелкает пальцами, – это весело!» [508]

Как и Берлайн, Шмидхубер интересуется не тем, как люди решают конкретную задачу (выиграть в игру, выйти из лабиринта), а тем, что они делают, когда нет четких инструкций.

Дети здесь – идеальный пример. «Даже когда нет нужды утолять жажду или другую примитивную потребность, младенец не бездельничает. Он активно экспериментирует: какую обратную связь я получу, если переведу взгляд, пошевелю пальцами или языком?» [509]

Шмидхубер отмечает, что в основе любопытства лежит фундаментальное противоречие, своего рода борьба. Исследуя среду – будь это игра Atari, реальный мир или человеческое общество – мы наслаждаемся тем, что нас удивляет, но при этом удивить нас все сложнее. Кажется, что в разуме работают две системы обучения с противоположными целями: одна старается свести неожиданности к нулю, а другая – удивить первую [510].

Почему бы не попытаться сымитировать этот конфликт напрямую? В 2017 году группа из Калифорнийского университета в Беркли под руководством аспиранта Дипака Патака занялась этой задачей. Патак создал агента из двух модулей: один предсказывал результат действия и получал награду, если прогноз сбывался; другой стремился совершать максимально неожиданные действия, получая награду, когда прогноз первого модуля оказывался ошибочным [511].

В игре Super Mario Bros., нажав кнопку прыжка, вы ожидаете, что Марио подпрыгнет (если видели это раньше). Нажав «вниз», вы ожидаете, что он присядет. Но вы вряд ли ждете, что это действие заставит героя исчезнуть в трубе и попасть в подземный мир! Идея заключалась в том, чтобы побудить агента исследовать игру, сделав такие сюрпризы желанными и превратив ошибки прогнозирования в награду. Действие с неожиданным итогом подкрепляется так же, как и получение игровых очков.

Группа Патака анализировала поведение, порождаемое таким вознаграждением за неожиданность. В трехмерном лабиринте, созданном на движке Doom, они размещали своего агента все дальше и дальше от цели. Агенты, обучаемые только явными наградами были склонны «сдаваться», если не могли найти цель случайным перебором. Агенты же, мотивированные неожиданностью, исследовали лабиринт ради самого процесса: что там за углом? Как выглядит та комната вблизи? В итоге любопытные агенты находили путь к цели в гораздо более сложных лабиринтах, где обычные агенты пасовали.

Команда Патака объединилась с исследователями из OpenAI для дальнейшего изучения ошибки прогнозирования как сигнала вознаграждения. Удивительно, но они обнаружили, что значительное упрощение архитектуры работает не хуже, а иногда и лучше [512]. Вместо нейросети, предсказывающей реальные последствия, они использовали сеть, предсказывающую появление случайных характеристик изображения (Random Network Distillation, RND) [513]. Исследователи из OpenAI под руководством Юрия Бурды и Харрисона Эдвардса доработали этот метод. Вскоре они обратили внимание на Montezuma’s Revenge.

RND-агента отправили в свободное плавание по храму. Движимый только внутренним вознаграждением за неожиданности, он в среднем исследовал от 20 до 22 комнат из 24. Более того, в одном из запусков он сделал нечто невиданное: добрался до последней, 24‐й комнаты и выбрался из храма [514]. Панама Джо открыл последнюю дверь и оказался на фоне синего неба, усеянного драгоценными камнями. Казалось, он падает сквозь небеса – это самый трансцендентный момент в игре. Каждый камень приносил тысячу очков, и это было очень неожиданно [515].