Главное открытие формирования навыков в том, что для создания сложного поведенческого комплекса необходимо рационально вознаградить более простое поведение. Это применимо как к животным, так и к людям. «Сначала нужно научиться ходить, а потом уж бегать», – говорим мы. Эта расхожая фраза описывает больше граней человеческого опыта, чем можно назвать или сосчитать, и при этом остается чистой правдой.

Поразительная, характерная именно для человеческой жизни особенность состоит в том, что первые несколько лет мы передвигаемся по миру – и в прямом, и в переносном смысле – в ходунках, запуская свои мячики – буквально и метафорически – по дорожке с бортиками. Многие животные сразу сталкиваются со сложностью жизни во всей ее полноте. Например, некоторые дикие звери должны уметь убегать от хищников уже через несколько часов после рождения. Людям же требуется несколько лет, чтобы обучиться владеть своим телом. А к тому времени, когда нам приходится самим «добывать себе пропитание», наша физическая форма нередко «переваливает за пик».

Что отличает жителей XXI века от их пещерных предков? Это, прежде всего, не интеллектуальная мощь, а правильный режим. Более того, Скиннер считал, что мы не должны так быстро выносить суждения об умственных способностях животных. С правильным режимом они, возможно, могут поразить нас и превзойти наши представления о том, на что способны их виды. То же самое можно сказать и про людей.

Как выразился Скиннер, если экспериментатор просто ждет, пока сформируется сложный комплекс поведения, прежде чем начать выдавать поощрения, то очень трудно проверить, может ли животное демонстрировать такое поведение вообще.

«Здесь, скорее, проверяются способности экспериментатора, а не участвующего в опытах существа. Опасно утверждать, что существо данного вида или возраста не может решить стоящую перед ним задачу. Последние пять лет при использования правильного режима подкрепления голуби, крысы и обезьяны делали такие вещи, какие представители их видов не делали никогда. Не то чтобы их предки не были способны на это, просто природа никогда не предлагала эффективную последовательность режимов [405]».

Трудно переоценить, до какой степени наша жизнь и весь мир сформированы именно этой «эффективной последовательностью режимов». Мы приходим к тому, что органично включены в эту систему и считаем опутывающие нас канаты «естественными», хотя это не так. Природа просто существует. Она никоим образом не пытается нами руководить.

Мир людей, напротив, искусно сконструирован так, чтобы поддаваться изучению. К примеру, видеоигры становятся успешными отчасти благодаря тому, как они направляют действия игрока. Возьмем одну из самых известных и значимых в истории видеоигр всех времен и народов Super Mario Bros., выпущенную для Nintendo в 1985 году. Если подробно рассмотреть первые несколько секунд игры, то можно заметить, что она тщательно и блистательно спроектирована так, чтобы научить в нее играть. Вначале враг Гумба появляется справа; если игрок ничего не делает, то погибает. «Нужно естественным путем научить игрока, что необходимо избегать врагов, перепрыгивая их», – говорит разработчик игры, легендарный Сигэру Миямото [406]. Это первый и самый важный из уроков: похожие на грибы фигурки – это враги, и придется прыгать.

Но у Миямото была проблема. Были и хорошие грибы, которые необходимо научиться искать. «Это стало нашей головной болью, – рассказывает разработчик. – Надо было убедиться, что игрок понимает: эти грибы не враги». Как он решил эту проблему? Хорошие грибы приближаются к игроку там, где их невозможно перепрыгнуть. Игрок готовится погибнуть, но вместо того, чтобы убить, гриб вдвое увеличивает в размерах его персонажа. Механизм игры налажен, и теперь у игроков развязаны руки. Они думают, что просто играют. Но их тщательно педантично и незаметно тренируют. Они узнают о правилах, потом – об исключениях. Изучают основной механизм, а потом отправляются в свободное плавание.

Ничего удивительного в том, что принцип формирования навыков – прививание сложного поведенческого комплекса через последовательные приближения – применим не только к голубям Скиннера, но и к людям. Как не удивительно и то, что этот принцип до последней буквы применим и для обучения машин.

С тех пор как возникло машинное обучение, известно, что для одних задач, сред и игр применять этот принцип проще, чем для других. Но только постепенно исследователи и разработчики оценили по достоинству, что сначала систему можно натренировать на более легкой задаче, потому что тогда ей будет проще изучать более трудную проблему, чем агент, обучаемый с нуля [407].

В 1980‐х годах Ричард Саттон и Эндрю Барто вместе со своим коллегой Оливером Селфриджем работали над использованием обучения с подкреплением для обучения модели тележки на колесах, на которой вертикально установлен шест. Чем выше и тяжелее шест, тем проще удерживать его в вертикальном положении – гораздо легче добиться равновесия, держа на ладони, скажем, бейсбольную биту, чем линейку. Исследователи обнаружили, что система находила равновесие быстрее, если предварительно обучалась на высокой и тяжелой опоре, а потом переключалась на более короткую и легкую [408].

Ученые периодически делали это открытие в различных контекстах. В начале 1990‐х годов лингвист Джеффри Элман из Калифорнийского университета в Сан-Диего экспериментировал, пытаясь научить нейросеть правильно предсказывать следующее слово в предложении. К сожалению, первые несколько попыток были провальными. «Проще говоря, – рассказывал он, – нейросеть не смогла научиться сложным грамматическим конструкциям на подборке данных из полноценного «взрослого» языка. Зато когда простые предложения демонстрировались вначале, нейросеть справилась не только с ними, но и с более сложными» [409].

«Это приятный результат, – говорит Элман, – потому что поведение нейросети частично напоминает детей. Они не сразу овладевают языком взрослых во всей его сложности. Напротив, они усваивают самые простые структуры и постепенно их развивают, пока не достигают уровня языка взрослых».

В обоих случаях использование правильной последовательности – легкая версия задачи, за которой следовала более сложная – привело к успеху там, где решение трудной задачи могло не получиться.

Келлер и Мариан Бреланд в своей работе в Animal Behavior Enterprises увидели критическую важность правильной последовательности режимов в своих попытках научить свинью помещать большие деревянные монеты в свинью-копилку. Они начали с одной монеты, лежащей около копилки, и постепенно отодвигали ее все дальше и дальше и от копилки, и от свиньи [410].

Не так давно ученые, занимающиеся машинным обучением, вернулись к идее работы «в обратном направлении». В 2017 году группа инженеров-робототехников из Калифорнийского университета в Беркли обучала роботизированную руку надевать шайбу на анкерный болт. Если бы они ждали, что робот сделает это случайно, на это ушла бы вечность. Но, начав с шайбы, почти полностью надетой на болт, исследователи смогли научить робота делать последнее движение. Затем шайбу только слегка насаживали на болт, и робот научился надевать ее как следует. Затем шайбу клали рядом, и робот научился вставлять болт в отверстие. Наконец, ученые достигли того, что система могла взять шайбу откуда угодно, навинтить ее и затянуть [411].

Даже такой эксперт в играх, как легендарный шахматный чемпион Бобби Фишер, использовал подобную стратегию в своем учебнике «Бобби Фишер обучает шахматам». Предназначенная для начинающих книга содержит десятки примеров мата в один ход, затем переходит к комбинациям из двух, трех и четырех ходов. Обзоры середины и начала игры, а также обсуждение долговременных стратегий он оставил для других книг. Фишер сосредоточился на том, чтобы научить начинающих игроков распознавать возможности закончить игру. Подобная последовательность показала себя очень успешной: некоторые современные гроссмейстеры рекомендуют руководство Фишера как отличный старт для новичка [412], и оно стало наиболее продаваемым учебником шахматной игры всех времен [413].

Казалось бы, дальше напрашивается следующий шаг – относиться к созданию хорошей, пригодной для обучения последовательности режимов как к проблеме машинного обучения и искать возможности автоматизировать процесс ее разработки. Последние исследования ищут способы автоматически определять задания необходимой сложности и примеры, которые максимально поспособствуют обучению нейросети. Первые результаты в этой сфере выглядят многообещающими, и работа продолжается [414].

Одна из самых впечатляющих достижений в автоматизированной разработке последовательности режимов – это работа британской компании DeepMind. Речь в основном идет об игровой нейросети AlphaGo и последовавших за ней AlphaGo Zero и AlphaZero. «В AlphaGo соперник всегда находится на правильном уровне, – объясняет ведущий разработчик игры Дэвид Сильвер [415]. – Вначале все чрезвычайно просто, игра идет случайным образом. Но на каждом этапе обучения есть оппонент – можно назвать его спарринг-партнером, – который тщательно откалиброван по текущему уровню эффективности». И кто же был этим идеальным спарринг-партнером, всегда настроенным на правильный уровень сложности?

Ответ прост, элегантен и очевиден. Машина играет против себя самой.