Приобретать знания чрезвычайно приятно не только философам, но также и всем другим[16][17].
В начале XX в. по планете прокатилась эпидемия, усугубленная бурными перемещениями армий по Европе в ходе Первой мировой войны. Науке ранее неизвестная, она получила народное название «сонная болезнь». Люди по всему миру впадали в летаргию, причем иногда мгновенно. Британский врач вспоминал о своем первом случае: здоровая девушка, возвращавшаяся пешком с концерта, внезапно согнулась пополам и рухнула на землю[18]. Уже через полчаса сон стал настолько глубоким, что ее невозможно было потревожить; через двенадцать дней она умерла.
Энцефалит летаргический (так эта болезнь известна сегодня) не имеет четкой клинической картины. Его изменчивая природа отражается в разнообразии симптомов. При самой распространенной форме заболевший испытывает непреодолимую потребность спать, хотя даже в этом псевдосне он смутно осознает происходящее вокруг. Некоторые пациенты выздоравливают. У других развивается хроническая форма болезни с пестрым набором симптомов: эйфория, повышенное либидо, «чрезмерное» пристрастие к каламбурам, тремор, мышечная ригидность, галлюцинации и склонность к самоповреждению. Восьмилетняя девочка вырвала себе все зубы и выдавила оба глаза[19]. Семнадцатилетним юношей овладела одержимость отталкивающими запахами – он совал нос в подмышечные впадины, искал фекалии и стаскивал себе в комнату мусор[20]. Некоторые пациенты постепенно впадали в паралич или кому, а то и умирали. Больные десятилетиями чахли в лечебницах – неподвижные, как статуи, с каменными лицами, впавшие в вечный сон. Причина этой болезни остается неизвестной до сих пор, но со временем врачи обнаружили, что ее симптомы можно смягчить с помощью едва известного тогда химического вещества, которое теперь называют дофамином.
Нейромедиатор дофамин имеет чуть не самую неустоявшуюся репутацию среди всех химических соединений. Во многом это свидетельствует в его пользу: он попросту слишком много умеет. Сегодня его часто ошибочно описывают как биологическую основу гедонизма – «молекулу удовольствия». Однако многие десятилетия после его открытия ученые не придавали ему особого значения. Впервые его получили в 1910 г. как промежуточный продукт в синтезе адреналина, который тогда использовали как лекарство от астмы[21]. Позже дофамин обнаруживали то тут, то там в различных тканях организма – и все же считали его не более чем «перевалочным пунктом» на пути к веществам поважнее, вроде того же адреналина. Вскоре это представление оказалось перевернутым традиционной аюрведической медициной.
В Индии гипертонию, лихорадки и психические расстройства веками лечили с помощью цветущего кустарника сарпагандхи. Махатма Ганди, страдавший от повышенного давления, каждый день добавлял в чай по шесть капель настойки сарпагандхи[22]. В начале 1950-х гг. сарпагандху «открыл» американский врач Роберт Уилкинс, хотя индийские ученые к тому моменту проводили ее клинические испытания уже более десяти лет[23]. Химики выделили ее активное соединение – резерпин, который стал популярным антипсихотиком и средством от давления. Иногда его использовали и как транквилизатор для животных: в больших дозах резерпин вызывал у них кататонический ступор. Никто, впрочем, не понимал, как именно.
В 1957 г. шведский исследователь Арвид Карлссон и его коллеги вводили резерпин мышам[24]. Обнаружилось, что препарат снижает в организме животных уровень нескольких химических веществ, включая дофамин и продукты его метаболизма, например норадреналин. Норадреналин был в то время известен как вещество, побуждающее организм к действию. Ученые, соответственно, предположили, что введение норадреналина кататоническим животным восстановит их способность двигаться. Однако этого не произошло – зато инъекция L-диоксифенилаланина (предшественника дофамина) дала ожидаемый эффект. В некоторых случаях у животных даже развивалась гиперактивность. Это открытие – наряду с тем фактом, что в том же 1957 г. Кэтрин Монтегю обнаружила дофамин в тканях мозга, – окончательно подтвердило роль этого соединения как нейромедиатора и позже принесло Карлссону Нобелевскую премию[25]. Представление, что нейроны могут общаться друг с другом путем объемной нейротрансмиссии, то есть выделяя в среду химические вещества, тогда еще вызывало недоумение. В то время более привычной формой межнейронной коммуникации казалась электрическая передача импульсов между отдельными клетками. Здесь же единственное сообщение, закодированное в концентрации дофамина, разом передавалось целым участкам мозга. Но в чем заключался его смысл?
Венский невролог Олег Горникевич обратил внимание на то, что последствия снижения уровня дофамина у животных напоминают симптомы распространенного нейродегенеративного заболевания – болезни Паркинсона[26]. Впервые ее описал в 1817 г. хирург Джеймс Паркинсон, чьи пациенты демонстрировали «непроизвольные дрожательные движения со снижением мышечной силы в членах в состоянии покоя и даже с поддержкой; склонность наклонять туловище вперед и переходить с шага на бег при сохранных интеллекте и чувствах»[27]. Паркинсон, страстный коллекционер окаменелостей и натуралист, назвал этот недуг новым «видом болезненности», который он, подобно ботанику, охарактеризовавшему неизвестный ранее цветок, выделил из хаоса неврологических симптомов.
Хотя паркинсонизм чаще всего встречается у пожилых пациентов, его часто наблюдали и у людей с хронической формой сонной болезни. В период после первоначальной вспышки этого заболевания лечебные учреждения заполняли пациенты с состояниями, выглядевшими как кататонические. В 1960-х гг., спустя более чем 30 лет после эпидемии, Горникевич начал собирать образцы мозга недавно умерших пациентов. Он обнаружил, что в мозговых тканях пациентов с паркинсонизмом сильно понижен уровень дофамина. Что, если симптомы паркинсонизма можно обратить вспять с помощью L-диоксифенилаланина, подобно тому как Карлссон приводил в чувство кататонических мышей? Не теряя времени, Горникевич передал весь свой запас этого препарата коллеге, руководившему одним из венских домов престарелых. Медперсонал вводил L-диоксифенилаланин пациентам с болезнью Паркинсона, и результаты выглядели настоящим чудом: люди, десятилетиями находившиеся в неподвижности из-за «сонной болезни», вставали и начинали ходить, обретая прежний голос и прежнюю личность.
Такая заместительная терапия стала стандартным методом лечения пациентов с болезнью Паркинсона и остается им по сей день. К сожалению, это не панацея – со временем ее эффективность снижается. В своей пионерской работе «Пробуждения» невролог Оливер Сакс описал кратковременное, но яркое преображение пациентов с летаргическим энцефалитом, сравнив их с «потухшими вулканами», которые внезапно «начали извергаться»[28][29]. Этот впечатляющий успех вытолкнул дофамин на авансцену науки, сделав его одним из наиболее изучаемых нейромедиаторов. С тех пор ученые обнаружили дофамин практически у всех животных, имеющих нервную систему, что свидетельствует о его эволюционной древности – он задействован в движении как плоского червя или светлячка, так и камбалы или сокола[30]. Казалось, все это окончательно закрепило за дофамином роль нейромедиатора, ответственного за движение, но природа никогда не бывает такой простой.
Едва задумавшись о возможности существования компьютера, люди начали задаваться вопросом, может ли он мыслить. Первый в мире программист Ада Лавлейс раньше всех осознала, что «аналитическая машина» (так Чарльз Бэббидж назвал свой протокомпьютер) способна на большее, чем просто оперировать числами. Лавлейс предположила, что однажды машина сможет сочинять музыку, доказывать математические теоремы и играть в игры. Однако, утверждала Лавлейс, машина способна лишь выполнять инструкции и «не претендует на то, чтобы создавать что-то действительно новое[31]. Машина может выполнить все то, что мы умеем ей предписать»[32]. Столетием позже Алан Тьюринг, чьи открытия привели к созданию более мощных и гибких компьютеров, верил, что эти машины способны на гораздо большее. Отвечая на «возражение леди Лавлейс», он писал: «Более удачный вариант этого возражения состоит в утверждении, что машина никогда не может ничем поразить человека… Лично меня машины удивляют очень часто»[33]. Тьюринг предсказывал, что компьютеры смогут создавать новое знание и понимание. Но сначала нам нужно было научить их учиться.
Тьюринг ожидал, что создать машину, воспроизводящую всю сложность мышления и объем знаний взрослого человека, будет чрезвычайно трудно. Ее интеллект можно будет просто приписать ее изобретателям – она, мол, не «создает что-то действительно новое», как и утверждала Лавлейс. «Почему бы нам, вместо того чтобы пытаться создать программу, имитирующую ум взрослого, не попытаться создать программу, которая бы имитировала ум ребенка? – спрашивал Тьюринг. – Ведь, если ум ребенка получает соответствующее воспитание, он становится умом взрослого человека»[34]. Он представлял, что такого компьютерного «ребенка», подобно реальным детям, можно будет воспитывать с помощью наказаний и поощрений. Это требовало решения двух отдельных задач: во-первых, создания компьютерной программы, реконструирующей способность ребенка к обучению, а во-вторых – разработки для нее процесса воспитания. Сегодня мы назвали бы решение первой задачи «алгоритмом обучения», а решение второй – «обучающими данными».
Тьюринг предположил, что настольные игры станут идеальной тренировочной площадкой для воспитания этих компьютеров-детей. Игры – это миниатюрные миры, абстрактные представления взаимодействия, и их дискретная природа делает их прекрасно подходящими для компьютеров. В таких играх, как шахматы и шашки, несколько простых правил приводят к кампаниям астрономической сложности. Издавна считалось, что овладение играми демонстрирует интеллект игроков. Путь игрока от новичка до мастера удобно оценивается и отслеживается с помощью показателей вроде рейтинга. Таким образом, игры могли служить и схемой тренировки для обучающихся агентов, и критерием для количественной оценки их интеллекта. Структурированные игры стандартизируют диапазон возможностей игроков, уравнивая условия. Игры навязывают симметрию. Игроки действуют друг против друга ради общей для обоих цели – победы. Им даются одинаковые фигуры, и они связаны одними и теми же правилами. Чтобы измерить время, мы используем часы; чтобы измерить пространство – линейку. Игры начали в итоге использоваться как мерило интеллекта. Они представляют собой древнюю форму риторики – спор не словами, а решениями, действиями, парируемыми во времени и пространстве.
Джон Маккарти, исследователь, придумавший термин «искусственный интеллект», также дал одно из самых живучих его определений[35]. «Интеллект, – писал он, – это вычислительный компонент способности достигать своих целей в мире»[36]. Мы можем оценивать интеллект машины в беседе, как во время «Игры в имитацию» Тьюринга, где печатающие друг другу сообщения игроки – как компьютерные программы, так и реальные люди – стараются убедить судью-человека в том, что они люди. Или же мы можем называть обладающей интеллектом программу, способную обыграть человека в шахматы.
Тьюринг, по его собственному признанию, был посредственным шахматистом. Он строил мечты о создании шахматного искусственного интеллекта в беседах со своим любимым партнером по шахматам и коллегой Дональдом Мики, который тоже играл неважно. И Тьюринг, и Мики во время Второй мировой войны работали в Блетчли-парке, где разрабатывали методы взлома военных шифров стран «оси»[37]. Мики попал в Блетчли-парк почти случайно, записавшись на курс криптографии в надежде делать «что-то неясное, но романтичное» для победы в войне[38]. Сегодня мы знаем, что его исследования сыграли огромную роль в успехе союзников: идеи Мики помогли взломать шифр «Лоренц» и значительно усовершенствовать компьютер Colossus II[39]. Благодаря ему сообщения, на расшифровку которых раньше уходили дни, стали обрабатываться за считаные часы, что позволяло союзным войскам избегать засад и предугадывать маневры противника.
Мики был очарован концепцией Тьюринга. «Я решил посвятить свою жизнь искусственному интеллекту, как только это станет практически осуществимым», – писал он[40]. Но реальные компьютерные технологии в тот период катастрофически отставали от амбиций ученых. К тому же вычислительные машины были невероятно дорогими и редко встречались за пределами военных учреждений. После окончания войны Мики, вдохновленный своей детской любовью к мышам, вернулся в академическую среду и переключил внимание на генетику. Он был посредственным биологом; больше всего он поспособствовал исследованиям своей жены Энн Макларен, чья работа открыла дорогу к экстракорпоральному оплодотворению. Тем не менее, несмотря на отсутствие доступа к компьютерам, Мики никогда не оставлял мечту об искусственном интеллекте.
В 1961 г. Мики заключил пари с неким коллегой, который скептически оценивал способность машин к обучению. Выиграть спор ему помогли триста с лишним спичечных коробков и пригоршня цветных стеклянных бусин. Он создал обучающуюся систему, которая могла играть в крестики-нолики, и назвал ее MENACE (Matchbox Educable Noughts and Crosses Engine – «Обучаемый механизм для крестиков-ноликов на основе спичечных коробков», аббревиатура совпадает с англ. Menace – «угроза»)[41]. Каждый спичечный коробок соответствовал одному из состояний поля для игры в крестики-нолики, причем эти коробки были разложены по стопкам, соответствовавшим тому или иному по счету ходу для всех возможных расположений крестиков и ноликов. Бусины, которых всего имелось девять цветов, указывали на все возможные из текущего состояния последующие ходы. Изначально Мики поместил в каждый спичечный коробок равное количество цветных бусин. На каждом ходу он наугад вытягивал из соответствующего коробка одну бусину, что определяло следующий ход MENACE и новое состояние игрового поля. Цвет стеклянной бусины, вытянутой из следующего коробка, определял следующий ход, и так далее. Коробки оставлялись открытыми, фиксируя тем самым сделанные ходы. Если MENACE в конце игры проигрывала, Мики не возвращал бусины в открытые коробки, уменьшая вероятность того, что машина повторит такие ходы в будущем. Если игра заканчивалась вничью, он добавлял по одной дополнительной бусине соответствующего цвета в каждый спичечный коробок. Если же игра завершалась победой MENACE, он клал в каждый коробок по три такие бусины. Система, таким образом, обучалась посредством подкрепления: Мики поощрял правильные ходы и наказывал за неправильные.
Сначала MENACE играла ужасно. «Случайные партии выглядят крайне глупо, в чем легко убедиться, понаблюдав за парой туров», – писал Мики[42]. Но за сотни игр цветные бусины перераспределились внутри коробков так, что выигрышные ходы стали более вероятными, а проигрышные – менее вероятными, словно углубляя колеи на пути, ведущем к победе. В конце концов MENACE научилась играть в крестики-нолики просто идеально. Бездумная система достигла уровня мастера исключительно методом проб и ошибок.
Мики черпал вдохновение в теории обучения методом проб и ошибок, которая находилась в центре внимания психологической науки в первые десятилетия XX в. Психолог Эдвард Торндайк стремился понять загадку «животной глупости» – как поведение, кажущееся нам разумным и целенаправленным, возникает из самых простых ассоциаций[43]. Он сажал в ящик с секретом несколько кошек, а снаружи, вне их досягаемости, клал кусочки рыбы. В ящике имелась дверца, которая открывалась, только если одно из животных нажимало на особый рычаг. Как только случайное нажатие на рычаг приводило к первому открыванию дверцы и получению лакомства, животные быстро усваивали, что в последующих испытаниях они могут выбираться из ящика, снова нажав на рычаг. Торндайк назвал это «законом эффекта»: поведение, которое приводит к приятному результату, будет отбираться и повторяться, тогда как поведение, которое приводит к результату неприятному, подавляется[44]. Это немного походило на эволюцию, в ходе которой генетические варианты, обеспечивающие бо́льшую приспособленность, вознаграждаются выживанием в популяции. При обучении методом проб и ошибок «выживает» случайное действие, приводящее к награде. Вместо того чтобы фиксироваться в последовательности ДНК, оно сохраняется в памяти. Сила его ассоциации с наградой определяет, с какой вероятностью это действие будет воспроизведено в будущем. В случае MENACE победа в партии в крестики-нолики обеспечивала выживание ходов, которые привели к успеху. Победа «размножала» выигрышные ходы, тогда как поражение удаляло копии проигрышных ходов из набора доступных системе действий.
Позже Мики применил схожие методы обучения к шахматным эндшпилям. Он часто повторял высказывание, приписываемое советскому математику Александру Кронроду: для изучения искусственного интеллекта шахматы – то же, что дрозофила для генетики[45]. Подобно тому как исследования простого генома дрозофилы, состоящего всего из четырех хромосом, проложили дорогу к пониманию более сложной генетики человека, заявлял Мики, «изучение шахмат предварит развитие инженерии знаний и когнитивной инженерии будущего»[46].
Тем временем в США инженер Артур Сэмюэл работал над программой, которая cмогла бы играть в шашки. Изначально он задумал этот проект как эффектный трюк, чтобы выбить финансирование для завершения работы над компьютером, который он проектировал, но вышло так, что шашечная программа стала главным направлением его исследований на следующие 30 лет. Сэмюэл был не особенно сильным шашистом, и первые версии его системы работали лишь настолько хорошо, насколько он мог их запрограммировать. Чтобы создать машину, способную превзойти его собственные ограниченные таланты, он взялся за воплощение мечты Тьюринга о программе, которая могла бы обучаться сама, – и заодно популяризировал в 1959 г. термин «машинное обучение».
К концу 1950-х гг. Сэмюэл натолкнулся на стратегию игровой тренировки, которая станет основной для всей сферы разработки ИИ, – самоигру (англ. self-play). При таком подходе программа тренируется в игре против собственных копий. Эти копии корректируют свои параметры после каждой партии, чтобы повысить долю побед. Самоигра оказалась столь эффективной отчасти потому, что игроки лучше всего учатся у примерно равных соперников. Когда программа играет с собственной копией, ей всегда противостоит тот, кто играет на ее же уровне. Если свести ее с куда более сильным игроком, она может так ничему и не научиться, поскольку ее будут постоянно громить. Слабый соперник тоже не годится: победы будут даваться слишком легко – и у программы не появится стимула к совершенствованию.
Однако обучение посредством самоигры требует очень много времени, а учитывая тогдашнюю редкость компьютеров, это была роскошь, доступная лишь немногим исследователям. К тому моменту Сэмюэл работал в компании IBM, руководство которой не разделяло его энтузиазма по поводу шашек. Каждую ночь, пока коллеги спали по домам, а корпоративные компьютеры простаивали, Сэмюэл пробирался в лабораторию, чтобы с полуночи до семи утра тренировать свою программу. К 1956 г. она играла достаточно хорошо, чтобы соперничать с начинающими игроками. Впечатленный успехом, достигнутым Сэмюэлом исподтишка, президент IBM организовал публичную демонстрацию программы, и акции компании в одночасье подскочили на 15 долларов.
Параллельно с попытками специалистов по информатике создать мыслящие машины, нейробиологи старались разобраться в биологических основах интеллекта. В 1980-е гг. молодой врач по имени Вольфрам Шульц организовал собственную лабораторию, занимавшуюся болезнью Паркинсона. Он планировал фиксировать электрическую активность дофаминовых нейронов, чтобы лучше понять ту роль, которую они играют в управлении движением. Хотя дофаминовые нейроны составляют менее 1% всех нейронов мозга, их относительно легко обнаружить и изучать, поскольку они сосредоточены в нескольких расположенных рядом областях среднего мозга. Шульц и его коллеги имплантировали электроды в мозг макак и замеряли активность дофаминовых нейронов, пока животные выполняли простые двигательные задачи[47]. Исходя из данных об участии этих нейронов в процессе движения, можно было ожидать, что они будут активироваться всякий раз, когда подопытные макаки меняют положение. Вместо этого они срабатывали в те моменты, когда животным давали награду.
Это было не совсем неожиданно. Да, дофамин как-то задействован в движении, но для чего в конечном итоге нужно движение, как не для стремления к награде и избегания наказания? Биологи фрагмент за фрагментом составляли целостное представление об этой ориентирующей системе. Ученые XIX в., очарованные недавно открытым электричеством и смутно осознававшие его роль в нервной деятельности, вживляли стимулирующие электроды в мозг людей и животных, руководствуясь скорее энтузиазмом, чем разумом. В первой половине XX в. нейрохирург Уайлдер Пенфилд усовершенствовал эту методику и использовал ее для создания функциональной карты мозга. Он характеризовал участки мозга в соответствии с эффектами от их стимуляции: зрительная кора, например, была помечена им как «свет и тени». Стимуляция области, которую он называл «памятью», погружала подопытного в воспоминания настолько яркие, что казалось, будто они разворачиваются в настоящем. Префронтальная кора, задействованная в принятии решений, стала «тишиной», поскольку ее стимуляция прерывала внутренние монологи пациентов. «Всю мою научную жизнь, – писал Пенфилд, – меня занимал главный вопрос, который веками не давал покоя и ученым, и философам: едины ли разум и тело?» Создавалось впечатление – почти чересчур удобное, – будто психические функции можно напрямую сопоставить с конкретными областями мозга[48].
За этим последовала целая волна экспериментов со стимуляцией, связывающих области мозга с вызываемым ими поведением. Стимуляция где-то в глубине мозга крыс делала их агрессивными. Стимуляция другой области вызывала у них страх, и эти крысы избегали возвращаться в те места, где получили разряд. В 1953 г., во время своей первой операции по вживлению крысе электрода, молодой ученый по имени Джеймс Олдс сделал случайное открытие. Он удачно промахнулся на долю миллиметра, и вместо страха разряд, казалось, вызвал у крысы чувство удовлетворения[49]. Животное снова и снова возвращалось в то место, где получило разряд, вместо того чтобы его избегать. Как в игре «Горячо-холодно», крысу можно было «притянуть» к любой точке, посылая электрический стимул после каждого движения в нужном направлении[50].
Олдс быстро соорудил систему с рычагом, которая позволяла животному самостоятельно вызывать стимуляцию. Крыса с вживленным в мозг электродом непрерывно нажимала на этот рычаг. Последующие исследования показали, что крысы предпочитали такую стимуляцию еде, воде и даже спариванию. Они нажимали на рычаг, даже если это сопровождалось болезненным ударом тока. Подобно наркоманам, животные нажимали на рычаг целыми днями, день за днем, часто до изнеможения, конвульсий, а иногда и смерти. Таким образом гибли крысы, кошки, обезьяны и даже один дельфин. Эти результаты вызвали бурный интерес средств массовой информации, а футурологи предсказывали, что все наши устремления и желания скоро заменит электрофизиологическое удовлетворение. Писатель-фантаст Айзек Азимов заключал: «Очевидно, все желанные вещи в жизни желанны лишь постольку, поскольку они стимулируют центр удовольствия. Прямая его стимуляция делает все остальное ненужным»[51].
Позднее было обнаружено, что стимуляция этой области вызывает выброс дофамина[52]. На смену репутации дофамина как «молекулы движения» вскоре пришло его новое амплуа – «молекулы удовольствия». Однако эта ассоциация всегда была сомнительной. Люди с вживленными в аналогичную область мозга электродами не испытывали при разряде никакого удовольствия. Ощущение больше походило на непреодолимое желание. Испытуемые сообщали, что потребность нажимать на рычаг напоминала порыв почесать зудящее место. Не имея возможности поговорить с животными, мы не можем сказать, ощущают ли они то, что мы называем наградой, как нечто приятное. Скорее, награда закрепляет поведение, которое к ней приводит, в соответствии с «законом эффекта» Торндайка. Дофамин – это не мера удовольствия. Он больше напоминает «молекулу мотивации», побуждающую организм действовать для достижения желаемого.
Новые данные Шульца усложнили эту картину. Его группа подтвердила, что дофаминовые нейроны активируются при получении награды – но только если животное ее не ожидало. Ученые обучили обезьян тому, чтобы после светового сигнала нажимать на рычаг для получения награды в виде сока. Необученные животные поначалу действовали хаотично. Они беспорядочно нажимали на рычаг, и иногда это поведение подкреплялось соком, так как случайно приходилось на нужный момент. У этих необученных обезьян при получении награды активировались дофаминовые нейроны. Но как только животные усваивали связь между световым сигналом и наградой, эти нейроны переставали реагировать на сок. Вместо этого они активировались в ответ на предшествующий световой сигнал. Еще показательнее было то, что, если свет зажигался, но награда не поступала, активность нейронов снижалась. Они сигнализировали об ожиданиях. Эти нейроны отслеживали не движение и не награду как таковые – они отслеживали представления. Они даже реагировали, когда ожидаемое событие не происходило, будто выражая удивление.
Психологи уже знали, что удивление играет ключевую роль в обучении. Животные не всегда учатся с помощью простого повторения и вознаграждения. Удивление указывает на то, что ученику еще есть чему учиться, то есть способность удивления привлекать внимание способствует обучению[53]. Даже младенцы дольше смотрят на неожиданные стимулы, например на видео с мячом, катящимся в гору. Удивление возникает, когда реальность расходится с ожиданиями, и мозг использует это как сигнал к обучению. Именно поэтому в программах для изучения иностранных языков часто встречаются юмористические фразы с неожиданными ассоциациями – «Почему банан мокрый?» или «Мои лошади коллекционируют зубы». Когда преподаватели используют элемент неожиданности, ученики лучше запоминают материал.
Данные Шульца перекликались с результатами классических психологических исследований, например экспериментов Павлова на собаках, у которых слюноотделение начиналось уже при звуке колокольчика, сигнализирующего о скором появлении еды. Десятилетия спустя психолог Б. Ф. Скиннер пошел по этому пути дальше, назвав поведенческую обратную связь «подкреплением». Отрицательные подкрепления (например, поток воздуха в морду) подавляли определенное поведение, а положительные (например, еда) его закрепляли. Скиннер считал, что эта простая дихотомия – привлекательность желаемого и избегание нежелательного – составляет основу любого разумного поведения. Таким образом он надеялся свести сложность поведения животных к некому подобию физики, где все определяется притяжением к награде и отталкиванием от наказания. Скиннер полагал, что с помощью подкреплений животных можно, по сути, запрограммировать на любое поведение. Он также считал, что это в равной степени верно и для людей. Он писал: «Главный вопрос состоит не в том, могут ли машины мыслить, а в том, могут ли мыслить люди. Тайна, окружающая мыслящую машину, уже окружает и мыслящего человека»[54].
Многие исследователи середины XX в. верили, что эти открытия проложат путь к логично устроенной утопии «психоцивилизованного» общества[55]. Страх и агрессия будут укрощены, а удовольствие усилено. Поведением людей можно будет рационально управлять. «Ошибочно полагать, будто вся проблема состоит в том, как освободить человека, – утверждал Скиннер. – Проблема в том, как усовершенствовать способы контроля над ним»[56]. Вдохновленный этой идеей, психиатр Роберт Хит попробовал менять поведение пациентов методами крайне неэтичными даже по меркам своего времени. В 1972 г. Хит заявил, что «переделал» гея в гетеросексуала, стимулируя дофаминовые нейроны пациента во время его полового акта с проституткой[57]. Идеи Скиннера десятилетиями доминировали в психологии. Людей рассматривали как пассивные объекты, движимые наградой и наказанием и лучше всего управляемые с помощью мягкого подталкивания. Позже его философия сильно повлияла на экономическую науку, где специалисты называют такие способы подкрепления «стимулами».
В 1970-е гг. студенты могли получить практический опыт работы с компьютерами лишь в нескольких американских университетах, и Стэнфорд, где учился Ричард Саттон, был одним из них. Отдельной специализации по ИИ еще не существовало, поэтому он изучал психологию, параллельно осваивая программирование. Саттона поражало, как мало внимания исследователи ИИ уделяли психологии. Очевидно же, что ИИ должен создаваться по образцу реального мозга: «Неужели никто не изучал то, как это делают животные и люди, ведь это совершенно логичный подход?» В то время игровые ИИ-системы не имели ничего общего с человеческим интеллектом[58]. Они строились на негибких, избыточно заточенных под свои задачи уравнениях – уязвимых, как панды, способные питаться одним лишь бамбуком.
На третьем курсе Саттон обнаружил малоизвестный и сугубо теоретический отчет сотрудника исследовательского центра ВВС США Гарри Клопфа «Функции мозга и адаптивные системы: гетеростатическая теория» (Brain Function and Adaptive Systems: A Heterostatic Theory)[59]. Если гомеостат (например, домашний термостат) поддерживает текущее состояние системы, то гетеростат предназначен для максимизации определенного ее показателя. Клопф считал, что о нейронах (а также организмах, их группах и даже целых обществах) следует думать как о желающих чего-то, как будто они имеют цели и действуют так, чтобы максимизировать будущее вознаграждение. Хотя не все идеи Клопфа выдержали проверку временем, его основной тезис заключался в том, что обучение по своей природе гедонистично.
В его отчете проводилось очень многое проясняющее различие: интеллект нельзя смоделировать с помощью пассивной программы, которая просто выдает ответы «да» или «нет», классифицируя изображения кошек или автомобилей. Интеллект активно действует в своем мире и целеустремленно меняет его, следуя вдоль вектора, направленного от наказания к награде. Интеллект желает. Саттон решил пойти в аспирантуру в лабораторию исследователя ИИ Эндрю Барто, который разделял его стремление создавать системы, обучающиеся подобно живым существам. Вдохновленные идеями Клопфа, они потратили несколько лет на формализацию принципов работы написанной Сэмюэлом самообучающейся шашечной программы, создав элегантную концепцию, известную сегодня как обучение с подкреплением. Ее суть проста: действия, ведущие к награде, закрепляются, а бесполезные отбрасываются. Вторя экспериментам психологов прошлого, Саттон и Барто стали первопроходцами в разработке систем, которые методом проб и ошибок учатся проявлять поведение, максимизирующее вознаграждение. Настольные игры идеально подходили для этого, поскольку по определению имели четкую цель – победу.
Основная сложность при создании обучающихся систем с подкреплением известна как проблема распределения заслуг. В жизни вознаграждения случаются редко. Можно создать программу для игры в шашки, которая «желает» добиться победы. Но результат партии становится известен только в конце, после длинной цепочки ходов. Как программа может определить, все ли приведшие к победе ходы одинаково хороши, или был некий решающий ход, который заслуживает особого признания? Непонятно, как связать такую отложенную обратную связь с действиями, совершенными много шагов назад. Победы и поражения просто-напросто слишком редки, чтобы служить надежными сигналами при обучении.
Чтобы решить эту проблему, Саттон и Барто предложили использовать обучающий сигнал, который можно обновлять на каждом ходу: прогноз самого алгоритма о вероятности своей победы. Система, перед которой стоит задача достичь цели, должна научиться предсказывать, насколько ее решения приближают или отдаляют выполнение этой задачи. Саттон и Барто создали алгоритм, который делает прогнозы о последствиях своих действий, а затем сравнивает их с реальностью для их улучшения. Этот метод они назвали обучением на временны́х разностях. Например, в шашках программа анализирует все возможные при этой позиции ходы и оценивает вероятность победы после каждого. Допустим, она выбирает ход с прогнозом успеха в 90%. Через несколько ходов ситуация ухудшается, и эта оценка падает до 50%. Где-то по пути прогноз оказался неверным. Этот сигнал – его называют «ошибкой предсказания награды» – действует как удивление. Он указывает на пробел в знаниях, заставляя систему скорректировать первоначальные предположения, чтобы они лучше соответствовали реальности. Саттон описывал это как «догадку на основе догадки»[60]. В конечном итоге система проверяет точность своих предсказаний, когда выигрывает или проигрывает партию. Она снова и снова играет сама с собой, постоянно улучшая свои прогнозы, чтобы принимать решения, которые надежно ведут к победе.
В начале 1990-х гг. в области обучения с подкреплением был достигнут заметный прогресс: инженер Джеральд Тесауро создал программу для игры в нарды, успешно обучавшуюся с помощью метода временны́х разностей. Хотя нарды и не обладают таким культурным престижем, как шахматы, компьютерным программам было чрезвычайно трудно их освоить. К 1990 г. шахматные и шашечные программы уже приближались к уровню лучших игроков-людей, но их успех обеспечивался в основном «методом грубой силы» – опиравшимся на огромные вычислительные мощности перебором всех возможных вариантов на десятки ходов вперед. Однако не все игры в равной степени поддаются такому подходу. В шашках коэффициент ветвления – среднее число возможных ходов при каждой позиции – равен трем. Просчет наперед лавинообразно превращается в гигантское вычисление, поскольку каждый из этих трех ходов порождает еще три возможности – и так далее. В шахматах коэффициент ветвления имеет более проблематичное значение 35. Популярные уже как минимум пять тысячелетий нарды сочетают удачу и стратегию. Два игрока размещают на противоположных концах доски по 15 фишек, которые должны поменяться местами, двигаясь в соответствии с выпадающими на костях числами. Здесь коэффициент ветвления достигает примерно 400, так что прогнозирование даже на несколько ходов вперед быстро становится непосильной задачей[61].
Тесауро назвал свою программу TD-Gammon – в честь метода временны́х разностей (temporal difference)[62]. Вслед за Сэмюэлом с его шашечной программой он ставил TD-Gammon играть против собственных копий, что позволяло ей накапливать огромный опыт в ходе самоигры. Как и в случае с MENACE, первые партии TD-Gammon были ужасны, а победы одерживались лишь случайно. Программа еще ничему не научилась, так что ее прогнозы были чистой воды догадками. После нескольких десятков партий ее ходы начали напоминать простейшие стратегии при стандартном подходе к игре. После 300 000 партий она играла на уровне лучших уже существующих программ. Это особенно впечатляло, поскольку TD-Gammon не получила в явной форме никаких экспертных представлений о нардах. Другие ведущие программы были обучены копировать стратегии мастеров-людей и запрограммированы с помощью сложных уравнений, выражающих правила игры и встречающиеся в ней закономерности. TD-Gammon же выстраивала свою систему представлений исключительно на собственном опыте. После миллионов партий программа играла наравне с лучшими игроками-людьми. Анализируя ее стиль, специалисты обнаруживали неортодоксальные стратегии, бросавшие вызов любым традиционным подходам. Тесауро отмечал, что ее необычная манера игры «в некоторых случаях привела к серьезному пересмотру позиционного мышления ведущих игроков»[63]. Например, TD-Gammon использовала дебютную стратегию, превосходившую так называемый «захват пунктов», которое тогда считалось почти обязательным. Впоследствии забивание практически исчезло с турниров. Мечта Тьюринга осуществилась: самостоятельно освоившая нарды программа открыла новые глубины древней игры ее мастерам.
Вдохновленная достижениями психологии, TD-Gammon научилась играть лучше большинства людей. Но училась ли она так, как учатся люди? Теоретики нейронауки Питер Дайан, Рид Монтегю и Терри Сейновски обнаружили неожиданную аналогию: странные закономерности срабатывания дофаминовых нейронов, зафиксированные в лаборатории Шульца, в точности напоминали сигнал ошибки предсказания в системах типа TD-Gammon. Сейновски связался с Шульцем, и их ставшие теперь классическими совместные работы позволяют предположить, что дофамин сообщает в мозге об ошибке предсказания награды[64].
Эта элегантная концепция объясняла изначально сбивавшие с толку результаты Шульца[65]. Хотя дофамин выполняет в мозге множество функций, новые работы предполагали, что он действует как компонент обучающего алгоритма. Подобно методу временны́х разностей, дофаминовая система выражает то, в какой степени организм ожидает получения награды. Активность дофаминовых нейронов показывает, получило ли животное бо́льшую или меньшую награду, чем оно прогнозировало. Для нейронауки столь четкое соответствие теории и экспериментальных данных – огромная редкость. Мозг создает некую внутреннюю модель мира и регистрирует отклонения реальности от ее предсказаний. Как выразился нейробиолог Роберт Сапольски, дофамин «обслуживает скорее ожидание награды, чем саму награду»[66][67].
Дофамин играет в интеллекте ключевую роль. Он отвечает за поведение, направленное на поиск вознаграждения, у большинства подвижных животных, причем его концентрация в мозге выше у более разумных видов, таких как приматы и люди[68]. Однако тут следует сделать определенные оговорки. Приведенное мною описание – не только грубое упрощение наших знаний о дофаминовых нейронах, но и лишь малая часть того, что нам еще предстоит о них узнать. Не все дофаминовые нейроны сигнализируют об одном и том же. Некоторые отслеживают размер и ценность ожидаемого вознаграждения, но другие, судя по всему, срабатывают в зависимости от движений животного, его мотивации, тяжести наказания, ощущения неопределенности или сенсорных предсказаний. К тому же высвобождение дофамина влияет на нейроны-мишени очень многими способами. Говорить о дофамине как об однородном сигнале неправильно – хотя я и впредь буду допускать эту ошибку ради простоты изложения. Алгоритм обучения с подкреплением может быть очень разным, и мы не знаем точно, какая его версия (если вообще какая-либо) реализована в реальном мозге. И конечно же, эта история не сводится к дофамину. Дофаминовая система лишь один из компонентов гигантской и запутанной обучающейся сети, включающей разнообразные группы нейронов, химические вещества и рецепторы по всему организму. Петли обратной связи, напоминающие змею, кусающую себя за хвост, затрудняют интерпретацию любого нейронного сигнала. Однако несмотря на все это, обучение с подкреплением послужило очень полезной моделью для изучения одной из потенциальных функций дофамина в мозге.
В этой интерпретации процесс планирования можно рассматривать как запуск мозгом обучения с подкреплением на основе воображаемого опыта, полученного в рамках его внутренней модели мира. «Обучение и планирование, – пишет Саттон, – по сути одно и то же: в первом случае обрабатывается реальный опыт, а во втором – симулированный, полученный из предсказательной модели мира»[69]. Схожим образом это может объяснять и феномен сожаления, который можно рассматривать как форму обучения. Воспоминания – это данные, на которых мозг может тренироваться снова и снова. Внутренние сожаления – увязывание прошлых ошибок с негативными последствиями, проявившимися гораздо позднее. Хотя сожаление обычно считают эмоцией, его, возможно, правильнее рассматривать как вычислительный метод. Однако этот процесс может стать и патологическим, как, например, у пациентов с посттравматическим стрессовым расстройством.
Объясняет этот подход и разнообразные амплуа дофамина в психических заболеваниях. Снижающая уровень дофамина сарпагандха веками использовалась в аюрведической медицине для лечения шизофрении. Позже клинические исследования подтвердили, что подавляющие выработку дофамина препараты ослабляют галлюцинации. Как и в случае со многими другими нейротропными средствами, их начали повсеместно применять, не разобравшись точно в механизме действия. Но модель обучения с подкреплением дает подсказку и тут: возможно, галлюцинации возникают, когда дофаминовая система предсказаний выходит из-под контроля и внутренняя модель мира становится в мозге настолько влиятельной, что заглушает реальность[70].
Сравните мозг взрослого человека и мозг младенца. Психолог Элисон Гопник утверждает: у младенцев почти нет жизненного опыта, поэтому их внутренние модели мира только формируются[71]. Им все кажется ошибкой предсказания – ведь предсказывать им пока нечем. Почти любой опыт становится для них чистым удивлением, поэтому они стремятся исследовать все подряд. Гопник называет это «фонарным сознанием» детей – их внимание, подобно свету уличного фонаря, равномерно освещает все вокруг. Для взрослых же, напротив, характерно «прожекторное сознание», сфокусированное на текущей задаче.
Эта модель работы дофамина позволяет сделать несколько важных выводов о биологическом интеллекте. Первый из них состоит в том, что дофаминовая система обеспечивает перепрограммируемость ценностей. Произвольный сигнал, предсказывающий награду (например, звонок как сообщение о скором кормлении), сам становится наградой. Этим сигналом может быть что угодно. Для лабораторных животных он может принимать форму вспышки света, указывающей на поступление порции сока. Для людей это может быть хороший балл на экзамене, важном для поступления в университет, падение температуры, указывающее на то, что ребенок выздоравливает от лихорадки, высокая сумма очков в игре или кусочек цветной бумаги, призванный выражать абстракцию, которую мы называем деньгами. Короче говоря, именно так работает экономика, так работает религия и так вообще возникли эти абстрактные системы.
Игры – прекрасный тому пример. Ради участия в игре люди могут принимать коллективно воображенные системы ценностей и отказываться от них: собирать звезды в Super Mario Brothers, оружие в Skyrim или рецепты в Animal Crossing. Деньги из «Монополии» – классический случай иллюзорной ценности. Но для охваченных игровым азартом детей эти бумажки – огромная ценность, по крайней мере до тех пор, пока конец партии не лишает их силы. Это кажущееся поначалу банальным наблюдение сообщает нам нечто глубокое о человеческом разуме: мозг может научиться воспринимать определенные идеи как вознаграждение. И хотя эти ценности представляют собой лишь плод воображения, они все же очень реальны. Играя в «Монополию», люди регулярно предают родственников и друзей из-за своей временной жажды наживы, которая мгновенно исчезает с окончанием игры. Да и грань между «реальными» (фиатными) и «воображаемыми» (внутриигровыми) деньгами тоже условна. Геймеры (люди с неконтролируемым желанием играть в видеоигры) и любители азартных игр регулярно влезают в реальные долги. Юристы отмечают неуклонный рост числа заявлений о разводе, в которых упоминаются игровые траты. Общественный договор наделяет ценностью идеи или сигналы, которые кажутся совершенно бесполезными. Гибкая природа того, что мы ценим и чему научаемся придавать ценность, ставит под сомнение предположение, лежащее в основе современной экономики, – мы будет исследовать это противоречие на протяжении всей книги.
Дофаминовая система также способна увязывать действия и последствия, разделенные очень значительными периодами времени. Люди обладают поразительной, граничащей с патологической, способностью стремиться к долгосрочным целям, и этот наш талант существует отчасти благодаря дофамину. В первоначальном эксперименте Шульца дофаминовые нейроны обученных животных срабатывали в ответ на визуальный сигнал, предшествовавший награде в виде сока. Когда экспериментаторы добавили еще более ранний световой сигнал, дофаминовые нейроны начали реагировать и на эту вспышку, хотя и слабее. Но мозг способен выстраивать цепочку из предсказывающих награду сигналов на протяжении долгого времени. Эти сигналы могут шаг за шагом мотивировать животное на усилия ради достижения долгосрочной цели. Мозг связывает в цепочки такие предсказывающие выполнение задачи сигналы – будь то зелень рисового ростка или свежий олений помет – и поддерживает тем самым мотивацию, необходимую для тренировки, обучения, выслеживания добычи, ведения сельского хозяйства или работы над проектами, выгода от которых будет получена лишь в будущем.
Алгоритмы обучения с подкреплением опираются на метод проб и ошибок и поэтому требуют обширного опыта или большого объема обучающих данных. Игровое поведение обеспечивает людям социальный опыт в безопасной среде, позволяя им исследовать разные грани возможного, не подвергая свою жизнь опасности. Сэмюэл и Тесауро обучали своих компьютерных детей в игре с их собственными копиями, что позволяло им накапливать огромные объемы симулированного опыта. Но людям, чтобы совершенствоваться, не обязательно играть миллионы партий; они могут учиться друг у друга. Они могут симулировать опыт с помощью воображения, игры и языка. Язык – это инструмент, который люди используют для модификации своих представлений и ожиданий награды, что позволяет им увязывать сигналы, разделенные все более длительными промежутками времени. Рассказывая истории, мы делимся опытом и сообща формируем представления об определенных действиях. Конкретному крестьянину, чтобы вырастить урожай зерновых, не нужно проходить через многократные циклы проб и ошибок, потому что он может опереться на знания, накопленные его предшественниками. Язык подменяет собой непосредственный опыт. Его можно использовать для обобщения предыдущего опыта и формирования в сознании сразу многих людей представлений, которые ведут к правильным решениям.
Представления образуют модель мира, формируемую мозгом как на собственном опыте, так и благодаря обучению у других. Представления закрепляются не потому, что они точны, а потому, что ведут к награде. Верное представление может закрепиться – например, охотник может использовать свое знание о повадках диких животных, чтобы прокормить семью. Но представления также могут подкрепляться социальным вознаграждением, как в случае распространения теорий заговора в изолированных онлайн-сообществах. Неважно, точны ли эти представления, их закреплению способствует стремление быть включенным в сообщество и геймифицированная обратная связь в виде лайков или других механизмов социальных сетей.
Люди – единственные животные, готовые трудиться ради наград, которых они не увидят при жизни. Если они достаточно твердо придерживаются неких коллективных представлений и ожидаемая награда достаточно велика, люди могут сохранять мотивацию к действию на произвольно долгих временны́х отрезках. Дети месяцами ведут себя как шелковые в ожидании ежегодного приговора Деда Мороза. Верующие соблюдают заповеди, то есть следуют принципам, которые, как они полагают, обеспечат им пропуск в рай. Это социальное явление – вера в то, о чем человеку сообщили, но о чем у него нет непосредственного знания, – превозносится в религиозных системах как высшая добродетель. Человек научился использовать свои встроенные системы вознаграждения для закрепления просоциальных представлений и моделей поведения.
Другой важный вывод из такого понимания роли дофамина заключается в том, что таким образом различные формы вознаграждения сводятся к единой мере. Несхожие награды – еда, секс, деньги, принадлежность к группе – вызывают схожие срабатывания дофаминовых нейронов. Веками экономисты использовали понятие полезности – скалярной меры удовлетворения человека от товара или услуги. Некоторые ученые утверждают, что дофамин – это биологическое выражение этой идеи. Высвобождение дофамина усиливает само себя; оно закрепляет поведение, которое с большей вероятностью приведет к его дальнейшему высвобождению. Вызывающие привыкание наркотики замыкают эту систему обучения накоротко. Эти вещества закрепляют поведение, направленное на поиск наркотиков, путем повышения уровня дофамина. Поиск наркотиков вытесняет ранее приносившие удовлетворение занятия, такие как еда или установление социальных связей. Наркотик становится для зависимого главным источником удовлетворения. Повседневные сигналы окружающей среды, прочно увязанные с употреблением наркотика, могут провоцировать зависимое поведение. Технологические компании используют тот же принцип, чтобы привязывать пользователей к своим платформам, применяя механизмы подкрепления вроде новизны и группового внимания.
Что интересно, само обучение тоже является для мозга наградой. Исследователи обнаружили, что момент озарения («Эврика!») при решении головоломки вызывает выброс дофамина не хуже сахара или денег[72]. Мозг буквально вознаграждает сам себя за то, что он учится делать хорошие предсказания. Создатель видеоигр Джесси Шелл формулирует возможную причину так: «Люди, которым нравится решать задачи, будут решать больше задач, вероятно, станут их решать лучше и с большей вероятностью выживут»[73]. Люди любят игры, потому что они обеспечивают им бесплатное удовольствие, – вот догадка, которая осенила лидийцев во время голода. Основанные на правилах игры, подобные шахматам, – это по определению предсказуемые системы, упорядоченные миры, в которых мозг может получать награду на пустом месте благодаря удовольствию от формулирования предсказаний. Игра – это когда система вознаграждения щекочет саму себя.
По этой же причине игры могут вызывать такое сильное привыкание. Рассказывают, что багдадский халиф Мухаммад аль-Амин потерял свой престол, потому что был настолько поглощен партией в шахматы, что не прервал ее, когда столицу осаждали войска его брата[74]. Король Дании Кнуд Великий, как сообщают хроники, приказал убить ярла Ульфа, поругавшись с ним из-за шахмат[75]. В наше время люди по-прежнему умирают, не в силах оторваться от игры, а еще сколько-то детей гибнет из-за пренебрежения со стороны своих родителей-игроманов. С 2004 г. молодые мужчины-американцы непропорционально часто выпадают из состава рабочей силы, и это, по мнению исследователей, частично обусловлено доступностью чрезвычайно увлекательных видеоигр[76]. Потребители тратят на игры больше денег, чем на все другие формы развлечений, вместе взятые[77]. Проблемные любители азартных игр составляют около 1% населения Земли, а проблемные геймеры – около 3%. Для сравнения: алкоголизмом страдает около 1,4% человечества, а зависимостью от опиоидов – около 0,2%[78].
У мозга есть два способа улучшить свои предсказания. Первый – создавать лучшие (более точные, более детальные) модели мира. Это задача естественных наук, гуманитарного знания и моделирования реальности. Второй – сделать мир более предсказуемым. Это сфера технологий и конструирования ниш обитания, источник нашего прокрустова стремления менять мир так, чтобы он соответствовал нашим представлениям о нем. Мы, люди, одомашнили растения и животных, чтобы обеспечить себе стабильный источник пищи. Мы изобрели жилье и одежду для защиты от стихии. Мы одомашнили и самих себя: придерживаясь социальных норм, диктуемых культурой и религией, мы сделали друг друга более предсказуемыми. Подобно игрокам, связанным правилами игры, люди связаны социальными условностями, представлениями или моделями мира, в соответствии с которыми мы коллективно соглашаемся вести себя как положено.
Игры, которые долгое время сбрасывали со счетов как нечто тривиальное – удел детей и пьяниц, мошенников и хвастунов, – отражают глубокий принцип действия мозга. Алгоритм, разработанный для освоения компьютерными программами шашек и нард, проливает свет на роль дофамина и связанную с ним эволюционно древнюю систему обучения. Эта система стоит за многими нашими культурными достижениями – от денег до игр, от науки до религии. Неудивительно, что игры стали господствующей метафорой, окрашивающей наше понимание случайности, экономики, эволюции, общества, эпистемологии, интеллекта и войны. Эта метафора оказалась столь продуктивной, потому что игры являются естественным продолжением того, что делает разум. Мозг – это машина для предсказаний, и нигде это не проявляется так явно, как в нашем увлечении азартными играми.