Однажды ранней весной Гаурав услышал постукивание в окно гостиной. Стук был негромким, но непрерывным, а потому привлекал внимание. Гаурав вышел на улицу посмотреть, что вызывает стук, но это не помогло – снаружи ничего не было слышно. Только простояв несколько минут совершенно неподвижно внутри комнаты, Гаурав понял: стучит птица – среднего размера, с ярко-оранжевой грудкой. Он опознал в ней странствующего дрозда. Но зачем птица стучит в окно? Неужели хочет проникнуть внутрь?

Быстрый поиск в интернете показал: дрозд действительно атаковал. Но целью был не Гаурав. Птица нападала на другую птицу, которую видела в окне, – собственное отражение, – защищая свою территорию (рисунок 10.1).

Каждую весну самец странствующего дрозда сосредоточен на строительстве гнезда и защите территории. Если ему удается обустроить безопасное жилище, его шансы привлечь самку возрастают. Но он должен постоянно быть начеку, чтобы не пропустить чужака, способного выгнать его из старательно построенного гнезда. Потеря гнезда означает потерю возможности завести потомство.

Рисунок 10.1. Атакующий дрозд был целеустремлен и настойчив!

Однако иногда бдительность оборачивается против самой птицы. Если гнездо находится рядом с окном, собственное отражение воспринимается как сигнал «чужак», который запускает реакцию «атаковать и прогнать». Дрозд, похоже, не способен понять, что отражение не представляет угрозы, и нападает снова и снова, иногда более сотни раз за день.

Интересно, что агрессия странствующего дрозда направлена исключительно на других дроздов своего вида. Он вряд ли нападет на других птиц, случайно оказавшихся поблизости от гнезда. К примеру, обычно не обращает внимания на пестрого дрозда, который выглядит довольно похоже, или даже на кардинала с красным оперением, отчасти напоминающим его собственное. И уж тем более игнорирует дятлов и колибри – птиц, совсем не похожих на его сородичей. Но стоит ему увидеть другого странствующего дрозда – пусть даже всего лишь отражение, – как он тут же готовится к боевым действиям.

Люди, узнав о подобном поведении дрозда, обычно уверены, что прекрасно понимают его мотивы. Увидев свое отражение, дрозд подумал, что перед ним агрессивный соперник, и решил дать отпор. На птиц других видов он не нападал, потому что понимал: они не представляют угрозы, и на них можно не обращать внимания.

Подобные объяснения кажутся естественными, но в то же время вызывают вопросы. Что на самом деле означают слова подумал, решил и понимал? Что в действительности происходит с дроздом, когда мы говорим, что он думает, понимает и принимает решения?

Концепция нейронных сетей, которую мы развиваем в этой книге, дает полезный инструмент для осмысления процессов в мозге дрозда. Свет, отраженный от оконного стекла, попадает в глаза птицы и активирует светочувствительные клетки сетчатки. Это запускает активацию нейронов зрительного нерва, что в конечном счете создает определенный паттерн активации различных нейронов в мозге. Под паттерном активации мы понимаем состояние, когда одни нейроны активны очень сильно, другие – умеренно, а многие остаются неактивными. Такие паттерны активации мы называем распределенными представлениями (глава 7).

Распределенные представления объектов со схожими признаками обычно похожи друг на друга. Поэтому распределенное представление, возникающее при виде отражения в стекле, скорее всего, напоминает представления настоящих дроздов. Нейроны, кодирующие образ дрозда-захватчика, связаны с нейронами, которые запускают цепочки действий: удары клювом и крыльями, борьбу с врагом. Благодаря этим связям активация нейронов, представляющих противника, возбуждает нейроны, отвечающие за атакующее поведение. Те, в свою очередь, приводят в движение крылья и мышцы – и вот дрозд снова бросается на оконное стекло. Эти нейронные связи, судя по всему, врожденные или, по крайней мере, очень прочные – ведь птица продолжает атаковать стекло много раз в день, хотя это совершенно бесполезно.

А как дрозд «понимает», что не следует нападать на других птиц, особенно на тех, кто совсем на него не похож? И здесь ключ к разгадке дают распределенные представления. Как мы обсуждали в главе 7, распределенные представления способны отражать перцептивные и концептуальные сходства и различия: представление странствующего дрозда несколько отличается от представления пестрого дрозда и кардинально отличается от представления дятла. Нейроны, участвующие в кодировании образа дрозда-захватчика в период гнездования, связаны с другими нейронами, запускающими цепочки агрессивных действий. Часть этих нейронов активируется и при восприятии дрозда-отшельника, что может вызвать слабые агрессивные импульсы, но сигнал получается слабее (ведь активируются не все нужные нейроны) и, по-видимому, часто не достигает порогового уровня. При восприятии дятла активируется лишь малая доля нейронов, кодирующих образ дрозда, поэтому агрессия против дятла практически никогда не возникает.

Используя слова вроде думал и понимал, мы обычно представляем себе процесс логических умозаключений, который – по крайней мере, у человека – включает осознаваемые идеи, которые выражаются словами. Слово решил подразумевает взвешивание и оценку различных вариантов с последующим выбором наиболее предпочтительного. Концепция нейронных сетей предполагает, что «мысль» дрозда о противнике и его «решение» атаковать не содержат подобных процессов. В действительности это поток активации, запущенный сенсорными сигналами из внешней среды и распространяющийся через связи между нейронами, – именно он дает нам представление о том, что происходит в мозге дрозда с точки зрения нейросетевого подхода.

И это касается мозга не только дрозда, но и нашего собственного. Все ментальные феномены, описанные в предыдущих главах, основаны на процессах той же природы, что мы только что рассмотрели на примере дрозда. Сигнал извне сети вызывает активацию определенных элементов; эта активация возбуждает или тормозит другие элементы, с которыми существуют связи; активация распространяется по сети. Возникающие паттерны активации могут представлять мысли об объектах или понятиях либо участвовать в запуске действий.

Вспомним, например, нейронную сеть «"Ракеты" и "Акулы"» из главы 4 – модель системы памяти на основе нейронной сети. В этой сети событие внешнего мира – скажем, звук имени Кен – создает входной сигнал для элемента, представляющего имя Кена. Этот элемент связан со скрытым элементом Кена, который, в свою очередь, связан с элементами, кодирующими его семейное положение, образование и другие характеристики. Благодаря этим связям входной сигнал активирует соответствующие элементы свойств, и сеть «вспоминает», что Кену от 20 до 30, он холост и промышляет взломом (среди прочих его качеств). Входной сигнал порождает активацию, соответствующую извлечению из памяти информации о Кене, которая при необходимости может стать выходным сигналом сети и привести к внешней реакции.

Структурно схожая сеть в главе 5 объяснила, почему буквы в словах распознаются при кратковременном предъявлении лучше, чем буквы в бессмысленных последовательностях. К примеру, буква L в слове FLAG воспринимается легче, чем L в наборе ZLFQ. В первом случае активацию L поддерживают и элементы, кодирующие признаки буквы L, и элементы, представляющие слово FLAG целиком. Во втором случае распознавание L опирается только на активацию от элементов признаков самой буквы – дополнительной поддержки нет, поскольку ZLFQ почти не активирует элементы, соответствующие знакомым словам. И здесь событие внешнего мира (предъявление буквы) порождает активацию, которая распространяется по существующим связям. Этот процесс – распространение активации между нейронами – той же природы, что и реакция дрозда на собственное отражение, когда он «думает», что видит соперника-захватчика.

А что происходит, когда дрозд «решает» атаковать? В главе 6 мы увидели, что решения не всегда основаны на рациональной оценке того, насколько полезны доступные варианты, – часто они возникают просто из распространения активации по существующим связям. Эти активации и связи действительно могут способствовать выживанию и размножению дрозда, но нам не нужно приписывать ему осознанное решение, которое основано на взвешивании плюсов и минусов агрессивного поведения. «Решения» дрозда, как и наши, направляются потоками активации.

Распределенные представления из главы 7 развивали идею локальных представлений из предыдущих моделей. Встретив незнакомое существо и узнав, что это птица, мы сразу «знаем», что у нее есть крылья. И не потому, что делаем логический вывод, а потому, что представляем новую птицу паттерном активации, схожим с паттернами других птиц. Этот паттерн через существующие связи позволяет породить выходные сигналы, которое отражает наше «знание», что у новой птицы есть крылья. Мы видели, как подобные процессы в простых моделях главы 7 лежат в основе семантических и других когнитивных способностей LLM (глава 8). И это тоже следствие распределенных представлений, которые опираются не на что иное, как на активации и связи.

В предыдущих главах мы последовательно показывали, что опыт играет ключевую роль в формировании связей, которые определяют наши представления и действия. В главе 9 мы рассмотрели эту проблему с позиций биологии и вычислительных наук. Хотя многое еще предстоит понять, проведенный обзор внушает оптимизм: дальнейшие исследования помогут нам лучше разобраться, как наш мозг достигает результатов, сопоставимых с мощным алгоритмом обратного распространения ошибки. Эти открытия позволят создать системы ИИ будущего, способные освоить человеческую способность к обучению на гораздо меньшем объеме данных, чем требуется современным системам.

В главе 1 мы выдвинули тезис, что ключевых принципов нейросетевого подхода достаточно для понимания разума. Давайте посмотрим, что мы можем сказать об этом теперь.

Интерлюдия. Неужели мы – это только активации и связи?

2016–2024 гг. Сан-Франциско, Калифорния. Последние несколько лет Гаурав ведет семинары по нейросетевой теории разума. В конце некоторых занятий он предлагает студентам выдвинуть самые сильные возражения против этой концепции. Приведенный ниже текст составлен из реальных ответов студентов (в обобщенном изложении Гаурава) и представлен как речь одного из них.

Я готов согласиться, что активации и связи помогают понять, как устроен разум дрозда. Признаю также, что нейросетевой подход проливает свет на отдельные аспекты человеческого познания.

И все же я убежден: эта концепция никогда не сможет объяснить многие важнейшие свойства нашего разума. Мы – нечто большее, чем активации, нечто большее, чем связи.

Мои возражения касаются трех областей. Во-первых, нейронные сети не способны мыслить и рассуждать логически. Во-вторых, они не могут руководствоваться мотивами и преследовать цели. В-третьих, нейронные сети не обладают сознанием.

Логическое мышление, целеполагание и сознание – фундаментальные составляющие человеческого разума. Теория, которая претендует на его объяснение, обязана охватывать все эти аспекты. Нейронные сети с этим не справляются. Неудивительно, что современные системы искусственного интеллекта – а это именно нейронные сети – не способны к логическому мышлению, не имеют мотивации и целей, не обладают сознанием.

Сразу оговорюсь: я не утверждаю, будто в машине живет призрак или наш разум опирается на процессы, которые принципиально недоступны механистическому пониманию. Указывая на ограниченность нейронных сетей, я не прибегаю к ненаучным представлениям. Моя задача – показать, что потоки активации, распространяющиеся через межнейронные связи, обладают ограниченной объяснительной силой.

Начну с последовательного мышления и логики. Нейронные сети распознают закономерности, но они не понимают логических принципов и не способны к логическому мышлению как таковому. Человеку очевидно: если все люди смертны, а Сократ – человек, то Сократ смертен. Нейронная сеть не может строить подобные рассуждения. Даже если в конкретной ситуации она случайно даст верный ответ, она не обязательно сумеет применить то же логическое правило в другом контексте. Нейронные сети не знают законов логики и не оперируют символами, которые позволили бы универсально применять эти законы к новым ситуациям. По той же причине они беспомощны в математике. Перед семинаром я задал большой языковой модели такой вопрос:

Какова вероятность, что среди 13 человек хотя бы двое родились в одном месяце?

Ответ очевиден: единица (или 100%). В году 12 месяцев, значит, как минимум у двоих из 13 месяц рождения совпадет. Но языковые модели думают иначе. Вот какой ответ я получил:

В году 12 месяцев, поэтому вероятность того, что двое НЕ родились в одном месяце, равна 11/12. Если дни рождения не совпадают (что не обязательно так, но приемлемое допущение), то вероятность того, что все 13 человек родились в разных месяцах, составляет (11/12)^12. Следовательно, вероятность хотя бы одного совпадения равна 1 – (11/12)^12 ≈ 0,648, или примерно 64,8%.

Звучит убедительно, правда? Но это совершенная ерунда. Математика требует настоящего понимания, а не простого распознавания закономерностей. Нейронные сети не способны выйти за рамки поиска паттернов. Обучите систему ИИ складывать однозначные числа – и она может споткнуться на примере «10 + 1», потому что не встречала чисел больше девяти. Не говоря уже о том, что нейронные сети не способны создавать новую математику. Не стоит ждать, что нейросеть докажет какую-нибудь нерешенную математическую гипотезу.

И последнее о мышлении и логике. Допустим, вы обучаете нейронную сеть новой информации с помощью алгоритма обратного распространения ошибки, и эта информация сохраняется в весах связей. Вы можете добиться успеха, но сеть окажется неспособной к элементарным логическим выводам. Научите ее, что Билл старше Салли, – она не догадается, что Салли младше Билла.

Второй мой аргумент касается мотивации. Каждый день я испытываю десятки желаний. Могу захотеть пить и начну искать воду. Могу проголодаться и начну искать еду. Могу желать секса, музыки, общения, независимости, развлечений, победы любимой команды – да сотню разных вещей. Я чего-то хочу. И когда желание достаточно сильно, мои попытки его удовлетворить наполняются энергией. Они становятся мотивированными. Совершенно непонятно, как нейронная сеть может испытывать мотивацию. Видимо, здесь нужно что-то еще. Неудивительно, что системы ИИ начисто лишены каких-либо мотивов.

Но я не раб своих желаний. Я способен им сопротивляться. Например, стремление быть здоровым заставляет меня отказаться от аппетитного печенья в пользу яблока. И тут возникает проблема для нейросетевой теории: если в нейронной сети есть только активация, кáк она может выбрать вариант с меньшим уровнем активации? Яблоко наверняка вызывает у меня меньшую активацию, чем печенье. А если это не так, то почему нужно столько усилий, чтобы устоять перед печеньем?

Третий и последний пункт – сознание. Осознанные мысли управляют моим поведением. Вчера вечером, например, я понимал, что утром мне нужно время на репетицию выступления. Поэтому поставил будильник на полчаса раньше обычного. Это была четкая мысль, которую я полностью осознавал. Она оформилась в слова и привела к конкретному действию. Откуда берется такая осознанность? У LLM ее точно нет. Они всего лишь предсказывают наиболее вероятные следующие слова. Мы, люди, способны понимать и явно осознавать свое понимание. Может ли нейронная сеть объяснить происхождение такого осознания?

Но есть и более глубокое возражение, связанное с сознанием. В повседневной жизни мы видим насыщенную синеву полотен Сальвадора Дали, ощущаем характерный кислый вкус лимона, чувствуем жгучую боль от прикосновения к горячей плите. Все эти переживания – это нечто. Нечто особенное, отличное от других переживаний. Боль, к примеру, ощущается совершенно иначе, чем удовольствие. Откуда берутся эти различия в ощущениях? Способна ли искусственная нейронная сеть что-либо переживать? Да и может ли биологическая нейронная сеть испытывать переживания, если свести ее работу к активациям и связям? Как движение ионов через мембрану – а именно оно порождает потенциалы действия – может привести к переживанию, скажем, запаха нового автомобиля?

Никак не может. Я убежден: нам необходимо нечто большее, чем активации и связи нейронных сетей.

В оставшейся части главы мы покажем, что субъективное ощущение мысли не обязательно должно отражать процессы, которые эту мысль порождают. Когда мы рассуждаем последовательно и логично, нам кажется, будто мы следуем определенным правилам. Когда мы мотивированы, нам кажется, что наше внутреннее «я» наполняет нас энергией и направляет наши действия. Когда мы осознаем свои переживания, это осознание представляется нам чем-то совершенно отдельным от паттернов активации в мозге.

Однако мы приведем доказательства того, что эти ощущения обманчивы. Последовательное и логическое мышление, мотивированное поведение и целеполагание, даже многие аспекты сознания могут возникать из простых взаимодействий и процессов в нейронных сетях. Наши способности к дедукции, наши мотивационные состояния, наше восприятие окружающего мира – все это не требует постулировать, что в разуме содержится нечто дополнительное, выходящее за рамки нейросетевой концепции.