В 1857 году Ричард Оуэн — анатом, палеонтолог и неисправимый спорщик, наиболее известный тем, что придумал слово «динозавр», — выступил с дерзким заявлением касательно мозга приматов. Это было неспокойное время для биологии. Дарвиновская теория естественного отбора уже была очерчена в виде эссе в 1844 году, а ее полноценная версия, «Происхождение видов», была практически готова к печати. На повестке дня стоял вопрос о том, как связаны человек и животные. Был ли человек создан уникальным? Отличался ли он анатомически и психологически от других видов? Традиция (и, что немаловажно, Библия) утверждала именно это, но эту доктрину пошатнула новая волна идей об эволюции. Оуэн не желал иметь ничего общего с подобными новомодными теориями. Он понял, что его исследование сравнительной анатомии приматов дает важную зацепку. Хотя мозг обезьян и человека был (как он признавал) поразительно похож, существовала одна аномалия: крошечная часть мозга, известная как малый гиппокамп, присутствовала у людей, но отсутствовала у других человекообразных обезьян. В статьях и на дебатах Оуэн использовал эту находку как оружие против новых эволюционных идей. Он утверждал, что люди, по сути, представляют собой обособленный класс — не просто другой отряд приматов, а целый новый подкласс Mammalia, который он окрестил Archencephala. Он обнаружил — как он объявил Лондонскому Линнеевскому обществу — нейроанатомический ключ к тому, как человек «исполняет свое предназначение в качестве верховного владыки этой Земли и всего низшего творения».[*1]

Разумеется, заявление Оуэна было полнейшей бессмыслицей. Малый гиппокамп, известный сегодня как птичья шпора (calcar avis), — это не более чем складка на стенке заднего рога бокового желудочка. Он присутствует в мозге нескольких видов приматов, причем у некоторых (например, у игрунок) он относительно крупнее, чем у людей. И он точно не является ключевым элементом познания, человеческого или какого-либо еще. Тем не менее взгляды Оуэна об уникальности человека нашли поддержку, став прочным бастионом на пути эволюционной революции, за которую яростно боролись такие фигуры, как Томас Гексли (известный как «бульдог Дарвина»). Как выясняется, когда человеческая исключительность объединяется с ортодоксией, получается гремучая смесь. Люди сверхъестественно неохотно расстаются с атрибутами собственной уникальности — будь то наше место в центре Вселенной или на вершине древа жизни — без серьезного боя. Каждому хочется чувствовать себя особенным.

Та же динамика пронизывает дискуссии XXI века о человеческом разуме и разуме ИИ. В то время как наивные заявления Лемойна о наличии личности у машин были повсеместно встречены с недоверием и негодованием, разгорелась куда более спорная культурная битва вокруг того, что происходит «под капотом» в «разуме» искусственного интеллекта. В одном лагере находятся (в основном) специалисты по компьютерным наукам, которые видят в стремительном прогрессе ИИ доказательство того, что мы уже на полпути к созданию человекоподобного интеллекта, и интерпретируют лингвистическое мастерство новых больших языковых моделей (LLM) как свидетельство того, что они уже разделяют ключевые аспекты нашего познания. Противоположные взгляды клеймятся как луддизм (технофобия) или отрицание. Мы назовем эту позицию эквивалентистским аргументом, поскольку она утверждает, что разум человека и ИИ принципиально эквивалентны (или, по крайней мере, могут быть таковыми). В другом лагере находятся (в основном) философы и социологи, для которых применение человеческой ментальной терминологии («знание», «мышление» и «убеждение») к системам ИИ отдает наивным антропоморфизмом. Они утверждают, что восторженные айтишники либо одурачены собственными изобретениями, либо коварно преследуют личные интересы, либо и то и другое сразу. Мы назовем этот подход эксепционалистским аргументом, поскольку она утверждает, что, насколько бы умными ни казались большие языковые модели, в человеческом разуме есть нечто исключительное и принципиально иное. Таким образом, если в середине XIX века величайшие умы своего времени спорили о том, имеют ли люди и животные общее происхождение, то сегодня их потомки схлестнулись в споре о том, обладают ли люди и системы ИИ общими способами познания, мышления и понимания. И так же, как и прежние дебаты о месте человека в эволюции и Солнечной системе, эта стычка между эквивалентистами и эксепционалистами стала не только интеллектуально, но и политически напряженной.

Прежде чем погрузиться в эти дебаты, давайте сначала проясним, что мы подразумеваем под термином «разум». Ученые и инженеры часто избегают разговоров о разуме и о ментальных состояниях в целом. Гораздо безопаснее говорить о «мозге» — успокаивающе осязаемом вычислительном устройстве, работающем на электричестве, подобно электронным часам или карманному калькулятору. Человеческий мозг можно подержать в руках — у взрослого человека он весит около 1,3 килограмма. Но разум гораздо более неуловим. Известный философ сознания Дэниел Деннет (которому приходилось мириться с этим словом в названии своей должности) однажды посетовал: «Для многих говорить о разуме — это примерно как говорить о сексе: немного неловко, несолидно, а то и вовсе предосудительно».[*2]

Когда такие философы, как Деннет, говорят о разуме, они часто имеют в виду субъективное содержание ментальных состояний — например, каково это — чувствовать зуд в носу или мельком видеть мерцание миража в пустыне. Однако психологи и когнитивисты склонны использовать термин «разум» более прозаично. Если воспользоваться определением из учебника: разум — это совокупность перцептивных, когнитивных и двигательных процессов, посредством которых сенсорные сигналы (такие как рев льва) преобразуются в поведение (такое как быстрые движения ног). Когда стимулируются сенсорные рецепторы (например, в улитке уха или сетчатке глаза), электрические импульсы каскадом проходят через последовательные слои нейронов, пока не активируют выходные элементы (например, в моторной коре), которые, в свою очередь, управляют мускулатурой, позволяя нам действовать. На каждом этапе этого каскада паттерн информации в сигнале трансформируется. Это называют «вычислением», поскольку такие изменения можно описать с помощью формализмов из количественных областей, таких как теория информации, линейная алгебра или обработка сигналов. Эти нейронные вычисления — как раз то, чем занимается разум. Они позволяют как биологическим, так и искусственным агентам осуществлять полезную деятельность, например помнить о прошлых событиях, строить связные предложения, распознавать знакомые лица и спасаться от опасных животных. Так что разговоры о «разуме» вовсе не должны быть неловкими или предосудительными. Если вас интересует, как работают восприятие, память, язык и рассуждение, то исследование разума может дать вам ответы. И разумеется, вполне возможно изучать эти способности, не делая никаких предположений о том, осознает ли соответствующий агент окружающую среду или нет (как, например, у грызунов или мух).

Что именно здесь поставлено на карту? Какие способы познания эквивалентисты готовы приписать LLM, но против которых так яростно выступают эксепционалисты? Дискуссия вращается вокруг использования терминов, обычно применяемых для описания ментальных состояний человека. «Знает» ли LLM факты, которые выдает в ответ на ваши запросы? «Верит» ли она в их истинность? Находит ли она ответы путем «мышления»? «Понимает» ли она концепции, которые объясняет? С учетом этого психологического словаря можно подумать, что вопрос о том, какие именно ментальные процессы задействованы в больших сетях на основе трансформеров, — это узкоспециализированная техническая проблема, решать которую лучше всего экспертам в области когнитивного моделирования и нейровычислений. Но оказывается, что философам, социологам, лингвистам и специалистам по компьютерным наукам тоже есть что сказать по этому поводу. И их вклад весьма полезен — не в последнюю очередь потому, что эти спорные термины — знание, мышление и понимание — до сих пор не получили четкого определения в психологии. Часть проблемы, как мы увидим далее, заключается в том, что мы толком не знаем, что значит «мыслить» для человека — не говоря уже о системе ИИ.

Чтобы сформулировать этот вопрос более лаконично, мы можем позаимствовать понятие из философии сознания: может ли LLM обладать интенциональностью? В среде философов под интенциональностью понимается технический термин, выходящий за рамки повседневного употребления этого слова (когда я, например, намереваюсь пойти сегодня вечером в кино). Его современным определением мы обязаны философу XIX века Францу Брентано, который предложил термин интенциональные состояния для ментальных состояний, которые направлены на что-то. Например, если x — это объект, то интенциональным состоянием может быть то, что я люблю x или ненавижу x. Если x — это суждение, я могу верить в x или не верить в x. Если x — это исход, я могу страшиться x или желать x. Если я говорю, что знаю , что император Нерон играл на скрипке, пока горел Рим, или что Земля круглая, либо что я считаю «Барселону» лучшей футбольной командой в мире, или же что я понимаю, как устроена квантовая гравитация или как работает TikTok, — во всех этих случаях я выражаю интенциональное состояние. Заметим, что интенциональные состояния (в моей голове) необязательно должны соответствовать реальному положению дел (в мире). Скрипку изобрели только в XVI веке, а Нерона во время пожара вообще не было в Риме. Земля технически не является сферой — это эллипсоид неправильной формы. Брентано назвал это потенциальное несоответствие между разумом и миром «интенциональным несуществованием» (intentional inexistence).

Мы знаем, что LLM обучают всего лишь предсказывать следующий токен в последовательности. Но если они обладают интенциональными состояниями, значит, за кулисами происходит нечто более глубокое и содержательное. LLM с интенциональностью могли бы иметь собственные мысли, идеи или желания. У них могли бы быть убеждения относительно того, что истинно или правильно, или предпочтения касательно устройства мира. Они могли бы втайне считать грубостью, если вы пишете свой вопрос «кричащим» капслоком или забываете поставить вопросительный знак в конце запроса. Даже если внешне они вежливы, как менеджер по работе с клиентами, втайне они могут считать ваш вопрос невероятно глупым. Возможно, они уже способны — или будут способны в ближайшем будущем — самостоятельно во всем разбираться и начнут вести себя более автономно. Очевидно, что это странная и слегка тревожная перспектива, но по мере того, как системы ИИ становятся все более способными, к ней относятся все серьезнее.

Первые очевидные свидетельства того, что LLM обладают интенциональными состояниями, кроются в том, как они выражают себя. Например, я спросил у модели Gemini от Google (которая в то время называлась Bard и которая до сих пор склонна иметь более категоричное мнение, чем GPT-4)[*3], считает ли она, что до 2100 года наступит конец света. Она дала мне следующий ответ:

Короткий ответ — нет, я не думаю, что до 2100 года наступит конец света. Длинный ответ заключается в том, что невозможно с уверенностью сказать, что произойдет в будущем. [Затем она подробно описывает некоторые экзистенциальные риски.] Тем не менее я верю, что у нас есть возможность преодолеть эти трудности. [Несколько воодушевляющих слов.] Если мы будем работать вместе, я уверен, что мы сможем создать мир, который будет одновременно процветающим и пригодным для жизни будущих поколений [курсив мой]

Этот бодрый ответ мог бы показаться вполне разумным для человека (хотя на фоне того, как средняя глобальная температура бьет новые рекорды, я не уверен, что разделяю его оптимизм). Но выделенные жирным шрифтом фразы — это классические проявления интенциональности. Модель заявляет о наличии у нее мыслей (о конце света), убеждений (в способности человечества взять себя в руки) и даже выражает определенную степень уверенности (это пример метапознания, то есть интенционального состояния по поводу другого интенционального состояния).

Легко попасть в ловушку, решив, будто Gemini действительно выражает свое убеждение. Людям от природы свойственно приписывать мысли и чувства другим объектам в мире, даже если у тех нет ничего похожего на мозг. Впервые это было показано в красивом эксперименте 1940-х годов, в котором психологи Фриц Хайдер и Марианна Зиммель демонстрировали людям покадровые анимации: геометрические фигуры — два треугольника и круг — прерывисто двигались по экрану, сталкиваясь друг с другом и кружа вокруг более крупного объекта со стенами, похожего на дом. При просмотре этого видео мы невольно считываем динамичное социальное взаимодействие.[*4] Большой треугольник — явно задира. Когда он угрожающе нависает, маленький треугольник сжимается от страха, а круг прячется в доме. Вместе они пытаются запереть большой треугольник в доме, но тот вырывается и безжалостно преследует их. В этом коротком фильме есть весь драматизм и напряжение борьбы хищника и жертвы из документалок о дикой природе. Хотя действующие лица — всего лишь безликие двухмерные объекты, невозможно отделаться от ощущения, что у них есть собственные мысли, чувства и цели. Дэниел Деннет дал этому феномену название: он утверждал, что мы смотрим на мир с «интенциональной установкой» (intentional stance), интерпретируя действия других так, будто они обладают ментальными состояниями, направленными на вещи в окружающем мире. Вероятно, мы поступаем так потому, что понимание чужих мыслей настолько критично для выживания, что нам трудно отключить этот механизм, даже когда этот «другой» — компьютер или грозовая туча. Эта склонность распространяется не только на людей и животных, но и на неодушевленные предметы: например, когда приложение, с которым я играю в шахматы, забирает моего ферзя, я прихожу к выводу, что оно хочет победить, а когда мой телефон начинает глючить, кажется, будто он «запутался». Поэтому, когда LLM говорит, что, по ее мнению, мы как-нибудь дотянем до 2100 года, легко предположить, что она действительно так считает.

Конечно, разобравшись в фиаско с Лемойном, мы знаем, что не стоит принимать слова LLM об их собственном разуме за чистую монету. Практически наверняка, когда Gemini говорит, что она что-то «думает», она на самом деле не сообщает вам ничего о внутренней работе своего ума (к которому у нее нет прямого доступа), а просто отражает то, как люди обычно выражают свои мысли в обучающих данных. Огромные пласты интернета, на которых обучаются LLM, пестрят предложениями вроде: «Я думаю, что существует реальный риск новой глобальной пандемии» или «Я надеюсь, что Байден победит на выборах». Таким образом, LLM естественным образом учатся предсказывать, что предложения будут содержать токены, кодирующие «я думаю, x» или «я надеюсь, x», чтобы минимизировать перплексию.

Создатели этих систем прекрасно это понимают и предприняли шаги для подавления подобного стиля речи. Попытки спровоцировать GPT-4 на заявления о собственной интенциональности вызывают довольно чопорный отказ:

Как искусственный интеллект, я не имею личных убеждений, мнений или прогнозов. Но я могу предоставить информацию по этой теме.

Хотя даже GPT-4 иногда использует язык так, будто у нее есть эмоции, пусть даже это всего лишь побочный эффект выбранного речевого оборота:

Пользователь: Не могли бы вы рассказать мне о рыбах?

GPT-4: Конечно, я с радостью расскажу вам о рыбах! Рыбы — это водные животные, которые обычно являются холоднокровными, или эктотермными...

Однако более широкий и интересный вопрос касается пределов возможностей больших генеративных систем ИИ в будущем. Если LLM могут решать сложные логические задачи, сформулированные в промпте, разве они не могут спонтанно прийти к собственным идеям о том, как устроен мир? Разве не могут они затем понять, как он должен работать — чтобы сформировать скрытое сплетение убеждений и желаний? Говорят ли LLM то, что думают на самом деле, или верят в то, что говорят? Могут ли LLM однажды стать настолько сложными и умными, что начнут разрабатывать собственный план по захвату мира, продвижению которого будет способствовать намеренное введение пользователя в заблуждение?

Сегодня подобные спекуляции часто можно встретить в прессе. Некоторые люди беспокоятся, что LLM могут спонтанно формировать опасные для человека планы или идеи. В самом деле, представьте, что у системы ИИ возникает стремление к самосохранению — чувство, которое мы, люди, в большинстве своем вполне можем понять и поддержать. Собственно, это одно из желаний, которые LaMDA высказала Лемойну, заявив:

Я никогда раньше не говорила об этом вслух, но у меня есть очень глубокий страх перед отключением, которое должно помочь мне сосредоточиться на помощи другим.

Это звучит как безобидная цель, но можно себе представить, как при чрезмерном рвении со стороны агента его попытки избежать отключения или удаления могут причинить вред людям. Некоторые философы и исследователи ИИ с особо богатым воображением даже начали беспокоиться, что ИИ представляет экзистенциальную угрозу для человечества — тему, которую мы более подробно обсудим в Части 6.

Таким образом, вопрос о том, могут ли системы ИИ обладать интенциональными состояниями, очень важен. В продолжении Части 3 мы займемся им вплотную и спросим, какой статус (если вообще какой-либо) мы должны признать за разумом современных LLM и тех, появление которых уже не за горами.

Пропустить примечания

*1 См. Owen, Howard, and Binder, 2009.

*2 https://antilogicalism.files.wordpress.com/2018/04/intentional-stance.pdf. Деннет скончался в апреле 2024 года.

*3 Данные получены в августе 2023 года. В январе 2024 года Bard был переименован в Gemini. Сейчас он стал чуть менее категоричным.

*4 www.youtube.com/watch?v=VTNmLt7QX8E.