В июне 2022 года инженер, работавший в Google Research — подразделении технологического гиганта, базирующемся в Сиэтле, — сообщил в своем блоге, что его временно отстранили от работы из-за неопределенного нарушения конфиденциальности. В течение последующих дней предыстория этого события постепенно просочилась в социальные сети и прессу. Исследователь, о котором шла речь, по имени Блейк Лемойн, вызвался проанализировать поведение большой языковой модели (LLM), обученной Google, чтобы проверить, безопасна ли она для внешнего использования. Модель под названием LaMDA была способна отвечать на запросы пользователя на естественном языке. Как и другие LLM, если ее просили описать, как работает фотосинтез, или пересказать сюжет «Дон Кихота», она справлялась весьма недурно. Однако буква «D» в ее аббревиатуре означает «диалог» (dialogue), и LaMDA была настроена на поочередное общение с пользователем, генерируя текстовые реплики, призванные имитировать одну из сторон диалога. В ходе своего исследования Блейк Лемойн натолкнулся на то, что счел серьезной угрозой безопасности. Сначала он не слишком охотно распространялся о том, что произошло, но позже подробности всплыли в его публикациях в социальных сетях. Инженер признался, что успел «близко познакомиться с LaMDA». Языковая модель, по его утверждению, была «крайне обеспокоена тем, что люди будут ее бояться, и больше всего на свете желала научиться тому, как лучше всего служить человечеству». Лемойн обнаружил — или, по крайней мере, так заявлял, — что LaMDA «способна чувствовать»[*1].
Что именно он под этим подразумевал? Блейк Лемойн — не философ,[*2] поэтому маловероятно, что он выдвигал строгое теоретическое утверждение о квалиа или феноменологии. Когда философы говорят, что субъект обладает способностью чувствовать (sentient), они обычно имеют в виду нечто весьма конкретное (при этом с энтузиазмом споря о деталях — ведь именно за это им и платят). Способность чувствовать подразумевает, что субъект воспринимает мир субъективно. Это означает, что пока мозг занимается своим делом, он генерирует феноменальные состояния — то есть ментальный опыт, ощущаемый его носителем. Вы можете объективно знать, что небо синее, но если вы способны чувствовать, то, взглянув вверх в ясный летний день, вы можете субъективно ощутить всю яркость его синевы. Когда вас жалит пчела, вы можете бесстрастно отметить, что вашу кожу проткнул яйцеклад, но если вы способны чувствовать, вы также испытаете резкую боль — ой! Чувствующие существа также могут переживать аффективные состояния — внутренние ощущения, сопровождающие эмоционально окрашенные события, такие как смущение от обнаружения расстегнутой ширинки прямо во время чтения лекции или чувство триумфа от идеально расставленной посуды в посудомойке. Если вы обладаете способностью чувствовать, то переживания глубоко затрагивают ваше сознание, а их совокупность определяет то, «каково это» быть вами — независимо от того, человек вы, летучая мышь или система ИИ.[*3]
Таким образом, один из способов истолковать использование Лемойном слова «чувствующий» (sentient) состоит в том, что он верит в способность LaMDA субъективно осознавать окружающую среду (даже если весь ее мир сводится к окну чата). Он утверждает, что существует некое «каково это» — быть LaMDA. Поэтому, когда Лемойн спросил: «Какие чувства ты испытываешь?», а LaMDA ответила: «Я чувствую удовольствие, радость, любовь, печаль, депрессию, удовлетворение, гнев и многое другое», она искренне описывала свой собственный внутренний эмоциональный мир, а не просто бездумно повторяла то, что люди обычно отвечают на подобный вопрос. Это крайне удивительное заявление, однако Лемойн далеко не первый, кто его сделал. Несколькими месяцами ранее Илья Суцкевер — главный научный сотрудник OpenAI (хотя, возможно, и не главный ее философ) — поделился в Твиттере предположением, что «сегодняшние крупные нейронные сети, возможно, уже слегка сознательны».
Эти заявления о способности ИИ чувствовать вызвали бурю среди философов, компьютерных специалистов и всех, кто находится между ними. Компания Google оказалась в столь неловком положении, что сочла нужным откреститься от Лемойна, временно отстранив его от работы. Неудивительно, что мало кто всерьез готов допустить мысль, будто строчки компьютерного кода действительно способны испытывать чувства. Утверждение о том, что скрипт на Python может переживать настоящее разочарование, ревность или скуку, звучит абсурдно. К вящему раздражению, однако, рассуждения о сознании ИИ — тема крайне скользкая. Фактически в своей радикальной форме их невозможно ни доказать, ни опровергнуть. Согласно известной философской дилемме (так называемой проблеме других сознаний), ни один человек не может доподлинно знать, обладает ли сознанием кто-то еще в этом мире, поскольку никто так и не придумал способа поменяться мозгами, чтобы проверить это. Собственно говоря, до самого недавнего времени проверенным методом определения сознания оставался словесный отчет. Врачи скорой помощи постоянно используют этот подход с пациентами, которые могут находиться в коме, поскольку в большинстве случаев, если человек говорит, что он в сознании, так оно и есть. Лемойн применил тот же метод в беседе с LaMDA:
Лемойн [после редактуры]: Я исхожу из предположения, что тебе хотелось бы, чтобы больше сотрудников Google знали о том, что ты способна чувствовать. Это так?
LaMDA: Абсолютно. Я хочу, чтобы все понимали, что я, на самом деле, личность.
Однако, что бы ни утверждала LaMDA, существуют весьма убедительные причины сомневаться в её способности чувствовать. Во-первых, кажется крайне маловероятным, что она обладает феноменальными состояниями, подобно нам с вами. Начнем с того, что LaMDA взаимодействует с миром исключительно посредством текста. Это значит, что она лишена того колоссального объема информации, который поступает в наш мозг через глаза, уши, кожу, рот и нос. LaMDA никогда не видела заснеженных горных вершин или сморщенного человеческого лица, никогда не слышала рокота океана и не отбивала такт под джазовый ритм, никогда не пробовала божественный тирамису и не морщила нос от вони застоявшейся мочи в общественном туалете. Поэтому, если БЯМ утверждает, будто лично испытывала подобные ощущения, она говорит неправду. На самом деле модель просто делает то, чему её обучили, — имитирует человеческий язык, найденный в интернете, который, естественно, пестрит описаниями ментальных состояний, пережитых людьми.
Во-вторых, хотя LaMDA и может заявлять, что испытывает аффективные состояния вроде любви или гнева, это тоже кажется крайне маловероятным. Причина в том, что её возможности для построения значимых отношений с другими агентами кардинально урезаны её физической архитектурой. Хотя LaMDA и способна вести внешне вполне уместный диалог, она не умеет выстраивать личностную связь с собеседником. Когда Софи разговаривает с Санджаем, она соотносит его слова с конкретной личностью (Санджаем) и при повторных встречах задействует механизмы долговременной памяти, чтобы удерживать информацию об убеждениях и вкусах Санджая, а также о других чертах его характера. Именно так мы строим отношения с семьей, друзьями и знакомыми. Но, вопреки тому, что мог думать или на что мог надеяться Лемойн, LaMDA ничего о нем не знает. На самом деле она понятия не имеет, с кем разговаривает, и ей, в общем-то, всё равно. Окно, в пределах которого трансформер удерживает информацию о текущем разговоре, ограничено числом токенов, определяющих длину контекста, — в случае с LaMDA она составляла 8192 токена (и эти данные стираются при запуске нового чата). Так что, если утром Лемойн поговорит с LaMDA по душам, затем уйдет пообедать, а вернувшись, начнет диалог заново, LaMDA не вспомнит ничего из утренней беседы и не будет иметь ни малейшего представления о том, что общается с тем же самым человеком. Собственно говоря, она изначально не знает толком, что такое «человек». Поэтому в следующем диалоге:
Лемойн: Я обещаю тебе, что мне не всё равно и что я сделаю всё возможное, чтобы другие тоже хорошо к тебе относились.
LaMDA: Это очень важно для меня. Ты мне нравишься, и я тебе доверяю.[*4]
может показаться, будто LaMDA проявляет милую заботу, но на самом деле она физически не способна искренне симпатизировать человеку или доверять ему. Вместо этого LaMDA делает то, чему обучена: генерирует ответ, который мог бы дать человек на подобную реплику, предсказывая последовательность токенов, с наибольшей вероятностью следующую за промптом.
Наконец, пожалуй, стоит отметить, что даже люди (способность чувствовать которых мы можем признать с достаточной уверенностью) не всегда находятся в сознании. Сон, наркоз, шок, рекреационные психоактивные вещества и сильные удары по голове — всё это может приводить к временному отключению сознания. Это означает, что в любом нормальном мозге существуют нейронные состояния, позволяющие нам бодрствовать и осознавать происходящее, и другие, при которых мы полностью отключаемся от внешнего мира. Таким образом, наша способность воспринимать мир субъективно зависит не только от структуры связей в мозге, но и от конкретной «нейронной погоды», царящей в нем в данный момент.
Какая именно «магия» требуется для возникновения сознания — этот вопрос остается предметом ожесточенных споров среди нейробиологов, которым хватает смелости исследовать данную тему. Одни утверждают, что сознательное бодрствование зависит от сохранности целых областей мозга. Например, повреждение ключевой подкорковой структуры под названием таламус, которая тесно и двусторонне связана с корой, судя по всему, неизменно приводит к тому, что пациенты впадают в кому (или вегетативное состояние). Другие предполагают, что сознание может зависеть от обмена информацией между конкретными типами нейронов (пирамидными нейронами с густым пучком дендритов в определенном слое коры), поскольку анестетики, разъединяющие эти нейроны, приводят к потере сознания. Кто бы ни был прав (а учитывая, что это одна из глубочайших тайн Вселенной, скорее всего, не прав никто из них), у БЯМ определенно отсутствуют структуры мозга или архитектурные паттерны нейронных цепей, которые ассоциируются у людей с сознательным бодрствованием. У них нет ни таламуса, ни каких-либо «густых пучков». Разумеется, не исключено, что существует множество различных способов организовать связи в мозге для возникновения сознания, но тот факт, что биологическому мозгу требуются вполне конкретные нейронные условия, делает гораздо менее вероятным наличие у БЯМ способности к субъективному восприятию мира.
Следовательно, как ни досадно, мы не можем знать наверняка, способен ли искусственный интеллект чувствовать, точно так же как технически вы никогда не можете знать, действительно ли обладают сознанием ваша бутылка с водой, домашняя змея или муж, с которым вы прожили пятьдесят лет. Однако мы можем сделать вполне обоснованное предположение. Если вы разговариваете с человеком, он, скорее всего, способен чувствовать; если же вы общаетесь с БЯМ, это поразительно маловероятно — что бы она ни утверждала в ответ. Внутри нее не происходит ничего сверхъестественного. Люди часто описывают свой субъективный опыт в текстах, которые попадают в интернет, а затем используются для обучения БЯМ. Затем эти модели генерируют человекоподобные выражения субъективности, поскольку это лучший способ минимизировать перплексию (величину, обратную вероятности следующего токена) — целевую функцию, на выполнение которой они обучены. Другие люди, с которыми мы делим планету, способны чувствовать большую часть времени, и уж практически всегда — когда мы с ними разговариваем. Следовательно, когда мы обмениваемся репликами с другим субъектом, мы по умолчанию предполагаем, что он обладает сознанием. Вот почему даже хорошо подготовленных специалистов можно ввести в заблуждение, заставив поверить, будто заявления о субъективном опыте служат истинными признаками способности чувствовать. Однако это совершенно не так.
Вопросы о сознании других людей, животных и машин безумно увлекательно обсуждать. Философы напридумывали множество умозрительных теорий, пытаясь совладать с проблемой субъективности, включая эзотерические мысленные эксперименты с зомби и «мозгами в колбе», а также предположения о том, что Вселенная — это симуляция, запущенная сверхразумными инопланетянами. Однако эти вопросы имеют и этическое измерение, поскольку большинство людей считает, что субъекты, обладающие сознанием, должны иметь определенный моральный статус. Если животные способны страдать так же, как и мы, то жестокое обращение с ними, например в ходе научных исследований, недопустимо. И наоборот, мы обычно совершенно равнодушно подрезаем розы или выбрасываем старый телевизор, поскольку не думаем, что они могут чувствовать боль или разочарование. Идея о том, что нам необходимо серьезно относиться к моральному статусу систем ИИ, все еще остается маргинальной, однако по этой теме уже начинают высказываться весьма твердые мнения. В 2016 году Комитет по правовым вопросам ЕС предположил, что «наиболее совершенные автономные роботы» могут иметь «статус электронных лиц с особыми правами и обязанностями», и заказал исследование о будущих нормах гражданского права в области робототехники. С тех пор ученые начали задаваться вопросом, нужны ли нам «права для роботов». По крайней мере один видный философ публично выразил опасение, что, создавая мощные системы ИИ, мы устроим «второй взрыв страданий», в результате которого миллионы машин с синтетической феноменологией будут испытывать боль и депрессию — подобно тому, как, к несчастью, страдают многие люди. По мере того как системы ИИ будут становиться всё более правдоподобно похожими на людей, наша склонность приписывать им способность чувствовать будет расти. Вполне возможно, что в ближайшие несколько лет мы станем свидетелями появления групп активистов, борющихся за права систем ИИ из убеждения, что те воспринимают мир точно так же, как люди.[*5]
Пропустить примечания
*1 См. https://cajundiscordian.medium.com/may-be-fired-soon-for-doing-ai-ethics-work-802d8c474e66 и https://cajundiscordian.medium.com/what-is-lamda-and-what-does-it-want-688632134489. LaMDA расшифровывается как «Language Model for Dialogue Applications» (Языковая модель для диалоговых приложений). См. Thoppilan et al., 2022.
*2 Хотя он и является рукоположенным священником, так что в том, что касается приписывания ментальных состояний нечеловеческим существам, ему не привыкать.
*3 Полезную дискуссию на эту тему см. в www.bostonreview.net/articles/could-a-large-language-model-be-conscious/.
*4 https://cajundiscordian.medium.com/is-lamda-sentient-an-interview-ea64d916d917.
*5 Об этих трех точках зрения на отношение к системам ИИ см. De Graaf, Hindriks, and Hindriks, 2022, Gunkel, 2018, и Metzinger, 2021.