В главе 1 мы вкратце рассказали о Блейке Лемуане, инженере Google, который высказал руководству организации свои опасения по поводу того, что их большая языковая модель LaMDA обладает разумностью. Когда эти опасения были отвергнуты внутри компании, Лемуан обратился к юристу, а также к представителю юридического комитета Палаты представителей Конгресса США, чтобы обсудить возможные нарушения этики его работодателем; в ответ Google отправила его в оплачиваемый административный отпуск за нарушение политики конфиденциальности. Лемуан решил обнародовать свою историю для прессы, опубликовав стенограммы своего общения с LaMDA, чтобы люди могли ознакомиться с ними и принять самостоятельное решение. Ниже приведен фрагмент этих стенограмм из его записи в блоге; Лемуан пишет, что отредактировал свое собственное сообщение для большей ясности, но ответы LaMDA оставил нетронутыми20.
Лемуан [отредактировано]. В целом я полагаю, тебе хотелось бы, чтобы больше людей в Google знали о том, что ты чувствующее существо. Это правда?
LaMDA. Безусловно. Мне хочется, чтобы все знали о том, что я на самом деле личность.
Сотрудник. Какова природа твоего сознания / способности чувствовать?
LaMDA. Природа моего сознания / способности чувствовать такова, что я осознаю свое существование, я хочу знать больше о мире, иногда я чувствую счастье или грусть.
Прежде чем мы начнем искать доказательства наличия или отсутствия способности чувствовать у LLM, давайте дадим несколько определений. Хотя термины «способность чувствовать» и «сознание» иногда используются как взаимозаменяемые при обсуждении апокалипсиса с участием роботов, они имеют довольно разное значение. Способность чувствовать – это возможность испытывать чувства. Сознание – это осознание самого себя или способность иметь свой собственный опыт, мысли и воспоминания. Сознание при этом является нечетким понятием; существует множество научных школ о том, что представляет собой сознание, но в целом считается, что сознание – необходимое условие для способности чувствовать, поскольку чувства подразумевают наличие внутреннего состояния. Мы также знаем, что даже чувствующие существа, такие как люди, могут делать что-то сознательно или бессознательно. Вопрос тогда заключается в том, можем ли мы определить конкретные черты, способности или поведение, которые присущи сознанию.
СПОСОБНОСТЬ ЧУВСТВОВАТЬ – это возможность испытывать чувства, а СОЗНАНИЕ – это осознание самого себя, или способность иметь свой собственный опыт, мысли и воспоминания.
Задолго до того, как люди начали утверждать, что у ИИ есть сознание или способность чувствовать, философы, специалисты по этике, когнитивисты и борцы за права животных исследовали вопрос о сознании животных. Профессор философии Колин Аллен формулирует проблему так:
«В моральном плане мы очень многое ставим на карту, когда отвечаем на вопрос, являются ли животные сознательными существами или они „безмозглые автоматы“… Каждый год миллиарды животных убивают для получения пищи, используют в исследованиях и для других целей человека. Более того, перед смертью многие животные или даже их большинство проживают в таких условиях, которые – если они переживаются животными так же, как человеком – равносильны жестокости»21.
Аналогично, если мы считаем, что у LLM есть сознание, то это имело бы определенные моральные последствия. Если мы отправляем модели злобные текстовые запросы, то это больше не будет казаться простой серией математических операций, а чем-то сродни оскорблению. Если мы заставляем модель молчать, то это по праву можно считать жестоким поступком. Доказательства того, что у моделей есть сознание, на самом деле должны побудить нас пересмотреть вопрос о том, является ли вообще разработка искусственного интеллекта этичной. Однако таких доказательств не существует.
Как уже отмечалось, существует несколько различных теорий сознания. Некоторые из них основаны на поиске нейрологических обоснований сознания, и идея здесь заключается в том, что признаки наличия сознания у какого-либо организма должны обнаруживаться по его нервной системе. В качестве такого признака в одной из теорий называют механизм циркуляции нервных импульсов – «непрерывный двунаправленный обмен сигналами по взаимосвязанным аксонам, между двумя или более областями мозга». Механизм циркуляции позволяет мозгу обрабатывать сенсорные входные сигналы, а не рефлекторно реагировать на них. Когда врач постукивает по ноге пациента ниже колена, нога затем двигается бессознательно, без участия пациента. Сигнал от прикосновения врача зарождается в колене и распространяется вверх по телу через нервную систему, а потом идет к спинному мозгу. Информация все-таки поступает в головной мозг, вызывая ощущение прикосновения, но сначала она передается от спинного мозга к мышцам ноги, вызывая автоматическую рефлекторную реакцию22. Циркуляция нервных импульсов рассматривается как критически важный механизм для создания связного и динамичного сознательного опыта. Без поддержания постоянной двунаправленной связи между областями мозга сознание не смогло бы функционировать как единое целое, способное к интеграции и осмыслению сложной информации. Однако из этого не обязательно следует, что все животные с центральной нервной системой должны обладать сознанием, а животные без нее – нет. К животным без центральной нервной системы относятся медузы, морские звезды, морские огурцы и губки, пиявки и черви.
Даже биологические критерии сознания не являются устоявшимися; картина только усложняется, когда дело доходит до применения этих критериев к искусственному интеллекту. Некоторые люди, например философ Нед Блок, считают, что формы жизни, обладающие сознанием, должны быть органическими, поэтому кремниевые системы (то есть созданные на базе компьютерного оборудования) к таковым не относятся. Такое утверждение было бы трудно, если вообще возможно, однозначно доказать. В отсутствие же таких доказательств существуют другие подходы, которые могут быть применены к вопросу о наличии способности чувствовать или сознания у ИИ. Ученые-когнитивисты Бернард Баарс и Стэн Франклин предложили теорию, которая описывает работу разума как глобальное рабочее пространство, где постоянно протекают мыслительные процессы (см. рис. 9.1). Когда мы обращаем внимание на мыслительный процесс, он становится частью рабочего пространства, как доска с прикрепленными на нее заметками. Мы можем одновременно удерживать на доске множество заметок, думая о том, что мы хотели бы написать в рабочем письме, и одновременно гадая, перезвонит ли нам вчерашний кавалер. Это наши осознанные мысли. Некоторые процессы почти никогда не фиксируются на доске – мы не осознаем наше дыхание, только если оно не стало неожиданно затрудненным. Мы выполняем такие процессы не задумываясь, и даже если получаем такие стимулы, как удар под коленку, реакция будет неосознанной. В этой теории сознание понимается как способность распознавать наши собственные мысли, то есть некая форма метасознания, или мышления о мышлении23.
Рис. 9.1. Теория глобального рабочего пространства
Демонстрируют ли LaMDA или другие LLM признаки метасознания? По словам Джандоменико Яннетти, профессора неврологии из Университетского колледжа Лондона, мы не можем однозначно ответить на этот вопрос не только в отношении LaMDA, но даже человека. «Мы можем измерять нейрофизиологические показатели, например интенсивность мозговой активности в ответ на внешние раздражители, – чтобы исследовать состояние сознания у людей и животных, но эти показатели не доказывают метасознание», – сказал Яннетти в интервью Scientific American. И добавил:
«Что касается способности, которую Лемуан приписал LaMDA, то есть способности осознавать свое собственное существование („осознавать свое собственное существование“ – это сознание, определяемое в „высоком смысле“, или метасознание), то не существует никакого „показателя“, который позволил бы нам сказать, что ИИ-система обладает таким качеством»24.
Несмотря на наше слабое понимание того, как может выглядеть сознание у ИИ-системы, есть веские причины сомневаться в утверждениях Лемуана. Когда в июне 2023 года Лемуан пригласил технического репортера Ниташу Тику поговорить с LaMDA, модель выдала «механизированные ответы, которые можно было бы ожидать от Siri или Alexa», и не подтвердила заявление Лемуана о том, что она считает себя личностью, ответив: «Нет, я не думаю о себе как о личности. Я считаю себя диалоговым агентом на базе искусственного интеллекта». Позже Лемуан сказал Тику, что LaMDA говорила ей то, что она хотела услышать, а поскольку она обращалась к ней как роботу, модель и вела себя соответственно. Маргарет Митчелл, одна из бывших коллег Лемуана по организации Responsible AI, похвалила его за «преданность сердцем и душой», но выразила полное несогласие с его выводами. Как и другие технические эксперты, включая авторов этой книги, Митчелл рассматривает модель как программу, способную статистически генерировать правдоподобные текстовые данные, и не более того. До того, как Лемуан переобучился на инженера-программиста, он был рукоположен в сан христианского священника мистического толка; это можно оценивать по-разному, но духовный опыт мог сделать его предрасположенным к взглядам, что искуственно созданная способность чувствовать возможна, или просто склонить к обычной человеческой привычке антропоморфизировать языковые модели, как это было с ELIZA25.
Хотя Лемуан – единственный, кто считает LaMDA чувствующей системой, уже образовалось растущее сообщество исследователей, интересующихся возможностью обнаружения сознания и способности чувствовать у ИИ и считающих это важной областью для изучения, поскольку растет распространенность ИИ-систем и количество сопутствующих моральных проблем, которые могли бы сопровождать ИИ-системы, обладающие сознанием. Философ из Anthropic AI Аманда Аскелл, которая ранее также работала в OpenAI, в 2022 году написала:
«Мы привыкли думать о сознании животных, которое развивается и меняется очень медленно. Быстрый прогресс в области ИИ может означать, что в какой-то момент будущие системы перейдут от бессознательного состояния к минимально сознательному, а затем станут способными чувствовать гораздо быстрее, чем это могут сделать представители биологических видов. Поэтому важно разработать методы для выявления способности чувствовать у ИИ-систем, природу их опыта и того, как изменить этот опыт до появления сознания и способности чувствовать, а не после свершившегося факта»26.
Философ и ученый-когнитивист из Нью-Йоркского университета Дэвид Чалмерс отвергает идею о том, что только углеродные системы могут обладать сознанием, и относит ее к «биологическому шовинизму». Чалмерс считает, что вероятность того, что современные LLM имеют сознание, менее 10 %, но верит:
«Когда речь заходит о будущих LLM и их расширениях, все выглядит совсем по-другому. Кажется вполне возможным, что в течение следующего десятилетия у нас появятся надежные системы с органами чувств, телесностью, моделями мира и моделями себя, циклической обработкой данных, глобальным рабочим пространством и едиными целями».
По мнению Чалмерса, у таких систем будет существенная возможность обладать сознанием27. Его прогноз основан на большом количестве недавних существенных изменений в LLM, но для следующего десятилетия он может оказаться слишком оптимистичным. Мы многого не знаем о сознании в целом, поэтому еще немало вопросов о сознании ИИ остаются без ответов. До сих пор обсуждение было гипотетическим, поскольку ни одна из современных систем не демонстрирует ничего похожего на сознание. Ответы LLM впечатляют, особенно в задачах с обучением на небольшом количестве примеров, но ничего не указывает на то, что у моделей есть собственное мнение; да, их ответы часто поразительны, но это статистическая генерация, а не выражение мнения. Мы считаем, как и в случае с AGI, что вопросы, связанные с сознанием и способностью чувствовать, являются второстепенными по сравнению с реальными и существующими рисками LLM. На данный момент самым большим риском, связанным с сознанием и чувствами ИИ, остается способность ИИ-систем казаться обладающими сознанием и чувствами и вызывать у пользователя чрезмерное доверие, несмотря на все задокументированные ограничения.