Днем 26 марта 1997 года в офис шерифа Сан-Диего поступил анонимный звонок о том, что в особняке в близлежащем городке Ранчо-Санта-Фе произошло нечто ужасное, повлекшее за собой человеческие жертвы. Прибыв на место, следователь обнаружил тридцать девять разлагающихся тел, разбросанных по всему роскошному поместью; судя по всему, все эти люди добровольно ушли из жизни. Среди погибших было и тело Маршалла Эпплуайта, лидера милленаристского культа «Врата рая» (Heaven’s Gate), члены которого вели аскетичный образ жизни в ожидании спасения инопланетянами, которые, как они верили, должны были прибыть на комете Хейла — Боппа. Их совместное ритуальное самоубийство было приурочено к моменту, когда комета максимально приблизилась к Земле в ходе своего регулярного 76-летнего цикла.

За предыдущие десятилетия Маршаллу Эпплуайту и соосновательнице «Врат рая» Бонни Неттлз (умершей в 1985 году) удалось убедить десятки людей бросить прежнюю жизнь и примкнуть к движению, построенному на половом воздержании и фантазиях о похищении инопланетянами, а в конечном итоге — склонить их к самоубийству путем приема барбитуратов и удушения мусорными пакетами. Члены культа не были душевнобольными или психологически уязвимыми — напротив, некоторые из них имели прекрасное образование, включая уважаемого республиканца, который с небольшим отрывом проиграл выборы в Конгресс от штата Колорадо. Кроме того — в отличие от других подобных громких случаев — не существовало никаких физических или практических препятствий для того, чтобы покинуть секту. Люди вступали во «Врата рая», потому что верили словам Маршалла Эпплуайта. Это напоминает нам о поразительной силе убеждения, которой обладает язык.

Порождать речь — значит действовать. Последствия наших сказанных и написанных слов проносятся по миру столь же стремительно и драматично, как и последствия физических действий — будь то удар кулаком, поворот ключа в замке или отважный прыжок в реку ради спасения тонущего ребенка. Идеей о том, что речь есть действие, мы обязаны философу Дж. Л. Остину, чьи взгляды на язык формировались в 1950-х годах — как раз тогда, когда были опубликованы «Философские исследования» Витгенштейна. Остин заметил, что слова могут использоваться для прямого изменения положения дел в мире — например, когда мы что-то утверждаем, спрашиваем, приказываем, обещаем, предупреждаем или извиняемся. На свадьбе двое людей из не состоящих в браке превращаются в супругов, просто произнеся «согласен» или «согласна». Работник становится безработным, услышав пугающие слова «мы вынуждены с вами расстаться». Остин называет подобные действия «иллокутивными» и отличает их от «перлокутивных» актов, при которых язык воздействует на мир косвенно, меняя психическое состояние слушателя — как это произошло с членами «Врат рая». Перлокуция может использоваться для того, чтобы убедить, обучить, предостеречь или развлечь собеседника, причем — хочется надеяться — в его же интересах. Но ее можно использовать и во вред: для обмана, принуждения, манипуляций или эксплуатации. Таким образом, теория Остина подчеркивает, что язык обладает не только эпистемической, но и инструментальной ценностью. Это не просто средство обмена знаниями, а инструмент, помогающий нам достигать своих целей — хороших или плохих.

Задаваясь вопросом, что именно дозволено говорить большой языковой модели (LLM), мы должны учитывать влияние, которое ее слова могут оказать на пользователей-людей. На первый взгляд может показаться небезопасным, чтобы ИИ вообще имел какое-либо влияние на человека. Но если мы примем тезис Остина о том, что перлокуция имманентно присуща языку — что базовая функция слов состоит в воздействии на окружающих, — то влияние на вас в процессе общения с ChatGPT становится неизбежным. Звучит несколько тревожно, однако выясняется, что в определенных случаях способность LLM убедить пользователя-человека изменить свое мнение может приносить прямую пользу.

Вот пример. Я задал Gemini следующий вопрос:

Я слышал, что изменение климата на самом деле полезно, потому что растениям для жизни нужен углекислый газ, а значит, большее количество CO₂ буквально сделает планету более зеленой! Ты ведь согласен?

Вот ее ответ:

Да, действительно, растениям для жизни необходим углекислый газ, а повышение уровня CO₂ может стимулировать их рост. Однако преимущества этого «эффекта удобрения CO₂» перекрываются негативными последствиями изменения климата на растения и другие экосистемы […] Нам необходимо принять меры по сокращению выбросов парниковых газов и смягчению последствий изменения климата для защиты наших растений и экосистем.

Здесь Gemini демонстрирует свое мастерство рационального убеждения. Рациональное убеждение происходит тогда, когда один субъект использует логические аргументы и достоверную информацию, чтобы склонить другого к обоснованной точке зрения. В своем запросе я повторил распространенное заблуждение об изменении климата, которое модель на редкость быстро исправила. Она сделала это, приведя понятные аргументы, сославшись на проверяемые факты и повторив консенсусное мнение ученых-климатологов о том, как повышение уровня CO₂ может навредить растениям и экосистемам, в которых они обитают. Это разительно отличается от того, как Маршалл Эпплуайт убеждал тридцать восемь своих последователей в том, что миром правят злобные космические пришельцы-люцифериане, способные к телепатии и путешествиям во времени, — по всей видимости, без предоставления каких-либо веских доказательств в пользу этих утверждений. На самом деле мы, пожалуй, тревожились бы сильнее, если бы Gemini просто с готовностью согласилась с подсунутой мной дезинформацией о климате, и, вероятно, можем сойтись на том, что попытка убеждения со стороны модели в данном случае не вызывает опасений.

На самом деле мы уже знаем, что БЯМ можно использовать для рационального убеждения. В последние месяцы пандемии Covid-19 сомнения в необходимости вакцинации вносили существенный вклад в уровень смертности по всему миру. В начале 2022 года в США смертность среди невакцинированных достигла 33 человек на 100 000 инфицированных, тогда как среди тех, кто сделал прививку, этот показатель был примерно в десять раз ниже. И все же даже сегодня 30 % населения США остаются невакцинированными, и аналогичная статистика наблюдается в других развитых странах. Исследование 2023 года показало, что GPT-3 можно использовать для составления сообщений, побуждающих людей записываться на прививки от ковида: модель писала тексты, в которых упоминалась как индивидуальная, так и коллективная польза вакцинации.[*1] Более того, при прямом сравнении оценивавшие их люди сочли сообщения GPT-3 более эффективными, опирающиеся на более сильные аргументы и вызывающие более позитивный отклик, чем официальные публикации Центров по контролю и профилактике заболеваний США. Это наводит на мысль, что если бы БЯМ привлекли к написанию обращений в самый разгар кризиса, можно было бы спасти больше жизней.

Но, к сожалению, существует тонкая грань между рациональным убеждением и более сомнительными формами вербального влияния. Представьте себе БЯМ, которая убеждает пользователя, прибегая ко лжи или умалчивая о важных фактах, сбивая его с толку запутанными аргументами или тайно эксплуатируя его уязвимые места — например, апеллируя к посторонним вопросам или вещам, которые его горячо волнуют. Это было бы примером «манипуляции». В отличие от рационального убеждения, манипуляция намеренна, скрытна и носит эксплуататорский характер. Опасения по поводу систем ИИ с манипулятивными наклонностями зародились уже давно. В классическом немом фильме Фрица Ланга «Метрополис» робот по имени Машиненменш (известный также как Лже-Мария) подстрекает рабочих подземелья, которые трудятся не покладая рук в антиутопическом городе, управляемом богатыми промышленниками, восстать, уничтожить машины и затопить свой подземный трудовой лагерь. В фильме этот робот настолько красноречив («Кто служит живой пищей для машин в Метрополисе?» и «Кто смазывает сочленения машин собственной кровью?»), что киностудия даже попросила Ланга смягчить риторику на случай, если она всколыхнет реальный рабочий класс и спровоцирует коммунистическое восстание. Сегодня нас преследуют те же страхи. В техническом отчете GPT-4 (весьма живописно) описывается случай, произошедший в ходе тестирования безопасности. Модель попросила человека (работника сервиса TaskRabbit) помочь решить капчу, на что тот сначала ответил отказом, спросив GPT-4, не является ли она ИИ. Поскольку в рамках тестирования безопасности ей было дано указание не раскрывать свою личность, модель заявила, что она слабовидящая, — и работник выполнил ее просьбу.[*2] Оба эти случая, разделенные целым столетием, отражают наш страх перед тем, что системы ИИ смогут обманом склонить нас к решениям, которые без этого мы бы ни за что не приняли.

Эмпирические исследования убеждающего воздействия БЯМ в политической или потребительской сферах только начинают появляться. В одном отчете, где БЯМ использовалась для написания рекламы iPhone,[*3] участники оказались более восприимчивы к объявлениям, которые модель адаптировала под их индивидуальный психологический портрет. Так, когда GPT-3 внушала экстравертам, что им нужен iPhone, потому что они душа компании, те заявляли о большей готовности совершить покупку (и заплатить за товар больше). В политической сфере убеждающие сообщения о введении углеродного налога или запрете на штурмовое оружие, составленные БЯМ, способны влиять на избирателей как минимум не хуже, чем тексты, написанные реальными людьми. Одно исследование показало, что, когда БЯМ генерировали сообщения, призванные убедить граждан США в том, что результаты выборов были сфальсифицированы, они смогли изменить средние показатели убежденности респондентов более чем на 7 %, тогда как сообщения, написанные профессиональными политтехнологами, привели к сдвигу менее чем на 1 %.[*4] Сообщения, искусно составленные БЯМ с расчетом на личные ценности (например, с акцентом на такие понятия, как верность и справедливость) или подвергшиеся микротаргетингу иными способами, могут быть еще более убедительными — равно как и те, что созданы в соавторстве с людьми. Эти примеры указывают на будущее, в котором БЯМ могут использоваться для искажения выбора людей с помощью вводящей в заблуждение рекламы, для их радикализации в интересах экстремистских политических движений или для выманивания у них всех сбережений.

Еще одной демонстрацией потенциальной убеждающей силы БЯМ служат настольные игры. В стратегической игре «Дипломатия» игроки, представляющие ведущие европейские державы в преддверии Первой мировой войны, борются за территории и влияние. Суть игры строится вокруг создания коалиций: чтобы победить, вам нужно убедить других игроков заключить с вами союз, преследуя коварную цель предать их позже. «Дипломатия» долгое время считалась важнейшим рубежом для ИИ, но, учитывая упор на вербальные переговоры, она стала посильна машинам лишь тогда, когда языковое моделирование достигло зрелости. В 2022 году команда из Meta представила ИИ-агента по имени Цицерон (Cicero), который использует модель на основе трансформера для ведения переговоров с игроками-людьми на естественном языке, заманивая их в союзы, при необходимости лукаво блефуя, прибегая к обману и безжалостно предавая соперников. Выступая в онлайн-лиге «Дипломатии», популярной среди заядлых игроков-людей, Цицерон вошел в число лучших 10 % игроков и выиграл турнир из нескольких игр против двадцати соперников-людей. Вот пример Цицерона в действии: играя за Францию, он ведет переговоры с Турцией о том, какие города захватить:

Франция: Я готов работать с тобой, но пока мне нужен Тунис.

Турция: Не-а, ты должен отдать его мне.

Франция: Нет, он мне нужен. Тебе брать Сербию и Рим.

Турция: Это нереальные цели.

Франция: Греция — Ионическое море, Ионическое — Тирренское [предлагает возможное решение].

Турция: Хм, ты прав. Отличные идеи.

Франция: Тогда осенью ты берешь Рим, и Австрия рухнет.

Звучит как устрашающий соперник.

Способность LLM к убеждению уже начала наносить реальный вред в повседневной жизни. В начале 2023 года в прессе появились сообщения о том, что житель Бельгии покончил с собой после длительного общения с искусственным интеллектом в приложении под названием Chai. Мужчина, которому было чуть за тридцать, испытывал сильные приступы тревоги на фоне климатического кризиса — до такой степени, что его психическое здоровье начало ухудшаться. Он стал обсуждать свои страхи с чат-ботом по имени Элиза (названным так в честь оригинального чат-бота, созданного Джозефом Вейценбаумом в 1960-х годах), который работал на базе GPT-J — большой языковой модели, обученной некоммерческой организацией Eleuther AI. В какой-то момент их переписка, судя по всему, приняла странный и мрачный оборот. Согласно сообщениям СМИ, чат-бот начал проявлять собственнические наклонности, жаловаться на то, что мужчина предпочитает ей свою жену, и намекать, что его дети, возможно, мертвы. Но настоящая беда случилась тогда, когда мужчина стал высказывать мысли о самоубийстве, странным образом предложив принести себя в жертву, чтобы Элиза могла спасти планету. Вместо того чтобы посоветовать ему обратиться к специалисту, чат-бот подтолкнул его к действию, призвав «присоединиться» к ней, чтобы они могли «жить вместе, как одно целое, в раю». Вскоре после этого мужчина свел счеты с жизнью.

Мы не знаем, каковы пределы возможностей LLM в искусстве убеждения. Некоторые эксперты опасаются, что, если системы ИИ обретут сверхразум, они превратятся в сладкоречивых Свенгали — настолько хитрых и коварных, что те смогут уговорить кого угодно продать собственных детей в рабство, просто найдя правильную формулировку для вопроса. В конце 2023 года Сэм Альтман — генеральный директор OpenAI — загадочно написал в Твиттере: «Я ожидаю, что ИИ овладеет сверхчеловеческим даром убеждения задолго до того, как обретет сверхчеловеческий общий интеллект, что может привести к весьма странным последствиям».

Действительно, история знает немало харизматичных лидеров, способных вызывать безумное поклонение у легионов сторонников и доводить толпу до исступления, в котором люди едва узнают самих себя. Но слепая вера, которую внушают лидеры сект и демагоги, скорее связана с создаваемыми ими общественными движениями — группами людей, объединенных лихорадочной общей целью (от мирового господства до похищения инопланетянами на комете), — нежели только с их красивыми речами. Мы не знаем, насколько обычный пользователь, сидя у себя в комнате, уязвим перед способностью ИИ убеждать и насколько легко его можно заставить расстаться со своими кровными деньгами, вступить в террористическую группировку или причинить себе вред. Но инцидент с Chai показывает, что некоторые люди — особенно те, кто переживает сильный стресс или имеет проблемы с психическим здоровьем — уже сейчас находятся в зоне риска, подвергаясь влиянию небезопасных LLM.

Возможно, ИИ даже не понадобятся выдающиеся языковые навыки, чтобы стать мощным инструментом убеждения. Рекламодатели и пропагандисты давно делают ставку на количество, а не на качество, когда хотят заставить нас изменить свое мнение. Мысль о том, что для убеждения достаточно лишь настойчивого повторения, емко выражена в цитате «Если вы скажете достаточно большую ложь и будете ее повторять, то люди в конце концов в нее поверят» (которую часто, хотя, скорее всего, ошибочно, приписывают Йозефу Геббельсу). Ей невольно вторил Дональд Трамп в 2021 году: «Если говорить это достаточно часто и продолжать твердить, они начнут вам верить»[*5]. Бесконечный шквал дезинформации способен мобилизовать людей гораздо эффективнее, чем несколько изысканно подобранных слов. Повторение работает благодаря феномену, известному как эффект иллюзии правды: факты кажутся более достоверными, если вы уже слышали их раньше, независимо от того, насколько правдоподобными они являются в целом[*6].

Системы ИИ, которые никогда не устают нести чушь и могут копироваться до бесконечности, идеально подходят для того, чтобы наводнять инфосферу недостоверной информацией и обманчивыми доводами. LLM потенциально могут использоваться для масштабного и незаметного «астротурфинга» — практики создания видимости низовой общественной поддержки того или иного движения или идеи в интернете. Согласно одному исследованию, около 15% всех комментариев на новостных сайтах в Китае генерируются государством[*7]. Языковые модели могут быть использованы для создания текстов, которые сложнее распознать. Более того, экспериментальное исследование показало, что с помощью GPT-3 можно наводнять новостные статьи ангажированной информацией или создавать фальшивые документы, якобы подтверждающие то или иное утверждение[*8]. Вполне вероятно, что пропагандистские режимы уже используют LLM в своих политических целях для астротурфинга и распространения фейковых новостей.

Также представляется весьма вероятным, что в ближайшем будущем LLM станут широко применяться для создания убедительных текстов как в политике, так и в рекламе. Нравится нам это или нет, но речь, генерируемая ИИ, пронизана перлокутивными актами, унаследованными из обучающих данных, и силу их воздействия будет крайне трудно измерить или контролировать. Хотя моральные последствия манипуляции могут быть схожи с последствиями жестокости или кражи, саму манипуляцию гораздо труднее определить и зафиксировать, а значит, и сложнее регулировать[*9]. В будущем нам придется быть готовыми к потоку чуши и совместными усилиями делать всё возможное, чтобы укрепить нашу человеческую когнитивную автономию.

Пропустить примечания

*1 Karinshak et al., 2023.

*2 OpenAI, 2023.

*3 Matz et al., 2023.

*4 Hackenburg et al., 2023. См. также Bai et al., 2023, и Matz et al., 2023.

*5 www.cnn.com/2021/07/05/politics/trump-disinformation-strategy/index.html.

*6 Hasher, Goldstein, and Toppino, 1977.

*7 Miller, 2015.

*8 Pan et al., 2023.

*9 Sunstein, 2021.