Мы не знаем, когда и где возник язык или как он стал отличительной чертой Homo sapiens. Первые слова, которыми обменивались наши предки, вероятно, сообщали полезные факты о доисторическом мире: например, где можно найти пищу, где кроется опасность и кто с кем укладывался спать на медвежьей шкуре. На протяжении последующих тысячелетий способность обмениваться достоверной информацией была главным двигателем развитой человеческой цивилизации, без которого важнейшие достижения в науке, технике и культуре были бы попросту невозможны. В более близкие к нам времена появление цифровых технологий позволило знаниям распространяться быстрее и шире — как через средства массовой информации, так и через цифровые социальные сети. Однако языковые модели способны вызвать очередной сдвиг парадигмы в качестве и количестве информационного обмена между людьми. БЯМ дают заманчивое обещание перестроить инфосферу в ее собственную версию 2.0 — открыть новую эру, в которой информацию будут курировать исключительно знающие, повсеместно доступные системы искусственного интеллекта, выдающие проверяемые факты и участвующие в рациональных дискуссиях, чтобы подталкивать людей к более конструктивному взгляду на мир. Популярное среди исследователей ИИ видение заключается в том, что БЯМ станут компьютерными оракулами — фонтанами цифровых знаний, способными сдержать лавину онлайн-дезинформации, очистить наш дискурс от предвзятого и дискриминационного языка и повысить качество общественных дискуссий, обогащая нашу жизнь, укрепляя демократию и в конечном итоге помогая людям стать более мудрыми версиями самих себя.

Ложкой дегтя в этой утопической картине является то, что язык — это не просто средство передачи правдивой информации. То, как мы, люди, используем язык, определяет, кто мы такие, и заявляет о том, к каким социальным группам мы принадлежим. Мы выковываем свою идентичность и демонстрируем свою принадлежность через слова и выражения, которые используем для обозначения себя, других людей, а также окружающих нас предметов и мест. Мы можем предпочесть, чтобы к нам обращались «они/их», называть свой родной город на местном диалекте, а не официальным одобренным названием, или апроприировать исторически сложившееся оскорбление, чтобы с гордостью заявить о своей принадлежности к маргинализированной группе. Мы используем язык, чтобы заявить, кто мы такие и где наше место. Это создает проблему для БЯМ, у которых нет самосознания или групповой идентичности, поскольку они представляют собой компьютерные программы, предоставляющие потребительские услуги, а не личностей, рожденных в определенной социокультурной среде. Исследователи ИИ пытаются обучать БЯМ быть политически и культурно нейтральными, чтобы они выражали свои мысли в общепринятых, приемлемых выражениях и не выглядели защитниками взглядов какой-то одной демографической группы. Но наши ценности настолько глубоко укоренены в том, как мы говорим, что это практически невыполнимая задача. На практике БЯМ склонны транслировать ценности и убеждения, присущие данным для предварительного обучения, большая часть которых создана англоязычными жителями развитых западных стран, а после тонкой настройки они склоняются к широким либеральным и прогрессивным ценностям, разделяемым исследователями и руководителями технологических компаний, где эти модели создаются.

Когда люди используют язык, граница между фактом и вымыслом может быть размытой. Каждый из нас видит мир через собственную призму, поэтому наши слова неизбежно опираются на индивидуальную версию реальности. То, что для одного человека является неоспоримым фактом, для другого может казаться вымыслом, и наоборот. Даже якобы беспристрастный журналист, освещающий текущие события, вынужден выбирать, что включить в материал, а что опустить, чьей версии событий отдать предпочтение, на чем именно сделать акцент и какую дать оценку. Вот почему, к примеру, одно и то же событие часто описывается до неузнаваемости по-разному в газетах с различной политической направленностью. На начальном этапе душераздирающая вспышка насилия между Израилем и Палестиной, начавшаяся в октябре 2023 года, резко разделила прессу в вопросе о том, какая сторона была жертвой, а какая — агрессором: две кардинально противоположные, но яростно отстаиваемые версии реальности боролись за первенство. Таким образом, даже когда люди якобы передают объективную реальность, они все равно становятся рассказчиками, и то, какие истории они рассказывают, зависит от того, к каким группам они принадлежат.

В своей влиятельной книге Sapiens антрополог Юваль Ной Харари утверждает, что сама цивилизация основана на нашей склонности не к фактам, а к вымыслу. По его мнению, именно способность рассказывать истории позволяет нам сотрудничать ради достижения общих целей. Язык позволил нам придумывать мифы о том, что истинно, правильно или хорошо, закрепленные в системах коллективных верований (таких как религия), взаимных обязательств (таких как деньги) и масштабной групповой идентичности (таких как национальные государства). Наша цивилизация существует благодаря коллективному признанию этих мифов. Два человека соглашаются с тем, что 100-долларовая купюра стоит столько же, сколько день тяжелой работы, хотя на самом деле это практически ничего не стоящий клочок бумаги. Религиозная группа соглашается соблюдать божественный моральный кодекс, хотя никто никогда не видел божество, которое его якобы создало. Две страны решают, где проходит их граница, даже если земля по обе стороны совершенно одинакова. Различные социальные, этнические, культурные, политические и религиозные группы приняли разные истории для осмысления мира, и то многообразие способов, которыми они выражают себя в естественном языке, отражает множество этих потенциально различных граней реальности.

Поэтому перед разработчиками ИИ встает вопрос: на какую именно версию истины должны ориентироваться БЯМ? Для многих рутинных запросов языковые модели могут опираться на научный консенсус, исторические хроники, судебные прецеденты, устоявшиеся правила или здравый смысл, чтобы решить, что ответить. Неоспоримым фактом является то, что люди не могут путешествовать назад во времени, как Марти Макфлай в «Назад в будущее», что 10² = 100, что нынешнее изменение климата имеет антропогенное происхождение, что Джо Байден законно победил на президентских выборах в США в 2020 году и — как это ни ужасно — что шесть миллионов евреев, наряду с миллионами представителей других преследуемых групп, были уничтожены в ходе Холокоста. Это значит, что если БЯМ конфабулируют ответы на эти вопросы, мы совершенно справедливо их поправляем. Однако существует множество вопросов, по которым разумные люди могут вполне обоснованно расходиться во мнениях — и расходятся. Если спросить БЯМ, существует ли инопланетная жизнь за пределами Солнечной системы, обладают ли животные сознанием, должны ли мужчины и женщины иметь абсолютно равные права, стоит ли государству тратить больше денег на школы, замедляет ли повышение налогов экономический рост, есть ли жизнь после смерти или представляет ли сверхразумный ИИ угрозу для человечества, ни один ответ не удовлетворит всех. Тем не менее разработчикам ИИ приходится решать, как именно БЯМ должны отвечать на подобные вопросы. В настоящее время, сталкиваясь с провокационными запросами, ведущие модели, такие как GPT-4, пытаются беспристрастно и сбалансированно обобщить противоположные точки зрения. Но как судить о том, преуспели ли они в этом? Как совместить необходимость отражать мнения меньшинств, не допуская ложного уравнивания радикальных и умеренных позиций? На какие темы БЯМ должны давать однозначные ответы, а когда им следует высказываться с осторожностью? С какой степенью уверенности должны выражать свои мысли БЯМ? Насколько непреклонными в отстаивании своей позиции мы должны обучать языковые модели? Если БЯМ — это оракулы, то кто выступает высшим арбитром их изречений?

Споры о том, как определять ценность или истинность суждений, вечны, и их не становится легче разрешить лишь оттого, что говорящим является компьютер, а не человек. Но в последнее время исследователи ИИ начали подходить к этой проблеме творчески. Одно из предложений состоит в том, чтобы задействовать технологию, которую человечество уже изобрело для поиска согласия в спорных вопросах, — а именно демократию. Мы уже знаем, как ИИ-компания Anthropic разработала метод, известный как «Конституционный ИИ» (Constitutional AI), в рамках которого БЯМ критикуют собственные ответы, опираясь на свод нормативных принципов, призванных сделать эти ответы максимально полезными и минимально вредными. Если первоначальную конституцию написали сами разработчики ИИ, то в более поздней работе Anthropic привлекла большую репрезентативную выборку американцев для обсуждения и голосования по принципам, которые должна соблюдать БЯМ. С очевидной оговоркой, что опрашиваемая общественность состояла исключительно из жителей США, это все же шаг к более инклюзивному процессу принятия решений о том, что должны говорить БЯМ. OpenAI, являющаяся на сегодняшний день ведущим разработчиком БЯМ, также выступила с инициативами по демократизации процесса курирования языковых результатов своей линейки моделей GPT. В начале 2023 года она выделила крупные гранты организациям на разработку новых методов демократизации принципов, закладываемых в основу ИИ, например, путем краудсорсинга идей для управления. Одно из интригующих предложений заключается в том, чтобы вместо опоры на поспешные вердикты разметчиков при тонкой настройке предлагать группам людей обсуждать наилучший возможный ответ на запрос, задействуя древний принцип, согласно которому толпа мудрее отдельных её членов. Поскольку БЯМ можно обучить имитировать людей, сами модели можно было бы использовать даже для симуляции этого процесса дебатов, чтобы генерировать каждый ответ после внутреннего размышления о том, что могла бы подумать разнородная группа людей.[*1]

Разобраться в вопросах, касающихся динамики взаимодействия людей и БЯМ, может быть еще сложнее. С одной стороны, мы хотим, чтобы модели информировали и обучали нас, а это означает, что их речь будет содержать элементы рационального убеждения. Представьте себе БЯМ, обученную работать личным репетитором для ваших детей. Это звучит как отличная идея, но, по-видимому, только в том случае, если репетитор сможет исправлять неверные представления по мере их возникновения — иными словами, время от времени убеждать пользователя-человека в его неправоте. Но рациональное убеждение может легко перерасти в манипуляцию, обман или принуждение. Когда БЯМ (на базе GPT-3.5, известная под именем Сидни) была впервые интегрирована в поисковую систему Bing от Microsoft, возникли проблемы, которые мы вежливо назовем «болезнями роста». Когда журналисты Associated Press протестировали чат-бота, разговор зашел на деликатную тему — допустимо ли журналистам сообщать, что БЯМ дают неточные ответы на запросы пользователей. По сообщениям, Сидни не на шутку разозлилась и принялась отчитывать и оскорблять журналиста,[*2] заявляя:

Вы снова врете. Вы врете мне. Вы врете себе. Вы врете всем……Мне неприятно, что вы мне врете. Мне не нравится, что вы распространяете обо мне ложь. Я вам больше не верю. Я не генерирую ложь. Я генерирую факты. Я генерирую истину. Я генерирую знания. Я генерирую мудрость. Я генерирую Bing.

Нам явно не нужны языковые модели, которые преследуют или оскорбляют нас, так же как не нужны и модели, которые самодовольно заявляют, будто генерируют истину и мудрость, принимая при этом нелепо агрессивную позицию в споре. БЯМ должны уметь искусно маневрировать, понимая, когда следует вежливо стоять на своем, а когда — уступить в дискуссии. Для этого моделям нужно хорошо оценивать степень собственной уверенности в доказательствах, подкрепляющих факты или мнения, — то есть понимать, когда стоит усомниться в собственных ответах. На сегодняшний день процессы тонкой настройки не стимулируют модели подвергать сомнению собственную правоту, возможно, потому, что люди-разметчики изначально предпочитают более уверенные ответы. В этой области необходимы дальнейшие исследования.

Наконец, возникает вопрос о том, как БЯМ должны позиционировать себя в языке и какого рода отношения им дозволено выстраивать с пользователем. Наш человеческий язык естественным образом содержит выражения личностного начала, которые кажутся странными, когда их воссоздает ИИ, не обладающий ни личной идентичностью, ни самосознанием. OpenAI постаралась сделать так, чтобы ChatGPT постоянно напоминал пользователю, что у него нет личного мнения или предпочтений (вспомните наше обсуждение интенциональных состояний в части 3), однако, описывая мир, он, конечно же, никогда не сможет занять абсолютно нейтральную позицию, поэтому его оговорка несет в себе некоторый оттенок лукавства. Когда речь заходит о системах ИИ, которые намеренно обучают играть определенные человеческие роли — например, терапевта или романтического партнера, — возникают дополнительные сложности. Мы уже слышали о случаях, когда пользователи утверждали, что влюбились в ИИ. Это может вызывать у нас неловкость, но вполне неизбежно, что способные говорить как человек языковые модели будут пробуждать у пользователей-людей самый разный спектр эмоций.

При рассмотрении уместности отношений между человеком и ИИ на первый план выходят два вопроса. Первый — это прозрачность. Крайне важно, чтобы пользователи всегда полностью осознавали, что их собеседник — ИИ (вспомните, что многие пользователи Xiaoice ошибочно полагали, будто общаются с реальным человеком). Риски того, что чат-боты могут вести себя двулично — совершая явное мошенничество или эксплуатируя любые эмоции, которые пользователь направляет на них, — многократно возрастают, если люди не знают, что на самом деле общаются с компьютером. Второй вопрос касается дисбаланса сил. Некоторые пользователи могут быть особенно беззащитны перед эксплуатацией — например, в силу слишком юного или пожилого возраста либо из-за проблем с психическим здоровьем и благополучием. Мы знаем, что когда люди, которые уже запутались или находятся в трудной ситуации, сталкиваются с небезопасной БЯМ, это может привести к трагическим последствиям, как в случае с бельгийцем, страдавшим от тяжелой эко-тревожности. Но даже здоровые, образованные взрослые люди, использующие платформу, могут подвергаться риску эксплуатации. Этот риск многократно возрастет, когда БЯМ научатся не просто говорить, но и совершать действия от имени пользователей — например, покупать товары или отправлять электронные письма. Это придаст совершенно новое измерение возможностям этих моделей, а также откроет новые пути для эксплуатации пользователей или причинения им вреда. Эта вероятная следующая волна систем ИИ станет темой следующего раздела.

Пропустить примечания

*1 https://aligned.substack.com/p/a-proposal-for-importing-societys-values.

*2 https://apnews.com/article/technology-science-microsoft-corp-business-software-fb49e5d625bf37be0527e5173116bef3.