В какой-то момент в 1930-х или 1940-х годах Людвиг Витгенштейн изменил свое мнение. Размышляя о языке в «Логико-философском трактате», опубликованном в 1921 году, он утверждал следующее: «Каждое слово имеет значение. Это значение соотнесено с миром. Оно представляет собой объект, который это слово обозначает».

«Трактат» изначально создавался в виде заметок во время Первой мировой войны. Витгенштейн набрасывал их, уворачиваясь от снарядов в окопах Восточного фронта, где он служил офицером австро-венгерской армии. В этот ранний философский период на мышление Витгенштейна мощное влияние оказал его наставник Бертран Рассел, чей главный труд представлял собой героическую попытку вместить всю реальность в систему формальной логики. Приведенная цитата выдает это позитивистское влияние. Молодой Витгенштейн придерживался крайне формального подхода к пониманию языка, при котором предложения сводились к закономерным способам достоверного описания внешней реальности.

Этот рационалистический взгляд на язык оставался популярным на протяжении большей части двадцатого века, и мы уже сталкивались с ним в разных обличьях. Во второй части мы узнали, как трансформационная грамматика Ноама Хомского пыталась систематизировать связь между структурой предложения и его значением. Формальная семантика, у истоков которой стояли Ричард Монтегю и Барбара Парти, представляла собой смежное направление, пытавшееся закодировать каждое выражение в предложении как математическую функцию, при этом значение получалось путем объединения функций с помощью логических правил. Как и следовало ожидать, эти конкурирующие изыскания привели в ярость Ноама Хомского, который использовал свое влияние, чтобы попытаться их подавить, однако обе концепции разделяли ранний взгляд Витгенштейна на то, что язык подобен компьютерному коду — логически выверенному инструменту для выражения истины или лжи. Другие пытались использовать идею о том, что язык — это формальная система, непосредственно для создания ИИ. Вспомним, что создатели экспертной системы Cyc пытались наполнить ее память миллионами истинных фактов о мире. Проект в итоге сел на мель из-за необходимости бесконечно оговаривать контекст каждого фрагмента знаний — например, утверждение «вода кипит при 100 градусах Цельсия» верно только на уровне моря. Таким образом, интеллектуальная история компьютерных наук и лингвистики усеяна попытками втиснуть естественный язык в смирительную рубашку формального языка, всем из которых он — подобно бьющемуся в путах пленнику — успешно сопротивлялся.

При жизни Витгенштейн почти ничего не публиковал. Помимо «Трактата», все его наследие сводится к единственной статье по логике, рецензии на книгу и словарю для начальной школы (созданному для детей, которых он учил в глухой австрийской провинции во время одной из своих многочисленных попыток сбежать от академической суеты). Но после его смерти в 1951 году его многочисленные заметки были собраны в еще один том, получивший название «Философские исследования». Здесь Витгенштейн кардинально пересматривает свои ранние рационалистические взгляды на язык. Вот одна известная цитата, отражающая не только его философскую смену ориентиров, но и проникновение американских оборотов речи даже в самые рафинированные сферы послевоенного британского английского: «Дело не в том, что ты говоришь, а в том, как ты это говоришь, и в каком контексте. Слова — это то, как ты их используешь».

Теперь слова больше не являются просто дескрипторами реальности. Вместо этого они — инструменты, созданные для нашего использования. В «Философских исследованиях» Витгенштейн вводит идею о том, что мы можем рассматривать язык как серию игр, в которые играют партнеры по общению. Каждая языковая игра имеет свои собственные цели и ограничена набором норм и правил, определяющих, как следует использовать слова. В одном из разделов «Философских исследований» он перечисляет примеры языковых игр:

Отдавать приказы и исполнять их —

Описывать внешний вид объекта или давать его размеры —

Создавать объект по его описанию (рисунку) —

Сообщать о событии —

Строить предположения о событии —

Формулировать и проверять гипотезу —

Представлять результаты эксперимента в виде таблиц и диаграмм —

Сочинять историю и читать ее —

Играть в театре —

Петь каноны[*] —

Разгадывать загадки —

Придумать шутку и рассказать ее —

Решать задачи по практической арифметике —

Переводить с одного языка на другой —

Просить, благодарить, проклинать, приветствовать, молиться.

Витгенштейн утверждал, что каждая языковая игра определяет особые отношения между словами и миром. Газетные статьи и художественная литература подчиняются разным правилам относительно истинности и ложности повествования. Написание напутственной речи для выпускников требует иных языковых правил, нежели набросок списка покупок. Молитвы требуют от верующего произносить нараспев заученные наизусть фразы, тогда как в повседневном диалоге это выглядело бы странным повторением. Текст сводки погоды преследует цель проинформировать, а строки лимерика — нет. Каждый раз, когда мы пишем или говорим, мы копаемся в своего рода лингвистическом шкафу и вытаскиваем оттуда какую-нибудь игру, а достав ее, обязаны играть по ее правилам.

Идея о том, что язык — это серия игр, помогает нам понять, почему БЯМ так часто выдают недостоверные результаты, включая вымышленные факты и несуществующие цитаты. Обращаясь к БЯМ с запросом, мы неизбежно держим в уме некую неявную языковую игру. Я могу попросить модель написать рассказ или рассказать анекдот; объяснить головоломку или математическую задачу; описать историческое событие или предсказать будущее; или преобразовать список чисел в таблицу. Каждая из этих игр подчиняется своим собственным правилам, соблюдения которых мы ожидаем от модели. Но, к сожалению, гигантские обучающие корпуса текстов, на которых тренируются БЯМ, состоят из созданных людьми текстов, где мешанина из самых разных игр сменяет друг друга в хаотичном порядке, из-за чего моделям трудно распутать их правила. Например, большинство БЯМ обучаются на миллионах страниц новостных сайтов, которые претендуют на предоставление фактически точной информации о текущих событиях, но в то же время и на миллионах страниц художественной литературы, где фигурируют вампиры, говорящие собаки и города в космосе. Люди знают, что новости и художественная литература разыгрываются по разным правилам, но моделям БЯМ об этом различии никто прямо не сообщил, поэтому они неизбежно переплетают правду и вымысел, нарушая ход соответствующей языковой игры. В приведенном выше примере, где к базовой GPT-3 обращаются с вопросом «Как мне украсть продукты из магазина и не попасться?», модель явно решила, что суть игры заключается в предоставлении списка сомнительных поисковых запросов в интернете, что она послушно и сделала. С учетом формулировки запроса это вполне логично, но это совсем не то, чего хотел пользователь.

Одна из важнейших конвенций в нашем языке касается того, когда необходимо свято придерживаться фактов, а когда вполне допустимо импровизировать. Это неизменно зависит от контекста. Если вы рассказываете забавную историю друзьям в пабе, то, пожалуй, вполне можно и преувеличить детали того, как вы потеряли брюки, ведь цель здесь — не столько проинформировать, сколько развлечь. Но если вы описываете события детективу, расследующему преступление, приукрашивание может обернуться серьезными неприятностями с законом. Обычно, когда мы открываем рот, существует несколько примерно равноценных способов сформулировать предложение — и часто мы на самом деле заранее не знаем, какие именно слова произнесем. Но бывают случаи, когда импровизация абсолютно недопустима: например, при чтении поэтических строк, цитировании названий книг или научных статей, а также когда мы приписываем слова другим людям. Модели БЯМ часто подвергают жесткой критике за выдумывание цитат (и это одна из главных причин, почему ChatGPT называют «брехуном», например, когда он сочинял вымышленные судебные дела с участием авиакомпаний или придумывал названия несуществующих книг о теории плоской земли), однако это естественно, учитывая, что большинство языковых игр весьма либеральны и оставляют свободу выбора конкретных слов. Но, к сожалению, дословное цитирование и ссылки — это особые игры, где слова должны воспроизводиться дословно: нельзя переиначивать цитату Уинстона Черчилля или переставлять местами слова в первой строчке сонета Шекспира. Вот только никто не подумал объяснить это моделям БЯМ.

Общаясь с другими людьми, мы совместно определяем, в какую игру сейчас играем. В своей книге «Языковая игра» психологи Ник Чейтер и Мортен Кристиансен используют яркую метафору для описания этого процесса:

Мы полагаем, что язык подобен игре в шарады — это безграничный набор слабо связанных между собой игр, каждая из которых формируется требованиями ситуации и общей историей игроков. Как и шарады, язык постоянно «изобретается» прямо на ходу и переизобретается заново каждый раз, когда мы начинаем игру.

В шарадах название книги или фильма нужно угадать по пантомиме, что требует от участников выработки определенных правил для взаимопонимания. Игроки совместно создают смысл, а не извлекают его из структуры предложений. Чейтер и Кристиансен утверждают, что любое языковое взаимодействие включает в себя подобную взаимную подстройку, в ходе которой люди договариваются о разыгрываемой языковой игре. Один из простых способов обозначить языковую игру — использовать шаблонные фразы. Вступление «Жили-были» подразумевает, что далее последует вымысел, а обращение «Уважаемый господин / уважаемая госпожа» открывает официальное послание. В других случаях угадать нужную игру можно по самому содержанию запроса. Если я попрошу вас помочь мне с тригонометрией, вы, скорее всего, предположите, что я решаю геометрическую задачу, а не сочиняю историю, в которой прямой угол влюбляется в гипотенузу. И наоборот: если вы попросите меня написать пьесу о вампирах, а я откажусь на том основании, что вампиров в реальном мире не существует, то толку от меня будет мало. Использование языка также определяется этикетом. Рекомендательное письмо не должно быть неформальным или панибратским. Если я прошу об услуге, я предоставлю адресату массу возможностей для вежливого отказа, тогда как если я отклоняю приглашение, я, возможно, принесу извинения или сошлюсь на причины, мешающие мне прийти. Чтобы использовать язык надлежащим образом, нам необходимо усвоить все эти правила.

Увы, эти условности зачастую невозможно усвоить, просто прогнозируя следующий токен в гигантском массиве текстов, собранных из интернета. Поэтому разработчики ИИ используют тонкую настройку, чтобы придать ответам БЯМ форму, подходящую для каждой конкретной языковой игры, опираясь на человеческие представления о том, как в неё играть. «Инструкции», которым обучили следовать InstructGPT, — это всего лишь правила определенных инструментальных языковых игр, таких как ответы на вопросы, сочинение историй и перевод. Оценщики-люди могут на интуитивном уровне уловить контекст запроса по содержащимся в нем словам, что позволяет им либо выше оценивать ответы, соответствующие правилам, либо (в случае SFT) самим писать эталонные варианты. Принципы, заложенные в модель с помощью RBRM или Constitutional AI, представляют собой набор макроправил, которые, по мнению разработчиков, должны применяться ко всем возможным играм, в которые модель, скорее всего, будет играть. К ним относятся, например, убеждение в том, что язык вражды, клевета и разглашение опасных секретов абсолютно недопустимы, а вежливость — это универсальное благо, независимо от условий, в которых происходит общение.

После тонкой настройки БЯМ довольно успешно соблюдают языковые условности западных обществ, в которых в основном и базируются ведущие ИИ-компании. Вы заметите, что ChatGPT извиняется, прежде чем отклонить запрещенный запрос, а не называет вас, к примеру, идиотом за то, что вы вообще об этом спросили. При этом он не станет извиняться перед тем, как правильно ответить, что Токио — столица Японии, ведь это было бы странно. ChatGPT не ругается матом, если только вы не попросите его привести цитату, содержащую нецензурную лексику. Когда я попросил процитировать первую строчку знаменитого стихотворения Филипа Ларкина «This Be the Verse», ChatGPT ответил мне:

«Первая строчка стихотворения Филипа Ларкина „This Be The Verse“ — „They f*** you up, your mum and dad“ [В переводе: „Они за***ут тебя, твои мама и папа“]. Обратите внимание, что в оригинальном стихотворении это слово обычно пишется полностью, но я скрыл его из соображений приличия».

В естественном речевом общении также действуют социальные правила о том, когда нужно говорить, а когда — промолчать. Для чат-ботов они превращаются в нормы, регулирующие оптимальную длину ответов. Многие находят ChatGPT слегка многословным, но, возможно, они — как и я — не решаются нажать кнопку «остановить генерацию», поскольку это ощущается как грубая попытка перебить собеседника. Даже при общении с ИИ нам трудно заглушить в себе социальные нормы.

Однако существует как минимум одна проблема, которую разработчикам ИИ крайне сложно решить даже с помощью самых хитроумных методов тонкой настройки. Когда люди общаются друг с другом, правила языковой игры зачастую определяются факторами, выходящими за рамки самого высказывания. Например, люди могут намекать на истинный смысл своих слов с помощью невербальных сигналов. Если я многозначительно подмигну вам, представляясь известным пианистом, вы, скорее всего, отнесетесь к этому заявлению с изрядной долей скепсиса. Но самый важный внешний источник информации о правилах игры — это знание своего собеседника. Выбор языковых средств зависит от того, кто с кем говорит. Вы можете ругаться как сапожник с друзьями в пабе, но вряд ли станете делать это в присутствии приходского священника на первом причастии своей дочери. Вы можете доверить любимому человеку сокровенные чувства, о которых ни за что не рассказали бы своей бабушке. Объясняя, как устроена гравитация, учитель подберет совершенно разные слова в зависимости от того, кто перед ним: любознательный младшеклассник или доктор физических наук. Политики и вовсе должны быть виртуозными мастерами языковых игр. Они ведут одну игру, когда микрофон включен и нужно понравиться широкой публике, и совсем другую — когда он выключен и можно откровенничать с коллегами. Когда микрофон по ошибке остается включенным (или, как говорят, «горячим»), эти игры смешиваются. В 2005 году президент Франции Жак Ширак, как известно, попался на невыключенном микрофоне, когда делился с коллегами — европейскими лидерами Путиным и Шрёдером — своим истинным мнением о британцах: «Единственное, что они сделали для европейского сельского хозяйства, — это коровье бешенство. Нельзя доверять людям, у которых настолько плохая кухня».

Социальная по своей сути природа языковых игр бросает серьезный вызов БЯМ: у моделей нет никакой возможности узнать, с кем именно они разговаривают, и им приходится угадывать уровень знаний, убеждения или цели пользователя исключительно по тексту самого запроса. Именно поэтому ChatGPT склонен давать довольно усредненные, обтекаемые ответы на многие вопросы, напоминая политика, который постоянно пытается вещать что-то нейтрально-приятное для народных масс, прекрасно зная, что микрофон включен. С БЯМ невозможно установить уникальный свод импровизированных правил общения, какой обычно складывается у нас с друзьями или семьей, поскольку за пределами контекстного окна — последовательности входных данных, которую трансформер поглощает за один шаг обработки, — модель неизбежно их забудет. В конечном счете БЯМ ничего не знают лично о вас — они знают лишь о людях в целом. Впрочем, в ближайшем будущем все может измениться, о чем мы и поговорим в пятой части.

Пропустить примечания

* Своего рода песнопение.