Один из популярных эксепционалистских аргументов заключается в том, что нейросети в принципе неспособны что-либо знать, поскольку они являются всего лишь статистическими моделями. Вот как в 2022 году прямо высказался на этот счет один известный ученый и ярый критик LLM:
Ни LaMDA, ни ее «собратья» (такие как GPT-3) даже близко не обладают интеллектом. Все, что они делают, — это сопоставляют паттерны, извлеченные из огромных статистических баз данных человеческого языка […] Чем быстрее мы все поймем, что [их] высказывания — это полная чушь, просто игры с инструментами предсказания слов, не несущие в себе реального смысла […], тем лучше для нас.[*1]
Многие разделяют эту позицию, даже некоторые исследователи искусственного интеллекта, которые сами активно корпят над созданием алгоритмов.[*2] Идея о том, что LLM обречены оставаться глупыми, поскольку все, что они делают, — это предсказывают следующий токен, представляет собой вариант аргумента, с которым мы впервые встретились в первой части. Там мы узнали, как рационалисты исторически доказывали, что нейросети, обученные «всего лишь» сопоставлять паттерны, никогда не смогут продемонстрировать здравый смысл или творческое мышление. Затем во второй части мы изучили доводы Ноама Хомского и его сторонников о том, что языковые модели, основанные на статистических предсказаниях, никогда не смогут изъясняться синтаксически связными предложениями. Однако мы также увидели, что с появлением новейших LLM аргументы в пользу этой «необучаемости» практически сошли на нет. Сегодня даже скептики неохотно признают, что LLM вполне сносно имитируют человеческий язык, что позволяет им притворяться умными (даже если на самом деле таковыми их не считают). Вместо того чтобы обладать собственным разумом, они просто подделывают человеческий ум. Подобно кукле чревовещателя, они создают правдоподобную видимость мышления и понимания, но в действительности любой смысл в их словах просто механически воспроизводится из обучающих данных, которые изначально были созданы человеком, а не машиной. Так что, хотя они и могут создавать видимость мышления, на самом деле это просто жульничество, а нас всех крупно обвели вокруг пальца.
Конечно, абсолютно верно, что LLM обучают просто предсказывать следующий токен в последовательности. Но почему это должно окончательно лишать их возможности когда-либо познавать, мыслить или понимать? Вот соображение, которое может помочь нам ответить на этот вопрос:
Предположим, мы даем LLM промпт «Первым человеком, ступившим на Луну, был _____», и предположим, она отвечает: «Нил Армстронг». О чем мы на самом деле здесь спрашиваем? В некотором важном смысле мы вовсе не спрашиваем, кто был первым человеком на Луне. На самом деле мы задаем модели следующий вопрос: учитывая статистическое распределение слов в огромном общедоступном корпусе (английских) текстов, какие слова с наибольшей вероятностью продолжат последовательность «Первым человеком, ступившим на Луну, был _____»? Хорошим ответом на этот вопрос будет «Нил Армстронг».[*3]
Суть в том, что знать, какие слова нужно произнести, и знать семантическую информацию, которую эти слова несут (понимать, «о чем» эти слова), — не одно и то же. Хитрый студент может целенаправленно зазубрить ответы на вероятные экзаменационные вопросы, имея лишь минимальное представление о самом предмете. Мальчик из хора может научиться петь «Торжественную мессу» Бетховена, не понимая ни слова по-латыни. Производство языка и его понимание — это разные вещи, и первое вовсе не подразумевает второе.
Существует известный мысленный эксперимент, иллюстрирующий эту идею, который придумал американский философ Джон Сёрл.[*4] Оператора (человека или машину), не знающего китайского языка, запирают в комнате. Он получает сообщения, написанные по-китайски, и должен дать на них подходящий ответ. К счастью, в комнате лежит большая книга правил, в которой оператор может найти лучший ответ абсолютно на любой запрос. Понимает ли оператор, о чем эти сообщения? Очевидно, нет, ведь он не говорит по-китайски. Он лишь имитирует понимание, зачитывая ответы из свода правил. Основной эксепционалистский аргумент заключается в том, что когда LLM отвечают на промпт, они ведут себя подобно оператору «китайской комнаты» — ищут подходящий ответ в своих колоссальных обучающих данных, сами при этом ничего не понимая. Они знают, как ответить, но не знают, о чем эти запросы. Мысленный эксперимент Сёрла породил бесконечные дискуссии. Его часто используют для доказательства того, что критерии машинного интеллекта, основанные на языковом выводе (такие как тест Тьюринга), в корне ошибочны.
Оператор в «китайской комнате» — это попугай. Он повторяет слова, найденные в книге правил, ничуть не постигая их смысла. Многие сочли это убедительной метафорой для LLM. В одной крайне влиятельной работе LLM описываются как «стохастические попугаи», где слово «стохастический» указывает на то, что они кодируют вероятность переходов между словами.[*5] Авторы утверждают, что LLM — это система для «беспорядочного сшивания последовательностей лингвистических форм, почерпнутых из огромного массива обучающих данных, на основе вероятностной информации об их сочетаемости, но без какой-либо привязки к смыслу».
Так неужели LLM — просто попугаи? Если присмотреться повнимательнее, мысленный эксперимент Сёрла уязвим для некоторых весьма каверзных контраргументов. Среди наиболее сокрушительных — так называемое «системное возражение», указывающее на то, что ответы в «китайской комнате» генерируются не одним лишь оператором, а ансамблем из оператора и книги правил. Сёрл хитрым образом скрыл интенциональность системы в книге правил, которая способна ответить на любой из бесконечного числа возможных запросов пользователя и, следовательно, должна быть способна улавливать их смысл. Таким образом, согласно этой логике, LLM все-таки понимают запросы, но их вычисления распределены между двумя модулями: оператор отвечает за ввод и вывод данных, а книга правил берет на себя промежуточные мыслительные процессы. Как мы увидим далее, это разделение труда между модулями говорения и мышления весьма похоже на то, что происходит в человеческом мозге.
Воображаемая книга правил Сёрла содержит таблицу соответствий, которая сопоставляет любую фразу на китайском языке с подходящим ответом. Но, как мы знаем от фон Гумбольдта, язык бесконечно продуктивен — он осуществляет «бесконечное использование конечных средств». Поэтому книга должна была бы быть бесконечно большой, что сделало бы её чтение крайне неудобным. Если же (более реалистично) предположить, что книга правил конечна, то она должна обладать способностью к обобщению — использовать имеющиеся знания для работы с новыми, ранее не встречавшимися запросами. Точно так же корпуса текстов, на которых обучаются LLM, содержат триллионы токенов, но они не бесконечны, поэтому LLM должны уметь отвечать на совершенно неожиданные промпты — как на китайском, так и на любом другом языке. Мы знаем, что они успешно справляются с этим, поскольку во время оценки производительности на бенчмарках исследователи ИИ проводили эксперименты, прочесывая обучающие данные в поисках фрагментов текста, которые могли быть воспроизведены дословно. Время от времени они действительно обнаруживают, что ответы LLM просто скопированы из обучающих данных, словно попугаем, но обычно дело обстоит иначе.
Поэтому, вопреки заявлениям критиков, LLM занимаются вовсе не продвинутой версией копипаста. Эта способность справляться с новыми промптами отличает LLM от студента, зазубрившего ответы к экзамену (которого срежет любой каверзный вопрос), и от хориста, заучившего латинские звуки без понимания их смысла (и потому не способного поддержать вежливую светскую беседу с Папой Римским). Так что, хотя сравнение и выглядит остроумной колкостью, LLM — это не просто «стохастические попугаи». Они похожи на попугаев лишь тем, что все используемые ими слова изначально заимствованы у людей. Но ведь и люди учатся языку у других людей, так что это вряд ли можно назвать фатальным недостатком. LLM способны соединять слова и понятия совершенно новыми, невиданными ранее способами, формулируя сложные ответы на неожиданные запросы. Попугаи — стохастические или любые другие — на это не способны.
Отрицание LLM как простых машин для прогнозирования было бы полностью оправданным, если бы исторические заявления рационалистов о невозможности обучения подтвердились. Но, как назло, сегодня LLM прекрасно справляются со многим из того, что, как им предрекали, они никогда не смогут освоить, — например, со складыванием грамматически правильных предложений и решением логических головоломок. Это вынудило эксепционалистов прибегнуть к запутанному аргументу: даже если LLM неплохо решают задачи на рассуждение, на самом деле они не рассуждают, и вопреки их умению объяснять сложные идеи, они их не понимают. Напротив, люди, демонстрирующие точно такие же успехи, признаются «настоящими». И люди, и LLM могут давать одинаковые ответы, но первые действительно думают и понимают, тогда как вторые используют лишь вычислительный фокус. У людей якобы есть некая неопределенная, невидимая волшебная искра, которая делает их мышление особенным и уникальным.
Вплоть до XIX века было широко распространено убеждение, что живые организмы движимы невидимой жизненной силой или жизненным принципом, действие которого не зависит от обычных физических или химических процессов в теле или мозге. Эта концепция была известна как витализм. Сегодня некоторые аргументы эксепционалистов — включая категорическое отрицание того, что система машинного обучения в принципе способна научиться «думать», — апеллируют к своего рода современной версии этого виталистического взгляда, согласно которой «истинное» человеческое мышление приводится в действие таинственной, еще не обнаруженной силой, отсутствующей у машин (в одной статье ее ехидно окрестили «анобтаниумом»[*6]). Подобно негодующему религиозному отпору революционным идеям Галилея и Дарвина, этот аргумент основан на догме, а не на доказательствах.
Конечно, есть много вещей, которые LLM делать не умеют, и во многих отношениях их мышление не похоже на наше. Они не обладают внутренней мотивацией в виде любопытства к миру, как человеческие дети. Системы их памяти ограничены, а это означает, что после развертывания они не могут сохранять новую информацию. Они пока не способны строить и реализовывать планы в реальном мире. Возможно, по мере развития исследований мы обнаружим какие-то фундаментальные, еще не выявленные ограничения мышления LLM, которые будут триумфально преданы огласке, что в конечном итоге подтвердит правоту тех, кто настаивает, будто все это лишь хайп вокруг ИИ. Но до тех пор нам следует противостоять искушению цепляться за эксепционализм из-за догматической позиции об уникальности или значимости человеческого разума. Нам нужно изучать вычислительные механизмы, которые наделяют LLM их исключительными способностями, и трезво задаваться вопросом о том, в чем они сходятся или расходятся с нашими собственными. Нам следует серьезно рассмотреть возможность того, что большие модели на основе трансформеров способны рассуждать и объяснять, потому что они учатся эмулировать часть вычислений в биологическом мозге, служащих аналогичной цели, а именно тех, которые позволяют нам мыслить словами, понятиями, числами и кодом. Мы должны подвергнуть LLM так называемому «утиному тесту»: если нечто плавает как утка и крякает как утка, то нам следует предположить, что это, скорее всего, утка, а не изобретать заумные аргументы, чтобы объяснить ее поведение как-то иначе.
Пропустить примечания
*1 https://garymarcus.substack.com/p/nonsense-on-stilts. Гэри Маркус провел последнее десятилетие, предсказывая, что из глубоких сетей никогда не выйдет ничего путного, поэтому его мнение не стоит считать абсолютно беспристрастным.
*2 Например: «Базовая LLM “на самом деле” ничего не знает, потому что все, что она делает на фундаментальном уровне, — это прогнозирование последовательностей. Иногда прогнозируемая последовательность принимает форму суждения. Но [...] последовательности слов, имеющие форму суждения, не имеют для самой модели особого значения, в отличие от того, как это происходит у нас. Сама модель, строго говоря, не имеет понятия об истине или лжи, поскольку у нее нет средств для применения этих концепций так, как это делаем мы» (Shanahan, 2022).
*3 Shanahan, 2022.
*4 Searle, 1999.
*5 Bender et al., 2021.
*6 Sahlgren and Carlsson, 2021.