LLM построены как нейронные сети, но насколько они похожи на нейросетевые модели человеческого мозга? В частности, схоже ли их «мышление» с процессами, которые происходят в нашем мозге? На наш взгляд, мыслительные процессы в LLM в чем-то напоминают человеческие, а в чем-то отличаются.

Начнем с ключевых сходств. Как мы показывали на протяжении всей книги, мышление человека возникает из опыта и опирается на активацию простых вычислительных элементов, связи между этими элементами (сила которых меняется в процессе обучения) и распределенные представления. LLM используют те же базовые принципы. Подобно тому как человеческая мысль возникает как эмерджентное свойство распределенного интерактивного процесса активации в биологической нейронной сети, возможности LLM являются эмерджентным следствием аналогичного процесса в искусственной нейронной сети.

Способности этих моделей выполнять широкий спектр задач эмерджентны в том смысле, что возникают исключительно в результате настройки связей для повышения точности единственной задачи – предсказания следующего слова. При всей простоте и механистичности этого процесса он позволяет моделям реагировать на языковые запросы поразительно человечным образом. Они справляются с множеством задач без специального программирования для каждой из них, часто достигают уровня человеческих когнитивных способностей или превосходят его и демонстрируют характерные для людей успехи и промахи (подробнее об этом в главе 10).

Так что да, «мышление» LLM действительно имеет важные общие черты с человеческим мышлением.

Это наблюдение влечет за собой важные выводы. Оно ставит под сомнение устоявшееся представление о том, что человеческий мозг нуждается в особом, специализированном механизме – некоторые называли его механизмом символьной обработки – для обеспечения наших высших когнитивных способностей. Вместо этого стоит рассмотреть возможность того, что для возникновения продвинутых когнитивных способностей решающее значение имеет сочетание обширного опыта и масштаба – при наличии правильной универсальной архитектуры.

И действительно, по мере увеличения масштаба языковых моделей – с ростом числа блоков трансформеров, количества весов связей в каждом блоке и размера контекстных окон для сохранения предшествующего контекста – они все эффективнее используют растущие объемы обучающих данных и становятся все более искусными. При этом начинают проявляться способности, которых не было при меньших масштабах.

На рисунке 8.3 представлена типичная закономерность, которую демонстрируют модели ИИ при решении различных задач. В таких областях, как арифметика, восстановление слов из перемешанных букв, правильные ответы на вопросы, многоязычное понимание, многозадачные рассуждения, семантический анализ, а также задачи, требующие цепочек рассуждений или следования инструкциям, проявляются эмерджентные способности. Производительность переходит от случайного угадывания к компетентному выполнению, как только модели достигают критического масштаба. В ходе эволюции человека наибольшему расширению подверглись именно те области мозга, которые располагаются между системами сенсорного восприятия и моторного управления. Это согласуется с представлением о том, что наше преимущество хотя бы отчасти объясняется простым увеличением масштаба.

Рисунок 8.3. Эмерджентные способности возникают при увеличении масштаба систем ИИ. Пунктирная линия обозначает пороговое значение масштаба, при котором модель переходит от случайных результатов к значительно улучшенной производительности в сложных задачах. Эта закономерность наблюдается в различных типах задач и демонстрирует, как масштабирование открывает новые возможности

Однако между людьми и системами ИИ существуют и глубокие различия. Во-первых, мы не обладаем длинными контекстными окнами, охватывающими в некоторых случаях миллионы слов предшествующего текста. Мы способны с достаточной точностью удерживать в памяти лишь четыре-семь не связанных между собой элементов. Как именно люди столь эффективно используют контекст – загадка наших собственных способностей, которую мы пока не разгадали полностью. Впрочем, как будет показано в главе 11, наш мозг содержит специализированную систему быстрого обучения, которая может играть здесь важную роль.

Другое существенное отличие заключается в том, что LLM обучаются на объеме текста примерно в 100 000 раз большем, чем человек способен обработать за всю жизнь. Люди каким-то образом осваивают язык при гораздо меньшем объеме входных данных. В чем источник этого важного человеческого преимущества? Один из ключевых факторов – наш доступ к информации из множества источников помимо языка: зрение, слух, обоняние, осязание, а также последствия наших действий, которые мы воспринимаем через органы чувств. LLM же опираются исключительно на текстовые данные. Кроме того, человеческое обучение часто целенаправленно – мы выбираем, чему учиться, тогда как эти модели пассивно усваивают последовательности слов из текстов. Наконец, сам механизм обучения нашего мозга может быть принципиально эффективнее, чем у искусственных нейронных сетей, причем природа этой эффективности нам пока неясна.

Нам представляется вполне вероятным, что эмерджентные машины будущего смогут воспроизвести эти человеческие преимущества. Уже сейчас нейронные сети объединяют визуальные и лингвистические каналы обработки информации, извлекая пользу из мультимодальных входных данных. И хотя предсказание следующего слова остается основным механизмом обучения, некоторые команды разработчиков ИИ создают нейросетевые системы, помещенные в виртуальные среды. Такие системы способны учиться достигать целей, которые поставлены их создателями (подробнее о том, как цели влияют на людей и, возможно, машины, мы поговорим в главе 10). Вероятно также, что существующие архитектуры нейросетей будут совершенствоваться и дальше. Изобретение механизма внимания стало неожиданным прорывом, и, вполне возможно, нас ждут новые открытия подобного масштаба. Наконец, алгоритм обучения с исправлением ошибок, используемый современными системами ИИ, при всей своей успешности может уступать в эффективности алгоритмам обучения биологического мозга. К рассмотрению алгоритмов обучения в мозге и машинах мы обратимся в следующей главе.

Итак, LLM уже сегодня перенимают некоторые аспекты человеческого мышления, а в будущем будут копировать его еще лучше. Важно подчеркнуть: мы твердо придерживаемся фундаментального принципа, согласно которому мыслительные процессы и в людях, и в LLM можно понять как физические процессы. На наш взгляд, ни естественный, ни искусственный интеллект не нуждается в капле невыразимой магии или некой духовной субстанции. И те и другие процессы разворачиваются в нейронной сети и являются глубоко эмерджентными во многих смыслах этого слова. Они возникают из взаимодействия нейронов, из опыта, направляющего процесс обучения, и из масштаба задействованных нейронных сетей.