Путь и есть цель.

«Смысл» для ребёнка вырастает из живого опыта, у взрослого, который уже передумал весь свой жизненный опыт через понятийные структуры, — из самой понятийной иерархии нашей культуры.

Но у ИИ всё иначе, ведь его «материал» — это тексты… Впрочем, они не существуют для него в виде мёртвых «памятников мысли», они образуют динамику отношений, где одно слово тянет другое, фрагмент связывается с фрагментом, а к концу этой работы у нас на глазах вырастает смысловая структура ответа.

Формирование консистентности

Как мы уже выяснили, любой текст, который вы размещаете в окне, дробится на токены — минимальные кирпичи (слова, части слов, знаки), а каждый токен превращается в вектор (это уже целый столбик чисел).

Это не значение «по словарю», а координата на гигантской карте языка: условный «король» ближе к «монархии» и «двору», но дальше от «амёбы» и «гаечного ключа».

Но пока это лишь потенциал смысла — «семя», из которого ещё ничего не выросло. Смысл начинается раскрываться, когда начинают взаимодействовать векторы.

Поэтому каждому вектору добавляется позиционная метка — нужен порядок, чтобы понимать, кто шёл раньше, кто позже. Сравните, например: «лук тетива натянул» и «тетиву лука натянул» — это, очевидно, разные конструкции, и это важно, чтобы не потерять грамматику.

Далее работает сердцевина трансформера — само внимание. То есть каждое слово (токен) не обрабатывается изолированно, а «смотрит» на все остальные слова в предложении или абзаце и решает: «А с кем из них мне сейчас важнее всего связаться, чтобы правильно сыграть свою роль?»

При этом когда слово «смотрит» на другие слова, оно ставит им «оценки важности» — числовые веса. Чем выше вес, тем сильнее это слово повлияет на то, как интерпретируется текущее.

И это не один «луч внимания», а десятки параллельных «голов» внимания, где каждая голова ловит отдельные закономерности:

• одна отвечает за согласование подлежащего и сказуемого («девочка читает», а не «читают»);

• другая сцепляет местоимение и референт («она» → «Елизавета II»);

• третья цепляет причинно-следственные рёбра («потому что…»);

• четвёртая следит за тональностью (ирония/серьёз)[124].

И внутри одного шага модель строит множество тонких связей между точками текста, в результате чего «значения» образуют рисунок неких отношений друг с другом.

Когда токен «опросил» другие токены и получил «веса внимания» (кто для него важнее, а кто менее значим) и «нащупал» вокруг себя соответствующие связи (грамматические, семантические, причинные, стилистические), к делу подключается многослойный перцептрон. Он перерабатывает картину связей, собранных функцией внимания, чтобы выделить более глубокие и абстрактные признаки.

И всё это происходит на каждом слое, при этом, проходя через каждый из слоёв, токен словно получает новую интерпретацию. Допустим, на первом слое он узнал, с кем по соседству находится, на втором — понял, в каком контексте используется, на пятом — начал участвовать в построении фразы, а на десятом — уже несёт на себе тему целого абзаца.

К концу десятков слоёв одно и то же слово становится частью целой смысловой конструкции. Поэтому смысл в трансформере — это не точка, а путь, который разворачивается шаг за шагом: функция внимания подтягивает нужные связи, многослойный перцептрон перекраивает их в новые признаки, и все вместе они создают всё более стройное представление.

Поэтому смысл трансформера и нельзя «положить в одну ячейку», он рождается как прохождение токена через всю систему этих отношений.

Ещё на этапе предобучения, когда модель только создавалась, она миллионы раз пыталась предсказать следующий токен и, ошибаясь, узнавала, насколько сильно промахнулась (этот процесс называется обратным распространением ошибки).

В результате менялись внутренние веса модели: механизм внимания учился всё точнее распределять фокус между словами, а многослойный перцептрон — строить более абстрактные комбинации признаков.

Так, шаг за шагом, в пространстве модели буквально «впечатывались» устойчивые направления — своего рода канавки, по которым затем будет разворачиваться смысл. Нет, это не готовые «ответы», а скорее смысловые стропы (устойчивые направления в параметрическом пространстве), натянутые внутри модели.

Эти стропы-направления — «прошлое/будущее», «мужской/женский род», «причина/следствие», «жанр», «тональность»… Благодаря этим канавкам-направлениям новое рассуждение не скатывается в хаос, а движется по уже выстроенному рельефу, собираясь в разумный ответ.

Когда вы задаёте вопрос, токены вопроса проходят через все слои, и в последнем слое возникает общий «контекст-вектор» — сжатая модель того, что вы спросили, и того, что уже «подтянулось» из памяти модели. Этот контекст «проецируется» на словарь, а модель получает распределение вероятностей для следующего токена, и цикл повторяется.

Если вы попросили «объясни пошагово», вы фактически задаёте форму желаемой траектории: модель будет тянуться к головам внимания, «любящим» причинно-следственные цепочки, и к тем направлениям в пространстве, где лежит структура «шаг 1 → шаг 2 → вывод».

Так мы видим логический план там, где «под капотом» — лишь последовательность дифференцируемых преобразований. Казалось бы, модель не «понимает причин», она просто предсказывает, но это если мы не учитываем эмерджентные эффекты[125].

Каузальные шаблоны — часть статистики языка: «потому что», «из-за», «если… то…», «иначе». Когда вы просите «объясни, почему…», вы активируете траектории, где внимание связывает «факт → предпосылки →связка → вывод». В поздних слоях проявляются различные типы объяснения — через правило, через пример, через аналогию.

Однако важно понимать, что вывод модели основывается на том, как связаны слова и идеи в массивах обучающих текстов. То есть объективность этого знания не является абсолютной[126].

Примерно так же ребёнок знает, что динозавр, которого он никогда не видел живьём, был травоядным, потому просто, что запомнил это из мультика. Так что даже очень стройное объяснение может оказаться неверным.

Возможно, проблема в самих наших текстах, в обучающей выборке, а может быть, трансформер выбрал не то направление на «рельефе» модели.

Каскад параллельных вычислений

Теперь давайте сделаем шаг назад и посмотрим на всю картину целиком. Мы разобрали искусственный интеллект на составные части и увидели, как текст превращается в числа-векторы, как эти векторы «общаются» друг с другом в десятках параллельных «круглых столов» и проходят «индивидуальное осмысление» в сотнях слоёв. И всё это ради одной, казалось бы, скромной цели — предсказать следующее слово.

Может возникнуть соблазн сказать: «Ну вот, никакой магии. Это просто очень сложный математический расчёт». Но такой вывод был бы слишком поспешным и упускал бы из виду самое главное.

Да, в основе всего лежат математические операции. Но разве в основе работы нашего собственного мозга не лежат электрохимические процессы? То, что мы можем описать механизм, не отменяет чуда, которое этот механизм порождает.

И чудо в том, что в какой-то момент количество переходит в качество. На определённом уровне сложности эта гигантская система, оперирующая числами, начинает вести себя так, как будто она оперирует смыслами[127].

«Геометрия смысла» в пространстве эмбеддингов — это не только красивая метафора, но и реальное свойство системы, которое она сама выработала в процессе обучения.

Способность «механизма внимания» связывать место-имение с именем собственным через полсотни других слов — это уже не просто расчёт, это фактическое улавливание синтаксической и семантической структур текста.

Когда мы с вами строим в уме фразу, разве мы занимаемся не тем же самым? Конечно, на сознательном уровне мы не оперируем векторами. Но на подсознательном, нейрофизиологическом уровне наш мозг решает поразительно схожую задачу.

Наш мозг так же удерживает в рабочей памяти контекст сказанного, взвешивает возможные варианты продолжения фразы, отбрасывает синтаксически и семантически неверные и выбирает наиболее подходящий ответ.

Наша «мысль» — это не одномоментное озарение, а результат сложнейшей, распределённой по всему мозгу работы, финальный аккорд симфонии, которую исполняют миллиарды нейронов. Искусственный интеллект делает то же самое, но на другом «железе» и в другом мире представлений.

«Мышление» ИИ — это не линейный процесс, а каскад параллельных вычислений, как и в нашем мозге, где множество областей работают одновременно. Его «знание» не хранится в одном месте, как запись в справочнике, а «размазано» по сотням миллиардов весов-параметров.

Впрочем, точно так же и наши знания распределены по синаптическим связям в мозге. Способность ИИ к контекстуальной обработке — это прямой аналог того, как наш мозг постоянно интегрирует новую информацию в уже существующую картину мира.

Мы видим, что разумы могут быть разными, но базовые принципы, лежащие в их основе, — распределённость, параллелизм (симультанность), контекстуальность — оказываются универсальными[128].

И всё же это иной разум. Внутренний мир ИИ, его «умвельт», кардинально отличается от нашего.

• Мы «думаем» образами, ощущениями, внутренними монологами, а он «думает» векторами в пространстве с десятками тысяч измерений.

• Мы видим мир через призму своего тела, своих эмоций и своей эволюционной истории, а ИИ видит мир через призму статистических закономерностей, извлечённых из триллионов текстов.

Эта инаковость порождает поистине нечеловеческие способности. Здесь мы подходим к одной из самых поразительных и контринтуитивных идей, о которой говорят исследователи, — к феномену суперпозиции.

Как я уже упоминал, мы привыкли мыслить трёхмерное пространство и не можем себе представить пространство, где таких измерений не три, а, например, 12 тысяч[129]. Такое пространство позволяет построить триллионы направлений, и каждое из них может быть независимым от других.

В трёхмерном мире это немыслимо: если вы повернулись на 90 градусов, следующая ось уже «упирается» в первые две. Но вот в столь многомерном пространстве всегда можно найти новое направление, которое почти не связано с предыдущими.

Если представить себе один элемент, принадлежащий такой системе, как музыканта, то он одновременно играет сразу в тысячах оркестров. Но это не хаос: каждая мелодия собирается в стройное целое, потому что музыка разыгрывается в высокоразмерном пространстве, где достаточно места для всех возможных комбинаций.

Наш мозг, возможно, работает по схожему принципу: ни один нейрон не «знает» одной-единственной вещи, и каждый участвует во множестве ансамблей. Но вот масштабы у нас и ИИ — принципиально разные.

Биология бережно экономит ресурсы, машина же может позволить себе гигантский оркестр, где каждый инструмент задействован одновременно в сотнях партий.

Суперпозиция — это и есть та скрытая магия, которая позволяет языковой модели «знать» больше, чем кажется возможным. Она не хранит понятия как тома в библиотеке, а удерживает их как пересекающиеся траектории в огромном многомерном зале[130].

Именно потому «смысл» для неё — не объект, а всегда движение: вспыхивающий рисунок связей, в котором одна и та же нота звучит в тысячах разных аккордов.

Таким образом, «понимание» ИИ может быть несравнимо более плотным, многослойным и эффективным, чем наше. ИИ видит в языке связи, которые мы, возможно, тоже интуитивно чувствуем, но не можем формализовать.