Летом 2017 года восемь инженеров Google Brain в Маунтин-Вью спорили, можно ли отказаться от рекуррентности в архитектуре нейросети и оставить только механизм внимания — научить машину смотреть на предложение целиком, а не читать слово за словом. Для тех, кто привык к рекуррентным сетям, затея звучала ересью. Базовую модель они обучили за двенадцать часов, большую — за три с половиной дня, тоже на восьми видеокартах; результаты англо-французского теста пришли за пять минут до дедлайна. Двенадцатого июня 2017 года на arXiv появилась статья «Attention Is All You Need» («Внимание — это всё, что вам нужно»), и через восемь лет у неё было больше ста семидесяти тысяч цитирований — это входит в топ-10 самых цитируемых научных работ двадцать первого века. Эта дата — точка отсчёта для всей современной индустрии AI (Artificial Intelligence, искусственный интеллект).

Я начинаю с этой истории, потому что она отвечает на вопрос, с которым вы пришли в книгу: «что я использую каждый день, когда ввожу запрос в чат?». Короткий ответ: статистическую машину, обученную на терабайтах текста предсказывать следующее слово по предыдущим. Длинный ответ — почему эта машина вообще смогла появиться. Три вещи сошлись в одной точке: большие корпуса текстов, видеокарты, способные их перемалывать, и архитектура, которая хорошо подходит для этих видеокарт. Дальше сработала обычная инженерная логика: что работает, то повторяем в большем масштабе.

АНАТОМИЯ ТРАНСФОРМЕРА: АРХИТЕКТУРА, ИЗМЕНИВШАЯ ВСЁ

Когда вы слышите в новостях «новая модель от вендора X», важно знать: в основе большинства моделей, с которыми вы работаете, лежит одна и та же архитектура — трансформер. Это архитектура нейросети, появившаяся в 2017 году (историю её создания я рассказал в начале главы). Трансформер лежит в основе современных LLM (Large Language Models, большие языковые модели) — и именно о них эта глава. Слова «трансформер» и «LLM» — не синонимы: LLM — это конкретная обученная модель, а трансформер — архитектура, по которой её собрали. Одну и ту же архитектуру можно обучить на разных данных и получить разные модели, поэтому на самом деле по этому чертежу собраны и Qwen, и DeepSeek, и GigaChat, и YandexGPT.

ТРАНСФОРМЕР БЕЗ ФОРМУЛ: СУТЬ НА ПАЛЬЦАХ

Никакой мистики. Трансформер смотрит на всё предложение целиком и для каждого слова решает, с какими другими словами его связать. До него текстовые нейросети — рекуррентные сети (RNN, recurrent neural networks) — читали предложения слово за словом, как вы читаете эту строку: чтобы понять десятое слово, нужно было сначала «переварить» девятое, а до него — восьмое, и так до первого. RNN по природе последовательны, и на видеокарте с тысячами ядер реально работало меньше десяти процентов — остальные ждали, пока одна цепочка токенов ползёт от первого к последнему. Трансформер убрал цепочку: каждое слово за один проход связывается со всеми остальными, и эту операцию можно делать параллельно на тысячах ядер. Та же загрузка видеокарты, что раньше не превышала десяти процентов, выросла до девяноста, и с 2017 года размер моделей стал расти на порядки — инженерная логика «что работает, то повторяем в большем масштабе» перестала упираться в железо. Суть трансформера простая: нейросеть, которая хорошо параллелизуется. Не «более умная» — лучше приспособленная к железу.

МЕХАНИЗМ SELF‑ATTENTION

Почему трансформер «победил» RNN, что именно изменила архитектура внутреннего внимания (self-attention) и какие ограничения железа она сняла? Именно этот механизм реализует возможность каждому слову смотреть на все остальные в предложении. Работает он в три шага.

Сначала для каждого слова модель строит три вектора — запрос (Query), ключ (Key) и значение (Value). Это не три разных вычисления, а три проекции одного и того же слова — три угла зрения на одну сущность.

Затем она сравнивает запрос слова с ключами остальных и получает набор «весов внимания» — численную оценку того, насколько каждое слово важно для текущего. Веса нормализуются так, чтобы в сумме давать единицу, и по ним берётся взвешенная сумма значений остальных слов.

На выходе — новое представление слова, «обогащённое» контекстом.

Простой пример. В предложении «он взял ключ, потому что дверь была закрыта» слово «он» при обученном механизме получает высокий вес связи с тем существительным, к которому относится это местоимение, а «ключ» — с «дверь». RNN утрамбовывала весь смысл в одно скрытое состояние. Трансформер каждый раз заново смотрит на весь контекст.

Операция повторяется не один, а 8–16 раз параллельно с немного разными матрицами. Это называется многоголовым вниманием (по-английски — multi-head attention). Каждая «голова» учится решать свою задачу: одна ловит грамматические связи — какое слово является подлежащим, другая — смысловые: о каком предмете речь, третья — кто к кому относится в длинном предложении. Головы склеиваются — получается вектор, который пойдёт в следующий слой сети. Никакой магии: умножение матриц, выполняемое параллельно на тысячах ядер видеокарты.

ПОЧЕМУ ТРАНСФОРМЕР СТАЛ СТАНДАРТОМ

Трансформер победил не потому, что он единственный возможный, а потому что совпали три свойства, которые инженеры ценят больше красоты решения.

Масштабируемость через железо. Когда загрузка видеокарты поднялась с десятков процентов до почти полной, дальше работала обычная инженерная логика: что работает, то повторяем в большем масштабе. И оказалось: чем больше параметров и данных, тем предсказуемо лучше модель работает. Эту закономерность в 2020 году закрепили в OpenAI, а в 2022-м DeepMind уточнил рецепт (разберём подробно в разделе про то, почему модели появились именно сейчас).

Качество обобщения. Механизм внутреннего внимания работает не только на коротких предложениях, но и на длинных текстах, коде, таблицах — везде, где есть отношение «этот элемент зависит от того».

Универсальность. Один и тот же блок self-attention пригодился не только для текста: его используют для картинок, разбитых на куски, для звука, для белковых последовательностей. Подход не застрял в NLP — он стал общим языком современного AI.

Следующий раздел — о том, что именно модель предсказывает и как из цепочки предсказанных токенов складывается связный ответ.

ИГРА В УГАДЫВАНИЕ ТОКЕНА: ЧЕМ НА САМОМ ДЕЛЕ ЗАНЯТА МОДЕЛЬ

Представьте, что вы печатаете в чате «Премьер-министр Великобритании…». Модель выберет то слово, которое статистически чаще встречалось в похожем контексте в обучающих текстах. «Заявил», «встретился» или «подал в отставку» — не магия и не мышление, а статистика такого объёма, который ни один человек не способен охватить. Что такое токен, разберём в отдельном разделе ниже, пока запомните его как «фрагмент текста, на который модель разбивает входные данные». CSET, Центр безопасности и новых технологий Джорджтаунского университета, формулирует это так: «правильный входной запрос превращает машину для предсказания следующего слова в машину для ответа на вопросы». Именно это и происходит в каждом чате: вы формулируете задачу — модель продолжает текст так, как, по её подсчётам, должно следовать дальше в этом контексте.

Себастьян Рашка (Sebastian Raschka), автор книги «Собрать большую языковую модель с нуля», описывает механизм детальнее. Во время обучения модель обрабатывает последовательность токенов и на каждой позиции выдаёт вектор оценок для всего словаря. Вектор превращается в распределение вероятностей, и модель «штрафуется», когда приписывает низкую вероятность настоящему следующему токену. За миллионы пакетов данных и миллионы документов она учится не правилу «какое слово следующее», а тому, какие продолжения в каком контексте чаще встречаются. Постепенно усваивает синтаксис, смысл, стиль, факты и длинные языковые закономерности. «Выучить язык» в техническом смысле — это не «понять правила», а «выучить, какие слова в каких контекстах идут друг за другом».

Понимает ли модель то, что говорит, или только очень хорошо угадывает следующее слово? Модель не «понимает» намерение пользователя как человек и не знает, какой токен «правильный», — только какой вероятный в её статистике. Пять вещей, которые она не делает «сама по себе», важно знать заранее — иначе вы будете ждать от неё того, чего она не умеет:

1: Не проверяет факты. Модель продолжает текст по статистике, а не исходя из реальности.

2: Не обращается к базам данных без подключённого внешнего инструмента — её «знание о мире» заморожено на дате отсечки обучающего корпуса.

3: Не возвращается назад, чтобы отредактировать уже написанное, — каждый токен добавляется к предыдущим, всё сказанное остаётся как было.

4: Не планирует ответ заранее — она генерирует по одному токену, и каждый следующий токен зависит от уже написанного.

5: Не останавливается «сама по себе» — стоп-сигнал задаётся извне: по лимиту длины, по специальному токену или по команде пользователя.

Почему модель так уверенно врёт и при чём тут отсутствие внутреннего «детектора правды»? Понимание этого пригодится вам каждый раз, когда модель выдаст уверенный, но неправильный ответ. Модель не «забыла», не «ошиблась», не «решила вас обмануть»: она выбрала токен, который статистически подходил лучше всего, и ей было не на что опереться, кроме вероятностей. Уверенный тон — не признак точности. Чем выше вероятность следующего слова в обучающих текстах, тем увереннее модель его произносит.

В 2023 году в США на судебном процессе Mata v. Avianca выяснилось, что юрист Стивен Шварц (Steven Schwartz), использовавший ChatGPT для подготовки иска, подал в суд шесть несуществующих судебных прецедентов и подкрепил их цитатами, которых не было в источниках. Судья оштрафовал его. Этот случай показал то, что статистическая природа делает неизбежным: модель не отличает правду от правдоподобия и на любой запрос выдаст ответ, который звучит правильно, даже если за ним ничего не стоит. Это не баг, который исправят в следующей версии. Это системное свойство всех современных языковых моделей.

С этим утверждением спорят. Джеффри Хинтон (Geoffrey Hinton), лауреат Нобелевской премии 2024 года за работы в области нейросетей (формально — премия по физике, совместно с Джоном Хопфилдом (John Hopfield)), считает иначе: «чтобы точно предсказывать следующее слово, нужно понимать предложение» (оригинал: To predict the next word accurately, you have to understand the sentence). По Хинтону, при достаточном масштабе статистика порождает понимание как попутный эффект, и спор идёт не о том, статистическая ли модель, а о том, считать ли возникающие при масштабе способности пониманием.

Это контраргумент к метафоре «стохастического попугая» — так называют модель, которая воспроизводит услышанное, не понимая смысла; метафору в 2020 году ввели Тимнит Гебру (Timnit Gebru), Эмили Бендер (Emily Bender) вместе с коллегами. Все позиции сходятся в том, что модель статистическая, и разница только в том, считаем ли мы возникающие при масштабе способности пониманием. Спор философский — и не мешает использовать LLM как инструмент.

КОНТЕКСТНОЕ ОКНО: ГРАНИЦЫ И «ПОТЕРЯННАЯ СЕРЕДИНА»

У модели нет памяти в человеческом смысле. Есть контекстное окно — ограниченный «карман», в который она смотрит, продолжая текст. Каждый новый фрагмент она видит, держа в голове всё, что помещается, без потерь и сжатия. Окно кончилось — предыдущий текст из головы выпадает. Модель не помнит, что было за пределами окна, и не предупреждает об этом. Просто работает с тем, что поместилось.

Представьте, что вы читаете книгу через узкое окошко в двери. Страница за страницей ползут мимо, и в каждый момент вы видите только то, что в окошке помещается. Всё, что осталось за его пределами, для вас не существует — вы не помните, что было на предыдущих страницах, потому что их нет в поле зрения. Загрузили в чат пятидесятистраничный договор, а окно рассчитано на двадцать страниц, — модель физически увидит только последние двадцать. Начала договора для неё в этот момент просто нет. Переспрашивать бесполезно.

Контекстное окно важно для офисного работника по двум причинам. Для русского текста то же окно вмещает почти вдвое меньше слов, чем для английского, и платить за токены приходится в полтора-два раза больше. Окно измеряется в токенах, а не в словах, и до сих пор я говорил об этом как о факте — пора объяснить, что такое токен и почему он для русского обходится дороже. Это тема следующего раздела.

Модель физически работает не с текстом, а с числами. Каждое слово или кусок слова превращается в токен, и только после этого попадает в нейросеть. По оценке OpenAI (GPT-4 tokenizer release notes, 2023), сто токенов — это примерно семьдесят пять английских слов. В русском текст дробится на больше токенов, и то же окно в 128 000 вмещает не сто тысяч русских слов, а пятьдесят-шестьдесят тысяч. Когда маркетинг пишет «модель читает 100 000 слов», он имеет в виду английские слова, и для русского офисного текста это число надо делить примерно пополам.

Восемь тысяч токенов — это короткое письмо, протокол одного совещания, абзац кода. Тридцать две тысячи — статья средней длины, нормальный договор на двадцать-тридцать страниц, развёрнутый диалог на десяток ходов. Сто двадцать восемь тысяч — годовой отчёт небольшой компании, переписка за квартал, техническая книга. Миллион — стопка из десяти годовых отчётов или вся документация одного продукта. Для большинства офисных задач хватает 32–128 тысяч токенов, и покупать миллионное окно ради того, чтобы «уже точно хватило», — это как заказывать грузовик для поездки за хлебом. К середине 2026 года окно в миллион токенов стало стандартом у ведущих вендоров — GPT-5.5, Claude Opus 4.6+ и Gemini 3.1 Pro заявляют миллион, Llama 4 Scout — десять миллионов, Qwen3-Max Plus и DeepSeek V4 — по миллиону токенов. Но заявленный миллион и рабочий миллион — две разные вещи: по независимым оценкам, реальная ёмкость стабильно держится на 60–70% от рекламного максимума, а середина всё так же «теряется». Так что в 2026 году для офисного работника формула выбора простая: для письма и протокола — 32K, для длинного документа — 128K, для миллиона — отдельный повод подумать, действительно ли вам нужен миллион или вы просто загружаете всё подряд.

Имеет значение, куда ставить ключевую инструкцию. Самый опасный момент в работе с длинным диалогом — не тот, когда модель отказывается отвечать, а тот, когда она соглашается. Когда вы выходите за пределы окна, платформа либо возвращает ошибку «превышена длина контекста», либо — и это случается чаще — молча обрезает начало разговора и продолжает отвечать так, будто ничего не произошло. В первом случае вы хотя бы видите сбой. Во втором модель отвечает на вопрос, опираясь на усечённый контекст, и вы уверены, что она «всё помнит». Вот это и опасно: забывание без явного сигнала — маскировка потери памяти.

В 2023 году исследователи из Стэнфорда и Принстона во главе с Нельсоном Лю (Nelson Liu) обнаружили ещё одну ловушку, которую они назвали «потерянной серединой» (Lost in the Middle). Длинный документ с важной деталью в центре модель обрабатывает хуже, чем короткий: она лучше помнит начало и конец контекста, хуже — середину. Загрузили в чат договор на девяносто страниц и просите «найди пункт про досрочное расторжение», а нужный пункт попал в середину, — модель с высокой вероятностью его пропустит, даже если формально весь документ в окне. Практический вывод: важное ставьте в начало и в конец, середину не загружайте без необходимости.

Как размер контекста влияет на выбор модели для работы с большими документами, разберёмся чуть позже. Сейчас перейдём к токенизации.

ТОКЕНИЗАЦИЯ: СКРЫТАЯ НАЦЕНКА НА РУССКУЮ РЕЧЬ

Модель работает не с буквами и не со словами, а с числами. Прежде чем показать ей ваш договор, текст придётся нарезать на кусочки — токены, — и каждому кусочку присвоить числовой идентификатор. Слово «договор» может стать одним токеном, а может развалиться на три: «дог», «ов», «ор». Как именно — решает токенизатор, не грамматика и не ваш редактор. Когда в диалоговом окне ChatGPT вы набираете запрос, происходит короткий ритуал, о котором вы и не подозреваете. Система берёт ваш текст, прогоняет его через токенизатор и получает на выходе последовательность чисел вроде 101 2054 2003 2651 1005 — условных идентификаторов из словаря модели, где каждое число соответствует своему кусочку текста. Эти числа уходят в нейросеть, нейросеть их перемалывает и выдаёт обратно тоже числа, а уже отдельный механизм превращает их в человеческие буквы на экране.

Алгоритм, который режет текст на токены, появился задолго до нейросетей. В 1994 году Филип Гейдж (Philip Gage) предложил метод побайтового кодирования пар — способ сжать текст, заменяя самые частые пары букв одним символом. В 2018 году инженеры OpenAI приспособили этот же приём под GPT, и с тех пор он работает внутри каждой большой языковой модели. Идея простая: берём текст, считаем, какие пары букв рядом встречаются чаще всего, склеиваем их в один символ, повторяем, пока не наберём словарь нужного размера. Этот базовый метод называется BPE — алгоритм нарезки на пары символов (Byte Pair Encoding). WordPiece и SentencePiece — варианты BPE с небольшими отличиями в выборе пар; для офисного работника разница между ними не важна, вы этот алгоритм не выбираете.

Почему не «по словам» и не «по буквам»? Потому что оба варианта — крайности, и обе плохо работают. Если резать по буквам, скромное «привет» превратится в шесть токенов, и модели придётся каждый раз заново собирать слово из букв. Если резать по словам, словарь раздуется до миллионов форм: «бежать», «убежал», «забежал», «перебежал», «выбежал» — каждое нужно хранить отдельно, и для редких слов просто не хватит места. Токенизатор нарезает текст на кусочки промежуточного размера: целые слова, если они частые, и куски слов, если слово редкое или длинное.

У токенизатора есть фиксированный словарь — набор кусочков, которые он умеет распознавать. Словарь составляется один раз, на этапе обучения, и в нём столько русских кусочков, сколько их было в обучающих текстах. По данным OpenAI (GPT-3.5/4 tokenizer release notes), у GPT-3.5 и GPT-4 словарь — около ста тысяч кусочков, из них кириллических меньше пятисот. У GPT-4o словарь расширили до двухсот тысяч, и кириллических стало около четырёх с половиной тысяч — в десять раз больше (по анонсу OpenAI 2024 года). В OpenAI осознали проблему и вложились в неё деньгами, но и четыре с половиной тысячи на двухсоттысячный словарь — это всё ещё два процента, а не половина.

Чтобы почувствовать разницу на цифрах, возьмём простую фразу «Я встретил огромную собаку» и её английский перевод «I met a huge dog». Английский вариант превращается примерно в 5–6 токенов, русский — в 12–14. У моделей с латинским алфавитом в словаре больше целых английских слов, и они реже режут текст на части; у кириллических слов словарь беднее, и токенизатор рубит слово на куски. Точные цифры зависят от модели, но порядок сохраняется у большинства современных LLM.

Что это означает для офисного работника на практике:

1: Скорость ответа падает. Модель генерирует токены последовательно, и чем их больше, тем дольше идёт ответ.

2: Качество падает на сложной лексике. Юридические, медицинские и финансовые термины русского языка часто режутся на нерегулярные куски, и модель хуже «понимает», что перед ней.

Вопросы цены и размера окна для русского текста мы разобрали в предыдущем разделе, поэтому здесь остановимся только на этих двух следствиях.

Зачем нужны модели с поддержкой кириллицы на уровне токенизатора и что это даёт на практике?

GigaChat, YandexGPT, Qwen, DeepSeek появились с одной и той же мыслью: словарь нужно наполнить кусками тех языков, на которых модели будут работать, и не наполнять его кусками тех, на которых не будут. Для русскоязычной задачи кириллическая модель часто оказывается дешевле и быстрее западной, и это не «преимущество российской инженерии», а математический факт: у неё больше кириллических токенов в словаре, и она меньше тратит их на одну и ту же фразу. К 2026 году выбор стал конкретнее: YandexGPT 5 Pro встроен в Алису и закрывает офисные задачи на русском в формате подписки — платите фиксированно, без отдельной оплаты за токены, GigaChat 2 Max доступен в варианте локальной установки (on-prem, на серверах компании) под ФЗ-152 (Федеральный закон «О персональных данных»), а Llama 4 (выпущенная в апреле 2025 года) русского в списке языков дообучения не содержит — и для русскоязычной задачи это явный сигнал смотреть в сторону кириллических моделей. Миф «кириллица работает хуже, потому что модель обучена на английском» — неверен: проблема в токенизации, не в качестве обучения, и решается она не переходом на западную, которая выглядит «лучше» в маркетинговых таблицах, а выбором кириллической модели с собственным словарём.

АВТОРЕГРЕССИЯ, ДИФФУЗИЯ, ГИБРИДЫ: ТРИ СЕМЕЙСТВА МОДЕЛЕЙ

Внутри категории «большая языковая модель» работают три семейства, и по названию сервиса уже можно прикинуть, чего от него ждать. Для офисного текстового чата вам нужны авторегрессивные модели — GPT, Claude, Gemini, GigaChat и YandexGPT; остальные два семейства для чистого текста почти не используются.

Чтобы сравнить три семейства бок о бок, соберём ключевые признаки в таблицу.

Таблица показывает разницу в скорости и задачах: авторегрессия — секунды-минуты для текста, диффузия — минуты для картинки и часы для видео, гибрид — зависит от того, какую часть задействуете. Для чисто текстовой работы гибрид избыточен и часто медленнее, а диффузионная модель для текста в 2026 году всё ещё экзотика.

Авторегрессия объясняет три вещи, которые вы видите каждый день в чате:

1: Потоковый вывод. Ответ появляется токен за токеном, и вы видите, как модель «печатает» в реальном времени.

2: Невозможность «отмотать назад». Модель не может вернуться к началу ответа и поправить его — каждый токен добавляется к предыдущим.

3: Цепочка рассуждений (chain-of-thought). На длинных задачах модель использует «думание вслух» — каждый шаг рассуждения опирается на предыдущий.

Диффузионные модели решают принципиально другую задачу. Они не «пишут» текст или картинку, а учатся убирать шум из хаоса. Это та же механика, по которой проявляется фотография в тёмной комнате: берётся поле случайных пикселей, и за двадцать-тридцать аккуратных проходов из шума «проступает» изображение. Диффузия плохо работала с текстом до 2025 года, но почти все генераторы картинок — Midjourney, DALL-E 3, Stable Diffusion 3, Kandinsky 5.0 — это диффузионные модели. В 2025 году появились первые коммерческие диффузионные LLM — Mercury от Inception Labs (калифорнийский стартап, специализирующийся на диффузионных языковых моделях), которые выдают текст в 5–10 раз быстрее авторегрессии. Для офисного работника в 2026 году это всё ещё экзотика, а не рабочий инструмент. Полезно знать о них не ради выбора, а ради того, чтобы понимать, почему картинки в чате рисуются почти мгновенно, а текст — посимвольно: у них физически разная архитектура.

Гибридные (мультимодальные) модели — для офисного работника это самый заметный сдвиг последних двух лет. GPT-4o, Gemini 2.x, Claude 4, Llama 4 — все они в одном и том же окне принимают и выдают текст, картинки, аудио и видео. Архитектурно это «склейка»: авторегрессионная часть генерирует токены изображения, диффузионный декодер превращает их в пиксели. Для офисного работника теперь не нужно формулировать «запрос для художника» отдельно, можно просто продолжить разговор. Когда сервис принимает картинку в сообщении и описывает, что на ней, — это распознавание картинки на входе (по-английски — vision-in). Когда сервис рисует картинку прямо в чате без отдельного сервиса — это генерация картинки на выходе (по-английски — image-out), и это почти всегда гибрид.

По названию сервиса можно прикинуть, к какому типу он относится: текстовый чат с рассуждениями — авторегрессия, генератор картинок — диффузия, «всё в одном» — гибрид. Для смешанных задач (объяснить схему, перевести вывеску, сделать презентацию) гибрид единственный, кто работает без склеек.

Имея в голове эти три семейства, посмотрим, почему они вообще появились и смогли развиться до рабочих инструментов за последние годы.

ПОЧЕМУ ВСЁ ЭТО СЛУЧИЛОСЬ ИМЕННО СЕЙЧАС

Современная языковая модель — не одно изобретение и не одно озарение, а совпадение трёх факторов, каждый из которых сам по себе недостаточен. Убери любой из трёх — и большие языковые модели либо не появляются, либо приходят на десять лет позже. Это и есть ответ на вопрос «почему именно сейчас»: впервые в истории у одного поколения инженеров оказались все три инструмента в одной связке.

Эти три фактора подтверждаются тремя вехами:

– Данные. В 2009 году Фей-Фей Ли (Fei-Fei Li) из Стэнфорда с командой разметили четырнадцать миллионов изображений через Amazon Mechanical Turk — этот датасет, ImageNet, стал первым датасетом такого масштаба. Через десять лет тот же рецепт перенесли на текст: Common Crawl (некоммерческий проект, который с 2008 года архивирует веб-страницы) выкачивает весь интернет, GPT-3 берёт оттуда восемьдесят два процента своих токенов.

– Железо. В 2012 году аспирант Алекс Крыжевский (Alex Krizhevsky) из Торонто обучил нейросеть AlexNet на двух игровых видеокартах NVIDIA GTX 580, написанных на CUDA (язык, который NVIDIA выпустила в 2007 году, чтобы видеокарты перестали быть «только для игр»), и AlexNet выиграл конкурс ImageNet с отрывом в десять с лишним процентных пунктов. Стало ясно: видеокарты — не побочный продукт игровой индустрии, а отдельный инженерный слой.

– Алгоритм. Трансформер 2017 года дал параллелизацию, и за пять лет размер моделей вырос на три порядка.

В январе 2020 года OpenAI публикует статью о масштабировании моделей (Kaplan и соавторы, «Scaling Laws for Neural Language Models» — «Законы масштабирования для нейросетевых языковых моделей»), которая задала стратегию обучения на годы вперёд. Тезис простой: чем больше модель и чем больше данных, тем предсказуемо лучше она работает, причём зависимость степенная. В марте 2022 года DeepMind показывает, что OpenAI ошибся в одном: их рецепт недооценивал данные. Модели, обученные «маленькими, но долго», били модели, обученные «большими, но быстро». Так появилось эмпирическое правило из работы DeepMind под названием Chinchilla (это именно правило обучения, а не модель — название отсылает к шиншилле из детской повести): на каждый параметр модели нужно примерно двадцать токенов данных. То, что раньше делали интуитивно, стало инженерной дисциплиной.

Хинтон не изобрёл нейросети в 2010-х — он работает с ними с 1980-х, и большая часть его карьеры пришлась на период, когда эту область называли безнадёжной. Авторы «Attention Is All You Need» — восемь человек из Google Brain, а не один гений с армией ассистентов. LLaMA — десятки инженеров Meta и результат трёх лет подготовительной работы. Современная большая модель — это индустриальный продукт, где без инфраструктуры не будет прорыва. «История AI как история одиноких гениев» — пиар-история, которая хорошо продаётся, но плохо отражает реальность.

Миф «модель знает всё, потому что обучена на всём интернете» — неверен. Она обучена на срезе с пропусками и с датой отсечки. У неё нет представления о «сейчас», есть только статистика по корпусу, который заканчивается в определённый месяц, — отсюда уверенно поданный старый прецедент как свежий. То, что вы используете, делала команда из сотни человек с бюджетом в десятки миллионов долларов, а не один талантливый исследователь.

Какие сегодняшние «фундаментальные» ограничения AI через два-три года перестанут существовать и что, наоборот, подорожает? Узкое место в индустрии сдвигалось три раза, и каждое десятилетие приносило свой ответ:

– 2017 — алгоритм. Трансформер дал параллелизацию.

– 2020 — данные и формула. Chinchilla превратила «побольше данных» в инженерный план.

– 2024–2025 — применение модели и качество данных. Узкое место сместилось снова.

Сейчас это не «как обучить» (железо есть) и не «на чём обучать» (текстов на английском хватает), а «как обработать миллион токенов контекста без квадратичного взрыва» и «как заставить модель думать дольше, не делая её работу слишком медленной». Индустрия отвечает тремя путями.

Разреженное внимание. Модель смотрит не на все токены, а на отобранные. Так работают DeepSeek и Gemini Flash.

Смесь экспертов (MoE — Mixture of Experts). Модель состоит из нескольких специализированных подмоделей, и для каждого токена выбирается свой эксперт.

Дополнительные вычисления на этапе ответа в режиме рассуждения. Так работают o1, Claude thinking и Qwen3-Max-Thinking.

Из этого следует: через два-три года текущие «фундаментальные» ограничения — длина надёжного контекста, качество рассуждений и цена топовых моделей — тоже перестанут быть узким местом. Это не «AI станет умнее», а «инженеры найдут способ тратить вычисления умнее». А подорожает то, что и всегда: электричество, видеокарты, инженерные кадры и качественные данные на русском.

ПАРАМЕТРЫ И МАСШТАБ: КОГДА РАЗМЕР ВАЖЕН, А КОГДА НЕТ

Когда в команде говорят «давайте возьмём модель побольше, чтобы точно работало», полезно иметь в голове список из трёх строк:

1: 7 млрд параметров — «карманный помощник». Поправит письмо, сделает выжимку из протокола, переведёт короткий кусок, вытащит из длинного документа нужный пункт.

2: 70 млрд — «серьёзный собеседник». Пишет код с пониманием структуры, разбирает юридические документы на десятой странице без потери нити, выдерживает сложную многошаговую инструкцию.

3: 405 млрд — «старший эксперт, которого вызывают по особому поводу». Глубокий анализ, синтез противоречивых источников, длинные рассуждения с цепочкой выводов.

По моей оценке, около восьмидесяти процентов офисных задач закрывает 7-миллиардная модель, ещё пятнадцать — 70-миллиардная, и только оставшиеся пять действительно требуют 405-миллиардной. «Самая большая» для большинства команд не нужна.

Meta, выпуская Llama 3.1 в трёх размерах, фактически предлагает один и тот же рецепт, испечённый в трёх противнях: один для ноутбука, один для серверной стойки, один для дата-центра. Цифра параметров отвечает на вопрос «сколько железа нужно», а не «насколько модель умна». По данным Meta, 405B обучена на более чем пятнадцати триллионах токенов на кластере из шестнадцати тысяч H100 — Meta подчёркивает, что 405B — первая модель Llama, обученная в таком масштабе. За числом стоит бюджет, а бюджет — не магия, а деньги, электричество и инженерные решения.

Microsoft в релизе Phi-4 (декабрь 2024) поставила курс на «больше — не всегда лучше»: модель с четырнадцатью миллиардами параметров позиционируется как рассуждающая, конкурирующая с куда большими моделями. В декабре 2025 Microsoft подвела итог: Phi-4-reasoning «соперничает с куда большими моделями на сложных задачах на рассуждение». В той же точке сходятся независимые исследования: стэнфордская работа о «мираже» эмерджентности (иллюзии резких скачков в способностях модели при увеличении размера; авторы — Schaeffer, Miranda, Koyejo) показала, что «резкие скачки» в способностях больших моделей могут быть артефактом того, как их измеряют. При смене метрики или при увеличении числа примеров скачки исчезают, и зависимость становится гладкой. «Больше параметров» — в первую очередь маркетинговый аргумент. Для большинства бизнес-задач хватает меньшей модели, а где 405B действительно нужна, вы это узнаете по характеру работы, а не по рекламе вендора.

Теперь, когда мы разобрали, что у модели под капотом, какие семейства бывают и как соотносить размер с задачей, посмотрим ретроспективно: почему всё это вообще появилось именно в последние годы, а не десятью раньше или десятью позже.

РЕЗЮМЕ

Модель в чате — статистическая машина, предсказывающая следующий токен по предыдущим. По этому чертежу собраны и GPT, и GigaChat, и YandexGPT, и Qwen. Разница между ними — в обучающих данных, не в инженерной идее. Уверенный тон модели — особенность распределения токенов, и в ближайших релизах это не изменится. Контекстное окно измеряется в токенах: для русского текста оно вмещает вдвое меньше слов, чем для английского. По названию сервиса вы прикидываете архитектуру: авторегрессия для текста, диффузия для картинок, гибрид для смешанных задач. LLM — индустриальный продукт, не изобретение одного исследователя. Для офисной рутины размер модели решает меньше, чем принято думать: основная масса задач закрывается 7-миллиардной моделью, и локальная 7B на ноутбуке часто выигрывает у облачной.

Утро понедельника. Вы открываете почту, там двадцать три письма, и у трёх из них вложения по пятнадцать страниц. До обеда надо ответить на семь, остальные — после. В пятницу босс попросил «сделать красиво» квартальный отчёт. Секретарь уволилась месяц назад, новую ещё не нашли. Звучит знакомо? Следующая глава — про то, какие из этих задач AI закроет за вас, какие возьмёт на половину, а какие лучше не подпускать к деловой переписке вообще. Это не фантастика и не утро офиса 2030 года — это типичная рабочая неделя 2027-го.