Любая достаточно развитая технология неотличима от магии.

Глубокие нейронные сети показали, что они способны учиться, но оставался вопрос взаимодействия… Так начался поиск разума, способного следовать инструкциям и оперировать в открытом, непредсказуемом мире. И этот прорыв стал возможен благодаря трём ключевым инновациям, каждая из которых, по сути, стала шагом к воспроизведению критически важных функций человеческого познания.

1. Трансформеры: «рабочая память» и контекст

Нейросети обрабатывали текст последовательно, слово за словом, и потому с трудом удерживали контекст. То есть к концу абзаца модель уже «забывала», о чём шла речь в его начале. Именно с этой проблемой справилась архитектура трансформера, представленная исследователями Google в 2017 году[151].

Гениальность трансформера, как мы уже с вами знаем, состоит в «механизме внимания»: вместо последовательности слов трансформер мог «видеть» сразу все слова в тексте одновременно. И это, по сути, аналог человеческой рабочей памяти, благодаря которой мы способны к пониманию сложных контекстов.

Впервые машина научилась не просто обрабатывать слова, но строить богатое, динамическое представление о связях между ними в конкретной ситуации.

2. «Воспитание» машины

Ранние трансформеры (такие, например, как GPT–2) были потрясающими, но в некотором смысле «дикими». Обученные на огромных массивах данных из интернета, они могли и сгенерировать блестящее эссе, и создать токсичный или просто бессмысленный текст.

Решение пришло в виде двухэтапного обучения, похожего на человеческое воспитание. Сначала модель проходит «общее образование» на гигантских массивах текстов, а затем она отправляется в «школу хороших манер» — проходит «инструктивную настройку» и «обучение с подкреплением на основе обратной связи от человека» (RLHF)[152].

Процесс RLHF, в сущности, не является каким-то суперсложным: машине даётся запрос, она генерирует несколько вариантов ответа, а человек-оценщик выбирает лучший из них. Этот выбор служит «наградой», сигналом подкрепления, который корректирует поведение модели в соответствующем направлении.

Миллионы таких циклов «обучают» модель не только продолжать текст, а следовать при этом инструкциям: быть вежливой, избегать вредных тем — по сути, усваивать неявные социальные нормы, заложенные в предпочтениях оценщиков. Мы начали не просто учить машину языку, мы начали её «воспитывать», прививая ей желаемое нами поведение.

3. Обучение рассуждению

Впрочем, даже «воспитанные» модели часто терпели неудачу в задачах, требующих многошаговых рассуждений. Например, при решении математических задач они пытались «угадать» ответ, подобно человеку, решающему сложное уравнение в уме, и, разумеется, часто ошибались.

Проблема снова была преодолена компанией Google, о чём она и поведала миру в 2022 году. Исследователи обнаружили, что если просто попросить модель «думать по шагам», её производительность резко возрастает[153].

Представим себе задачку из школьного учебника по математике: «Если у фермера 5 корзин по 10 яблок в каждой и он продал 3 корзины, сколько яблок у него осталось?» Если модель рискнёт ответить сразу, она легко запутается. Поэтому ей предложили действовать последовательно:

• сначала посчитаем общее количество яблок (5 корзин по 10 яблок — это 50);

• затем посчитаем, сколько яблок было продано (3 корзины по 10 яблок — это 30);

• теперь вычтем проданные из общего количества (50 − 30 = 20).

В общем, перед нами искусственный аналог психологической интроспекции и последовательного логического вывода: заставляя машину «проговаривать» свои шаги, исследователи стабилизировали её мыслительный процесс и позволили ей решать гораздо более сложные задачи.

Таким образом, третья волна привела нас к созданию систем, которые имитируют полный цикл разумного действия:

• память — гигантский объём знаний, сохранённый в параметрах модели;

• представление — способность трансформера строить сложную, контекстуальную модель запроса;

• цель — инструкция, которую получает модель;

• действие — план, код или текст, выстроенный с помощью «цепочки мыслей».

В результате мы получили мощный разум, способный решать сложнейшие задачи. Вроде бы теперь все самые смелые фантазии должны реализоваться! Но, как это обычно бывает: когда мы достигли дна — снизу постучали…