В шокирующем открытии, учёный обнаружил стадо единорогов в отдалённой, прежде не исследованной долине в горах Анд.
14 февраля 2019 года, в день влюблённых, OpenAI опубликовала на своём блоге пост, который должен был быть скромной академической заметкой, но получился чем-то совершенно иным. У поста было два названия: внутреннее, скучное, для специалистов — «Языковые модели — это неуправляемые многозадачные обучающиеся». И внешнее, ставшее заголовком новостных публикаций по всему миру: Better Language Models and Their Implications.
Внутри поста описывалась новая модель. Она называлась GPT-2 и представляла собой ту же архитектуру, что и GPT-1, только увеличенную примерно в десять раз. Один миллиард пятьсот миллионов параметров против ста семнадцати миллионов. Сорок гигабайт текста для обучения против одного. Сорок восемь слоёв трансформера против двенадцати.
Так выглядели технические детали. Но всё, ради чего читали тот февральский пост, было не в цифрах. Это было в нескольких примерах сгенерированного текста, которые OpenAI поместила прямо в тело публикации.
В первом примере исследователи дали модели промпт — короткий начальный текст, написанный человеком: в шокирующем открытии, учёный обнаружил стадо единорогов в отдалённой, прежде не исследованной долине в горах Анд. Они нажали кнопку. Модель самостоятельно продолжила текст.
Она написала, что более удивительным для исследователей оказалось то, что эти единороги говорили на превосходном английском языке. Она придумала имя ведущего учёного: Хорхе Перес, эволюционный биолог из университета Ла-Паса. Она сочинила правдоподобные детали экспедиции: трёхдневный пеший маршрут, поднявшиеся на высокогорье, неожиданная встреча. Она встроила в текст связные размышления о возможном происхождении этих животных. Получился связный, грамматически безупречный, стилистически выдержанный газетный репортаж — кроме той маленькой детали, что он был про говорящих единорогов и был полной выдумкой машины.
Прочитав этот пример, многие читатели блога OpenAI в феврале 2019 года испытали то же чувство, которое в ноябре 2022 года испытает в гораздо большем масштабе остальной мир. Это была не подсказка следующего слова. Это была не статистическая забава. Это было что-то такое, что страшно было назвать своим именем.
Алек Радфорд, ведущий автор GPT-2, по позднейшим словам коллег, был удивлён не меньше, чем читатели его статьи. Он провёл с моделью несколько недель индивидуально, экспериментировал, давал ей разные промпты, читал ответы. Модель оказалась способной не только продолжать тексты в любом жанре — от газетных до научных и сказочных, — но и делать вещи, ради которых её специально никто не обучал.
Если дать ей фрагмент английского текста и подставить в конце фразу Перевод на французский:, она выдавала французский перевод — не идеальный, но в основном грамматически правильный. Если дать ей вопрос и попросить ответить, она часто отвечала — иногда верно, иногда нет. Если дать абзац из новостной статьи и попросить кратко изложить, она вполне сносно выдавала краткое содержание.
Ни одно из этих умений в неё не закладывали явным образом. Она научилась им сама, просто читая сорок гигабайт текста с веб-страниц, на которые ссылались reddit-юзеры, и пытаясь угадать следующее слово.
Алек назвал это явление, в духе физических аналогий, эмерджентным многозадачным обучением. То есть: модель, обученная одной задаче (угадывать следующее слово), оказалась способной на много задач сразу, причём способности эти возникли как бы сами собой, в процессе обучения, без явных инструкций.
Это было поразительно. И это было ровно то, чего Илья Суцкевер ждал со времён аспирантуры. Гипотеза о том, что нейронные сети, достаточно увеличенные в размере и обученные на достаточном объёме данных, начнут выказывать новые качественные способности, на GPT-2 впервые получила публичное подтверждение применительно к языку.
В январе 2019 года, когда модель была полностью обучена и команда писала статью, внутри OpenAI состоялась серия дискуссий. Тема была неприятная: что делать с тем фактом, что эта модель может писать связные тексты, неотличимые от человеческих?
Несколько руководителей высказали опасение. Что если, спрашивали они, кто-нибудь возьмёт нашу модель и начнёт массово производить фейковые новости? Что если её используют для автоматизации спама? Для фишинговых писем? Для пропагандистских материалов? Сейчас публикация нейросетевых моделей подразумевала открытие весов в свободном доступе: любой исследователь мог скачать модель и использовать её. У GPT-1 это была разумная норма; для GPT-2, способной писать газетные статьи, это уже выглядело тревожнее.
В результате внутренних дискуссий было принято решение, на тот момент в индустрии беспрецедентное. Команда опубликует статью с описанием архитектуры и результатами. Но саму модель — самые большие веса — пока не выложит. Вместо этого OpenAI запустит так называемый staged release, поэтапный релиз: сначала будет открыта маленькая версия (сто двадцать четыре миллиона параметров), потом — средняя (триста пятьдесят пять миллионов), потом — большая (семьсот семьдесят четыре миллиона), и только в самом конце, через несколько месяцев, если за это время не появится свидетельств массового злоупотребления, — полная версия с 1,5 миллиарда параметров.
Это решение в академическом сообществе было воспринято со смесью одобрения, удивления и негодования.
Одобряющие говорили: наконец-то лаборатория искусственного интеллекта берёт на себя ответственность за свои разработки и подходит к публикации с осторожностью.
Удивлённые отмечали, что прецедента такого ещё не было. Все большие модели — BERT, ELMo, оригинальный Transformer — выкладывались целиком, с весами, и никто из их разработчиков не делал заявлений об опасности.
Негодующие, и их было больше всего, считали происходящее пиар-кампанией. По их мнению, OpenAI намеренно нагнетал страхи вокруг своей модели, чтобы привлечь внимание. Действительно, говорили они, если бы модель была настолько опасной, как утверждается, разумнее было бы её вообще не публиковать; а если она опасна не настолько, нет смысла поднимать столько шуму. Сам факт того, что OpenAI выбрал промежуточный, «театральный» вариант, наводил критиков на мысль, что главное здесь — не безопасность, а самореклама.
Среди особенно резких критиков был Зак Липтон, тогда профессор в Карнеги-Меллон. Он публично написал, что заявление OpenAI создаёт прецедент злоупотребления нарративом об «опасном ИИ»; что любой стартап теперь сможет утверждать, что у него есть модель, слишком опасная для публикации; и что научному сообществу пора отделять реальные проблемы безопасности от маркетинговых упражнений.
OpenAI на критику не реагировала громко. Альтман и Брокман в публичных выступлениях говорили, что они понимают сомнения, но считают важным проявить осторожность. Они выпустили среднюю версию модели в мае 2019 года, большую — в августе, полную — в ноябре. К моменту выпуска полной версии все опасения, которые можно было разумно сформулировать, должны были к этому моменту проявиться. Они не проявились. Никаких массовых злоупотреблений GPT-2 за прошедший год не возникло.
В ретроспективе можно по-разному оценивать всю эту историю. С одной стороны, OpenAI создала прецедент: лаборатории искусственного интеллекта могут и должны задумываться об ответственности за свои модели. С другой стороны, сам staged release ничего особенного не предотвратил, потому что предотвращать в общем-то было нечего; настоящие риски от больших языковых моделей появятся, и в полный рост, гораздо позже, и совсем не в том виде, в каком их описывали в феврале 2019 года.
Внутри самой OpenAI 2019 год прошёл в напряжении.
Снаружи всё выглядело красиво. В июле Microsoft объявил о партнёрстве с OpenAI и вложил миллиард долларов в виде денег и облачных вычислительных ресурсов. На бумаге это решало финансовые проблемы; новые серверные мощности позволили команде Алека начать готовить следующую, ещё большую модель.
Внутри организация переживала важный сдвиг. Сэм Альтман перешёл из Y Combinator в OpenAI на полную ставку. Структура была перестроена: появилась дочерняя компания OpenAI LP, через которую теперь можно было привлекать венчурные инвестиции с ограниченной отдачей. Это был тот самый сдвиг, в котором академические критики увидели предательство первоначальной миссии.
Дарио Амодей, к тому моменту вице-президент по исследованиям OpenAI, отвечавший в частности за работы по безопасности, на эту реструктуризацию реагировал плохо. По свидетельствам коллег, он считал, что переход к коммерческой структуре неизбежно подчинит миссию интересам инвесторов. Что Microsoft, вложив миллиард, рано или поздно потребует продукты, а не исследования. Что погоня за скоростью будет вытеснять заботу о безопасности.
Амодей не ушёл сразу. Он остался почти на два года, продолжая работать с командой над масштабированием. Но напряжение копилось, и это станет одним из главных конфликтов в OpenAI в 2020 году.
А Алек тем временем готовил третью версию модели. План был такой: взять архитектуру GPT-2, увеличить её ещё в сто раз, обучить на массиве данных, в десять раз большем, и посмотреть, что будет. Это требовало денег и вычислительных мощностей, которых раньше не было ни у одной академической лаборатории.
Но как именно увеличивать? Что важнее: количество параметров или объём данных? Сколько слоёв? Какая ширина? Сколько проходов обучения? Эти вопросы в начале 2019 года решались интуитивно. Кто-то предлагал десять миллиардов параметров, кто-то — сто, кто-то говорил, что и тридцати достаточно. Все понимали, что правильного ответа никто не знает; что обучение модели в сто миллиардов параметров стоит десятки миллионов долларов и не может позволить себе ошибки; и что какой-то более систематический подход к выбору размера был бы очень кстати.
В этот момент в коридорах OpenAI появился человек со стороны. Он был физиком. Его имя было Джаред Каплан.