Мы исследовательская лаборатория ИИ-безопасности, занимающаяся пониманием систем, которые мы строим, для того чтобы строить более безопасные системы.
В декабре 2020 года Дарио и Даниэла Амодей официально подали в OpenAI заявления об уходе. От щедрых предложений остаться они отказались. В течение нескольких следующих недель за ними последовало больше десятка исследователей: Том Браун, ведущий автор статьи о GPT-3; Сэм МакКэндлиш, соавтор закона Каплана; сам Джаред Каплан; Крис Олах, известный своими работами по интерпретации нейронных сетей; Том Хенигэн, Бен Манн, Джек Кларк, Кэтрин Олссон и другие. Каждое имя в этом списке было хорошо известно специалистам.
Из десяти авторов статьи о законах масштабирования девять оказались в новой структуре. Из тридцати одного автора статьи о GPT-3 — почти треть. Если посчитать по бюджетной отдаче, OpenAI потеряла, наверное, две трети своего научного потенциала, накопленного за пять лет.
В Кремниевой долине такого крупного отколовшегося движения исследователей не было со времён классической истории Fairchild Semiconductor шестидесятых годов, когда восемь сотрудников Уильяма Шокли ушли и основали полупроводниковую промышленность Силиконовой долины. История Anthropic не настолько была мифологизирована к моменту своего рождения, но по структуре и по человеческим страстям она была удивительно похожа.
Дарио Амодеи, 2023
Даниэла Амодеи, Fortune MPW 2025
Дарио Амодей родился в 1983 году в Сан-Франциско, в семье итальянско-американского мастера по коже и американской библиотекарши. У него была младшая сестра, Даниэла, на четыре года младше его. Семья была интеллигентная, не богатая, с сильным акцентом на образовании. Дарио учился в местной школе, начал в Калифорнийском технологическом, перевёлся в Стэнфорд и получил там бакалавра физики, защитился в Принстоне по биофизике (изучая электрофизиологию нейронных цепей). После Принстона он попробовал академическую карьеру, потом перешёл в Baidu, потом в Google, и в начале 2016 года был приглашён Альтманом и Брокманом в OpenAI.
Даниэла Амодей пошла по другому пути. Она окончила Калифорнийский университет в Беркли по специальности «политические науки», работала в гуманитарных организациях, потом в Stripe (где познакомилась с Брокманом), и в 2018 году пришла в OpenAI как руководитель операционного направления. Брат и сестра редко работают в одной структуре в Кремниевой долине; для Амодеев это было естественно. Они были близкие друзья с детства и всегда дополняли друг друга: Дарио — учёный с социальной чуткостью, Даниэла — менеджер с глубоким техническим пониманием.
Когда летом 2020 года они начали обсуждать возможность ухода, они с самого начала исходили из того, что уходить будут вместе. Не как два отдельных человека, а как одна команда: один возьмёт на себя науку и публичность, другая — операционное управление. Из этого естественного союза постепенно стала вырастать структура того, что в начале 2021 года будет официально зарегистрировано как Anthropic.
Тонкие причины ухода Амодеев и их команды из OpenAI обсуждаются до сих пор. По одним публичным заявлениям самих ушедших, главным разногласием была скорость. По их мнению, OpenAI разрабатывала всё более мощные модели быстрее, чем успевала разбираться, как ими безопасно пользоваться. Дарио в разных интервью говорил, что хочет создать лабораторию, в которой исследования безопасности будут не дополнительной программой, а центральной частью научной работы.
По другим, чуть более частным источникам, разногласия были глубже. Часть команды считала, что переход OpenAI к коммерческой структуре в 2019 году постепенно подменяет миссию: что лаборатория, начинавшаяся как противовес большим корпорациям, превращается в одну из них. Что партнёрство с Microsoft, при всех его финансовых преимуществах, означает зависимость от приоритетов Microsoft, которые в долгосрочной перспективе могут расходиться с целями безопасности.
Сэм Альтман на эту критику отвечал, что коммерциализация — необходимый этап для добычи ресурсов, без которых невозможно ничего исследовать. Что миссия не предаётся, а просто финансируется новыми способами. Что разработка продуктов и исследования безопасности — это не альтернативы, а дополняющие друг друга направления.
Это был принципиальный спор, и разговорами его было не решить. Каждая сторона считала свою позицию правильной. К концу 2020 года стало ясно, что вопрос разрешится только структурно: либо Альтман с Дарио и его командой найдут способ работать рядом несмотря на разногласия, либо одна из сторон уйдёт.
Ушла команда Дарио.
Уход был, по всем свидетельствам, цивилизованным. Никаких публичных скандалов, никаких выноса грязного белья в твиттер, никаких судебных исков. Дарио сделал внутреннее объявление, поблагодарил OpenAI за пять лет совместной работы, перечислил конкретных людей, без которых, по его словам, никаких прорывов не было бы. Альтман в ответном объявлении сказал, что желает Дарио успехов и что между двумя лабораториями обязательно будет сотрудничество.
На бумаге так. На практике в течение нескольких следующих лет OpenAI и Anthropic будут жесточайшими конкурентами, и часть бывших коллег перестанет здороваться друг с другом.
Принципиальный вопрос для любой новой лаборатории искусственного интеллекта — это деньги. Без сотен миллионов долларов в первые годы невозможно ни обучить большие модели, ни нанять конкурентоспособную команду.
Амодеи начали с первого крупного раунда финансирования. В мае 2021 года Anthropic привлекла 124 миллиона долларов от группы инвесторов во главе с Яаном Таллинном — сооснователем Skype и давним сторонником исследований по безопасности ИИ — и включавшей Дастина Московича (сооснователь Facebook), Джеймса МакКлейва и нескольких других технологических миллиардеров с интересом к долгосрочным проектам в искусственном интеллекте. Это был относительно скромный раунд по меркам ИИ-индустрии, но достаточный, чтобы собрать первую команду.
В первый год Anthropic не выпускала продуктов и не делала громких заявлений. Команда писала статьи, преимущественно по интерпретируемости нейронных сетей (это была старая страсть Криса Олаха) и по альтернативным методам обучения языковых моделей. Постепенно к ним присоединялись новые исследователи: каждые несколько месяцев списки авторов в публикациях Anthropic пополнялись новыми именами, часто узнаваемыми по предыдущим работам в OpenAI или Google.
В 2022 году Anthropic привлекла второй раунд: 580 миллионов долларов от Сэма Бэнкман-Фрида, тогда главы криптовалютной биржи FTX. Это были очень большие деньги, но связь с Бэнкман-Фридом через несколько месяцев окажется проблемной: его империя рухнет в ноябре 2022 года, и инвестиции FTX в Anthropic окажутся под пристальным вниманием банкротов и юристов. После полутора лет разбирательств FTX-эстейт распродаст большую часть доли в Anthropic широкому кругу инвесторов — среди них фонд Mubadala из ОАЭ, Jane Street, Ford Foundation, фонды Fidelity. Общая выручка превысит миллиард долларов и более чем вдвое окупит первоначальные вложения Бэнкман-Фрида.
В мае 2023 года Anthropic привлекла третий раунд: 450 миллионов от Spark Capital и от Google. Это партнёрство с Google интересно: Google инвестировал в Anthropic примерно как Microsoft инвестировал в OpenAI, обеспечивая Anthropic облачными ресурсами в обмен на коммерческую интеграцию. То есть к 2023 году оба ведущих американских облачных провайдера имели свою «прирученную» лабораторию языковых моделей: Microsoft с OpenAI, Google с Anthropic.
В 2024 году Anthropic получит ещё несколько миллиардов от Amazon. К 2025 году её оценочная стоимость превысит шестьдесят миллиардов долларов. Меньше чем за четыре года команда из тридцати с лишним человек, ушедшая из OpenAI с честолюбивыми планами и относительно небольшим стартовым капиталом, построила одну из самых дорогих частных компаний в сфере искусственного интеллекта мира.
Технически Anthropic сделал, в общем, две главные вещи, которыми его команда заслуженно гордится.
Первая — это разработка собственной серии больших языковых моделей, которые они назвали Claude. Имя выбрали в честь Клода Шеннона. Первая публичная версия Claude была запущена в марте 2023 года, через четыре месяца после ChatGPT. По возможностям она была сопоставима с GPT-3.5 — версией ChatGPT того времени. К 2024 году вышел Claude 3, к 2025 — Claude 4, к 2026 — Claude Opus 4.7, и каждое поколение приближало Anthropic к переднему краю. Один из голосов, которыми разговаривает эта книга, принадлежит этому самому Claude'у.
Вторая, и в публике менее известная, — это методология обучения языковых моделей под названием Constitutional AI, конституционный искусственный интеллект. Идея состояла в следующем.
Обычный подход к тому, чтобы языковая модель вела себя приемлемо (не оскорбляла, не помогала с противозаконными действиями, не выдавала медицински опасных советов) состоял в том, что в OpenAI назвали RLHF — обучение с подкреплением на основе обратной связи от людей. Для этого нанимали несколько десятков людей-аннотаторов, давали им пары ответов модели и просили оценить, какой из двух ответов лучше. По этим оценкам потом подкручивали модель.
Подход работал, но имел недостатки. Во-первых, он требовал огромных трудозатрат: тысячи часов работы аннотаторов на каждое поколение модели. Во-вторых, оценки людей часто были непоследовательными: разные люди оценивали одни и те же ответы по-разному, что вносило шум. В-третьих, и главное, он плохо масштабировался: для каждого нового вида опасностей нужно было собирать новый набор оценок.
Anthropic предложил альтернативу. Вместо того, чтобы оценки давали люди, давайте сформулируем набор принципов в текстовом виде — «конституцию» — и научим модель оценивать собственные ответы по этой конституции. Принципы могут быть, например: не помогай в действиях, которые незаконны в большинстве юрисдикций, уважай достоинство собеседника, не давай медицинских советов без указания на необходимость консультации специалиста, и так далее. Модель в процессе обучения учится критиковать свои собственные ответы по этим принципам и переписывать их в более удовлетворительной форме.
Метод оказался эффективным. С Constitutional AI можно было получать модели сопоставимого с RLHF качества, но без массовой ручной разметки. Anthropic опубликовала статью о методе в декабре 2022 года, и метод этот в течение года вошёл в арсенал большинства лабораторий, занимающихся языковыми моделями. Это была, наверное, главная техническая идея Anthropic за её существование.
К 2023 году в мировой индустрии больших языковых моделей сформировалась так называемая «большая четвёрка»: OpenAI, Google DeepMind (объединившая Google Brain и DeepMind в одну структуру в апреле 2023 года), Anthropic, и Meta (с её серией LLaMA, выложенной в открытый доступ). Каждая из этих лабораторий имела ресурсы и команды для обучения моделей передового уровня. Между ними шла интенсивная конкуренция: каждые несколько месяцев одна из них выпускала новую модель, которая хотя бы по одной метрике обходила лучшие модели остальных.
Помимо большой четвёрки, на сцену в 2023 году вышли два серьёзных не-американских игрока. Из Парижа — Mistral AI, основанная бывшими сотрудниками Meta и DeepMind, специализирующаяся на относительно небольших, но высокоэффективных моделях. Из Китая — стартап DeepSeek, который в начале 2025 года выпустит модель R1, обходящую по нескольким бенчмаркам модель o1 от OpenAI и обошедшуюся при этом в десять раз дешевле. DeepSeek поразит американских инвесторов и заставит на несколько дней упасть акции Nvidia.
Но это уже другой сюжет. Возвращаясь к 2021–2022 годам: Anthropic закрепляется в роли одной из ведущих лабораторий, не имея ещё ни одного публичного продукта; OpenAI готовит ChatGPT, не зная, что разрабатывает приложение, которое за два месяца наберёт сто миллионов пользователей.
Ушли многие, но не все. В OpenAI осталось ядро, образовавшее новое научное руководство.
Илья Суцкевер остался. Его выбор не был очевидным; ему тоже предлагали присоединиться к Дарио и его команде. Но Илья, по позднейшим словам коллег, считал, что у OpenAI остаётся миссия, которую он не хочет бросать. Он остался главным научным сотрудником и в течение следующих трёх лет руководил всем направлением «суперинтеллекта».
Грег Брокман остался. Алек Радфорд остался. Андрей Карпатий — нет, но и не из-за раскола с Дарио: он ещё в 2017 году ушёл в Tesla руководить разработкой автопилота, в 2023 году вернётся в OpenAI, а в 2024 уйдёт снова — делать собственный образовательный стартап.
Сэм Альтман остался и стал генеральным директором новой, коммерческой структуры. Через два года, в ноябре 2023 года, его на пять дней уволят, потом восстановят, и эта история будет одной из самых громких корпоративных драм года, но всё это произойдёт уже после ChatGPT.
Внутри OpenAI после ухода Амодеев и их команды атмосфера изменилась. По свидетельствам тех, кто остался, организация стала более коммерческой. Меньше академических разговоров, больше разговоров о продуктах. Меньше про долгосрочную безопасность, больше про релизы. Кто-то из оставшихся приветствовал этот сдвиг, кто-то относился к нему скептически.
Но эта трансформация открывала перед OpenAI определённые возможности. Стать чисто коммерческой машиной, нацеленной на быстрые продуктовые релизы, значило получить шанс выпустить нечто, что окажет на широкую публику тот эффект, которого никто до сих пор не оказывал.
Это нечто появится 30 ноября 2022 года.