Единственное, что теперь интересовало Хуанга, – это масштаб разработки. Он не рассматривал искусственный интеллект как зарождающийся сверхразум и не любил аналогий с биологическим организмом. В его понимании ИИ был просто программным обеспечением, работающим на аппаратной платформе его компании. Этот подход он активно продвигал в выступлениях перед сотрудниками, так что они говорили о возможностях ИИ с куда меньшим воодушевлением, чем можно было ожидать.
Вероятно, с точки зрения Хуанга, настоящим достижением были не сами нейронные сети, а феноменальные вычислительные мощности центров обработки данных. На конференции GTC 2018 года Хуанг отметил, что производительность графических процессоров Nvidia возросла в 25 раз всего за пять лет, опровергнув закон Мура. Он продемонстрировал график, показывающий, что AlexNet, для обучения которой на его видеокартах в 2012 году требовалась неделя, сейчас на новом компьютере DGX–2 можно обучить всего за 18 минут. «Теперь действует новый закон, – заявил он, – закон сверхускоренного роста».
Хуанг также имел особый взгляд на центры обработки данных. Эти гигантские вычислительные комплексы он рассматривал не как набор оборудования, состоящий из множества процессоров, а как единую систему, направленную на решение одной задачи. Но возникала новая проблема: тысячи графических процессоров передавали данные в рамках этой системы так быстро, что это перегружало сетевую инфраструктуру.
В поисках решения Хуанг обратил внимание на Infiniband – самый скоростной на тот момент сетевой стандарт в мире, разработанный израильской компанией Mellanox. Как и сам Хуанг, коренастый и общительный основатель Mellanox Эйял Вальдман не боялся рискованных вложений. Он создал Infiniband для узкого рынка суперкомпьютеров, хотя затраты на разработку значительно превышали потенциальную прибыль. Как и в случае с CUDA, появился мощный продукт, которому только предстояло найти своего потребителя.
Но как уже убеждался Хуанг на собственном опыте, инвесторам не нравился подход, нацеленный на воплощение некой мечты. Слишком большие инвестиции в производственные мощности приводили к снижению рентабельности, низкие прибыли вели к уменьшению стоимости акций, это вызывало недовольство акционеров, которое, подобно бэт-сигналу, служило импульсом для корпоративных рейдеров вроде Джеффа Смита.
Смит, который в 2013 году пытался сместить Хуанга с его поста, к 2017-му укрепил свою репутацию одного из самых успешных инвесторов в мире. Годовая доходность его вложений превышала 30%. Его Starboard Value начала скупать акции переживавшей не лучшие времена Mellanox и вскоре завладела десятой частью компании. Хуанг сумел дать отпор Смиту, но Вальдману повезло куда меньше: Starboard начала агрессивную кампанию, пытаясь разом заменить весь совет директоров Mellanox, насчитывающий одиннадцать членов. Вальдман отложил заседание совета, чтобы заручиться поддержкой инвесторов, а Смит в это время убеждал их проголосовать за его отставку. Казалось, грядет масштабное сражение за компанию, но в итоге Вальдман уступил три места в совете. После этого он объявил, что выставляет Mellanox на продажу.
Время для этого было выбрано удачно. К концу 2010-х масштабы облачных вычислений стали расти, и Infiniband оказался востребован. Кабели, коммутаторы, маршрутизаторы, сетевые чипы – устаревающий стандарт Ethernet уже не соответствовал всей этой аппаратной части центра обработки данных. В крайне сложных условиях Вальдман сумел заинтересовать потенциальных покупателей – семерых поставщиков облачных услуг. В марте 2019 года Nvidia выиграла конкурс, предложив 7 миллиардов долларов и обойдя Intel. По завершении сделки в 2020 году Nvidia получила 3000 новых сотрудников, а Mellanox была переименована в Nvidia Israel.
Покупка подразумевала необходимость расплатиться со старым «врагом-другом» Смитом, но Хуанга это не сильно волновало. Его полностью увлекла работа с новыми каналами передачи данных, которые были способны превратить его фабрики искусственного интеллекта из примитивного мозга в нечто, больше напоминающее полноценную нервную систему. Сочетание возможностей Infiniband и ресурсов Nvidia оказалось на редкость удачным.
Хотя Смит удвоил свой вклад, последующие события показали, что Хуанг все же получил больше. «Это стало одним из самых прибыльных корпоративных приобретений последних лет», – говорит член совета директоров Марк Стивенс. Спустя некоторое время Starboard в своем корпоративном отчете отдала должное человеку, которого когда-то пыталась устранить. «Дженсен Хуанг – настоящий визионер в своей отрасли», – сухо констатировал документ.
После успеха с Mellanox Хуанг решил еще раз провернуть удачную сделку. В сентябре 2020 года он предложил британскому разработчику микросхем ARM выкупить компанию за 40 миллиардов долларов. Это могло стать крупнейшим слиянием в истории полупроводниковой индустрии, но, как выяснилось, замысел оказался чересчур амбициозным. В 2021 году американские регулирующие органы заблокировали сделку, аргументируя это угрозой для инноваций. Не желая конфликтовать с федеральными властями, Хуанг отозвал свое предложение. (Сотрудники китайских и британских регуляторов разделяли опасения американских коллег. К тому моменту Intel, Nvidia и AMD вели ожесточенную борьбу за рынок центров обработки данных. Вертикальное расширение одной из этих компаний могло подорвать конкурентоспособность остальных.)
Доминирующее положение Nvidia на рынке позволяло ей удерживать высокие цены: валовая прибыль от продажи микросхем для искусственного интеллекта могла превышать 90%. Такая маржа привлекала конкурентов, как кровь акул. Google и Tesla, стремясь снизить зависимость от Nvidia, разработали собственное оборудование для ИИ. На рынок вышло множество стартапов, среди которых была компания Cerebras, создавшая свой «мегачип» размером с обеденную тарелку. «Они просто вымогают деньги у клиентов, и никто не осмеливается сказать это вслух», – заявил, говоря об Nvidia, Эндрю Фельдман, генеральный директор Cerebras.
Некоторые аналитики задумывались, насколько устойчива позиция Nvidia. AMD и Intel предлагали альтернативы CUDA, которые позволяли их клиентам отказаться от аппаратного обеспечения Nvidia и в перспективе сэкономить миллиарды долларов. Однако лишь немногие исследователи в сфере искусственного интеллекта использовали их продукцию. В чем же была причина?
Я задавал этот вопрос многим людям и услышал множество разных ответов. Один из распространенных мифов гласит, что отказаться от CUDA технически сложно. На самом деле это было легко: порой разработчику достаточно было изменить лишь пару строк кода. Еще одно заблуждение состояло в том, что корпоративные закупщики оборудования просто не хотели рисковать. («Никто не был уволен за то, что купил Nvidia», – перефразировал Ханс Мозесманн старую поговорку об IBM[16].) Но один из покупателей оборудования сказал мне, что постоянно тестирует продукцию конкурентов Nvidia и сожалеет, что более доступного аналога пока не появилось. «Это оборудование неприлично дорогое», – говорит он о вычислительных устройствах Nvidia.
Успех Nvidia определяло не превосходство возможностей микросхем. Решающим фактором было качество программного обеспечения. Классическая стратегия увеличения количества транзисторов на плате теперь давала лишь малую часть прироста производительности – закон Мура перестал работать. Остальной прогресс был заслугой Билла Дэлли, Йена Бака и других разработчиков Nvidia, которые ускоряли матричные вычисления с помощью особых математических методов. Инженеры компании разработали для графического процессора новые команды, действовавшие подобно скоростным алгоритмам сборки кубика Рубика. Они отказались от традиционного языка процессора в пользу внешне некрасивых, но эффективных упрощенных типов данных – словно перешли от каллиграфии к скорописи. Они вычищали «мертвые» синапсы из матриц, удаляя бесполезную информацию из нейронной сети, – почти как машина забвения из фильма «Вечное сияние чистого разума».
С 2012 по 2022 год Nvidia сумела добиться ускорения производительности ИИ на одной микросхеме в 1000 раз, что значительно превышало все предсказания закона Мура. Лишь малая часть этого прироста была обусловлена развитием транзисторов; львиная доля (более 400 раз) обеспечивалась использованием математических инструментов Nvidia. «Чипы AMD по качеству ничем не хуже наших, – замечает Арджун Прабху. – Просто они не могут обеспечить такую же скорость вычислений».
На базе этого мощного движка Nvidia создавала специфические программы для различных узких областей: Drive для автомобильных разработок, BioNeMo для фармацевтов, Clara для медицинской визуализации, Morpheus для кибербезопасности и Highlights для записи лучших моментов в игре Fortnite. К 2020-м годам у Nvidia появились почти три сотни таких наборов инструментов для самых разных сфер – от компьютерных игр и анимации до планетологии, климатологии, математики, физики, финансов, биохимии и квантовых вычислений. Эти программные пакеты были общедоступны, бесплатны, Хуанг раздавал их ученым как бабушка накладывает внукам кашу в тарелки. Он называл эти инструменты своими сокровищами.
Разумеется, Хуанг не был альтруистом: это была долгосрочная стратегия, рассчитанная на то, чтобы обновлениями софта привязать исследователей к аппаратному обеспечению Nvidia. В начале 2024 года я узнал от администратора центра обработки данных Калифорнийского технологического института, что время ожидания поставки процессора H100 доходило до 18 месяцев. Он пытался убедить профессоров перейти на другие платформы, но желающих находилось немного. «Они готовы ждать новое оборудование полтора года, лишь бы не отказываться от CUDA», – говорит он. Именно благодаря этому программному обеспечению никто не мог конкурировать с Nvidia. Другие компании могли разработать новый процессор, но этого было недостаточно: под началом Дуайта Диркса, главы отдела программного обеспечения Nvidia, работали 10 000 программистов. «На самом деле мы – программная компания, но не все это понимают», – утверждает Диркс.
Как и Хуанг, Диркс никогда не ослаблял хватку, заставляя свою команду постоянно придумывать все новые и новые функции. Работать под его началом было нелегко, и некоторые программисты уходили, не вынеся давления. В своей клетчатой рубашке и джинсах расхаживающий по футуристическим интерьерам Диркс был похож на ковбоя, похищенного инопланетянами, но за этим несуразным обликом скрывалась его одержимость работой.
Программные продукты Nvidia не всегда отличались изяществом или удобством использования, а интерфейсы некоторых инструментов отставали от современных стандартов на десятилетие. Однако Диркса мало заботила внешняя сторона, его интересовало только первенство. Стоило появиться какому-то многообещающему направлению в науке, он оказывался тут как тут с новым набором неброских, но работающих программных инструментов. Конкуренты могли с небольшим опозданием выпустить более элегантное и экономичное решение, но к тому моменту было уже поздно: отраслевой стандарт был задан. Именно поэтому Билл Дэлли утверждал, что не боится конкуренции в сфере открытого программного обеспечения. «Мы не перестаем жать на газ! – говорит он. – И всегда опережаем других на пару поколений».
У Nvidia не было собственного производства, а сотрудники давно привыкли к удаленной работе, поэтому пандемия COVID–19 мало повлияла на деятельность компании. Тем не менее жизнь в ней сбавила активность: бар на третьем этаже закрылся, конференции GTC стали виртуальными, и Хуанг, как и все остальные, вынужден был работать, находясь дома. В июле 2020 года, когда Nvidia наконец обошла Intel по рыночной стоимости, Хуангу не удалось отпраздновать это событие в кругу коллег. И перед семьей он не мог похвалиться своими достижениями, так как его младший брат Джим работал в Intel. Поэтому Дженсен просто пошел гулять с собаками. Возможно, хоть они как-то почувствовали его праздничное настроение.
Вскоре Nvidia опередила и AMD. Управляя самой дорогостоящей компанией в мире, разрабатывающей полупроводниковые компоненты, и при этом сидя в четырех стенах, Хуанг боялся потерять связь с реальностью. Nvidia стала такой огромной, что Дженсен не мог полностью разбираться во всем, что в ней происходило, но делегировать задачи другим он не привык. Чтобы ощущать пульс компании, ему необходимо было поддерживать контакт с сотрудниками, работающими на передовой технологий.
Примерно в это время Хуанг попросил всех сотрудников компании еженедельно присылать ему список из пяти самых важных задач, над которыми они работали. Каждый пятничный вечер он получал 20 000 электронных писем. Прочитать их все Дженсен не мог, поэтому выбирал некоторые случайным образом и сидел над ними до глубокой ночи. Ежедневно он отправлял сотрудникам сотни сообщений, часто ограничиваясь несколькими словами (один из топ-менеджеров сравнил эти сообщения с хайку, другой – с записками вымогателя). Быстрота его реакции казалась сверхчеловеческой. «Можно было написать ему в два ночи и получить ответ через пять минут, – рассказывает Билл Дэлли. – Потом отправить сообщение в шесть утра и снова получить ответ через пять минут».
Именно благодаря этой переписке до Хуанга дошла информация об архитектуре трансформеров. Рассказывали, что OpenAI запустила на сервере Microsoft Azure проект, который загрузил 1000 графических процессоров на целый месяц и обошелся в 5 миллионов долларов. Это была большая языковая модель, превосходившая все существующие аналоги примерно в 100 раз.
Хуанг понял, что нужно разработать новый набор инструментов специально для трансформеров. Он поручил Басу Аартсу немедленно выбросить текущий компилятор рекуррентных нейронных сетей в корзину и приступить к разработке нового – для трансформеров. Аартс с радостью взялся за работу: структуры долговременной и кратковременной памяти в рекуррентных нейронных сетях казались ему слишком сложными и ненужными. «Рекуррентные нейронные сети было очень непросто программировать и еще труднее компилировать, – говорит он. – Трансформеры были лучше по всем параметрам».
Еще до перехода на трансформеры Аартс начал замечать в Nvidia странные и отчасти пугающие тенденции. Демонстрации передовых продуктов в компании проводились задолго до их официальной презентации. В немом изумлении Аартс наблюдал, как ИИ в реальном времени редактирует сцену из фильма «Миссия невыполнима», заменяя лицо Тома Круза на произвольно выбранного из присутствующих человека. «С моей точки зрения – хотя я не специалист по видео – результат выглядел безупречным, – рассказывает Аартс. – Невозможно было заметить следы подделки».
В Nvidia любили устраивать зрелищные мероприятия. В 2019 году в штаб-квартире Endeavor посреди большого пустого пространства вдруг появился большой черный столб, который Аартс назвал обелиском. Внутри обелиска находился терминал с PicassoGAN – ИИ, создающим изображения методом взаимодействия двух нейронных сетей. Быстрота реакции машины поразила Аартса: PicassoGAN мог изобразить по запросу что угодно. «Вы печатаете: "нарисуй мне человека на фоне пейзажа с рекой, деревьями, птицами и домиком на заднем плане", – рассказывает он. – Бац – готово».
Как и все сотрудники Nvidia, Аартс подписывал соглашение о неразглашении, запрещавшее ему обсуждать технологии компании с посторонними. Это было повсеместно принято в Кремниевой долине: инженеры и программисты не могли обсуждать ни с кем чудеса, которые они создавали, как бы им этого ни хотелось. Примерно до 2018 года ИИ развивался в духе открытого научного сотрудничества, однако теперь разработка велась в атмосфере строгой секретности. В Twitter стали появляться загадочные аккаунты, намекавшие на предстоящие удивительные открытия. «Я видел вещи, которые заставляли думать: "Ух ты, не могу поверить, что это возможно в наше время", – признается Аартс. – Люди просто не осознают, что на самом деле происходит. Они вообще ни о чем не догадываются».
Однако на самом деле Аартс и сам еще не видел ничего…