Йенс Хорстманн начал замечать перемены в своем старом друге. Прежде Хуанг, как бы ни был он загружен работой, дома был мягким и спокойным. Он всегда находил время для хобби: собак, дорогого виски, коллекции роскошных автомобилей, пополнившейся Tesla Roadster и суперкаром Koenigsegg. Также Хуанг приобрел просторный дом на Мауи на берегу океана с видом на закат. Он часто принимал в нем друзей, в том числе Морриса Чанга из TSMC.
Его главной страстью была кулинария. На один из дней рождения Хуанга друзья организовали ему мастер-класс у шеф-повара, имеющего звезду «Мишлен», в отеле Four Seasons. Когда Хуанг прибыл туда, его встретили шутками. «Шеф-повар его просто высмеял, – рассказывает Хорстманн. – Дженсен, конечно, когда-то работал на кухне в Denny's, но это было совсем другое». Хуанг отработал двенадцатичасовую смену, впервые за много лет оказавшись в шкуре подчиненного, на которого кричит начальник. После ужина, которым он накормил друзей, он просто заснул в автомобиле по дороге домой.
Однако когда Nvidia начала заниматься ИИ, Хуанг забросил все свои хобби. Его тяга к развлечениям ослабла. Он больше не играл в настольный теннис, покрытый пылью гриль ржавел во дворе. Он даже перестал отвечать на сообщения. «Он с головой погрузился в работу, – вспоминает Хорстманн. – Мы больше не говорили ни о чем, кроме нее». Хуанг был одержим новыми достижениями. Аббревиатура OIALO звучала на каждом собрании. Хуанг усердно трудился c двадцати лет, шесть дней в неделю проводя по двенадцать часов на рабочем месте. Это продолжалось тридцать лет, но теперь, перешагнув пятидесятилетний рубеж и вырастив детей, он стал работать еще больше.
Когда-то, чтобы расслабиться, Хуанг любил ходить в одиночку в кино. Он предпочитал высокобюджетные фильмы, особенно сагу о Мстителях, которую смотрел не только ради сюжета, но и чтобы оценить качество компьютерной графики. Однако многие поклонники Marvel были геймерами, а фото Хуанга не раз появлялось на сайте сообщества Nvidia, так что его стали узнавать в кинотеатрах. Устав фотографироваться с поклонниками, Хуанг какое-то время старался посещать только утренние сеансы, но это не помогло, и он совсем перестал ходить в кино. С 2014 года его полностью поглощала работа. Остался только ИИ.
В 2013 году стоимость акций Nvidia выросла на 30%, в 2014-м – на 27%, в 2015-м – на 66%. Последний скачок позволил Nvidia побить предыдущий рекорд, поставленный еще в 2001 году, когда компания впервые вошла в индекс S&P 500. Включение в этот индекс имело значение: на следующий день фондам, контролирующим пенсионные сбережения Америки, было предписано купить акции Nvidia. На протяжении четырнадцати лет частные инвесторы поддерживали компанию, не получая прибыли. Настало время расплатиться со всеми.
Со стороны Nvidia все еще выглядела как игровая компания, так как основную часть ее дохода составляли розничные продажи GeForce. Однако Уолл-стрит, заглядывая в будущее, начала оценивать ее как лидера в области разработки искусственного интеллекта. Вслед за Google, которая приобрела большое число графических процессоров для проекта Mack Truck, аналогичные покупки начали совершать и другие технологические гиганты, такие как Amazon, Oracle и Microsoft. Бизнес-модель этих провайдеров облачных услуг заключалась в создании огромных центров обработки данных, оснащенных десятками или даже сотнями тысяч графических процессоров и сдающихся в аренду корпоративным клиентам.
Облачные провайдеры продавали вычислительные мощности как коммунальные услуги – как воду или электричество. Центры обработки данных размещались в неброских промышленных зданиях по всему миру. Миновав охрану и проходную, вы попадали в большое помещение с кондиционерами, где находились ряды двухметровых стоек, напоминающие библиотечные стеллажи. В каждой стойке было несколько лотков, в каждом лотке размещались один или два графических процессора. Лотки были модульными и легкозаменяемыми, вся система соединялась кабелями, так что сотни графических процессоров могли работать в унисон как единое вычислительное устройство. Управляла системой меньшая группа центральных процессоров, а толстый пучок оптоволоконных кабелей соединял весь комплекс с внешним миром.
Nvidia не занималась производством стоек и лотков и обычно сама не строила центры обработки данных. Она поставляла только микросхемы, но это был прибыльный бизнес, в котором компания была практически монополистом. Новые процессоры Nvidia получали свои имена в честь известных ученых: Curie, Tesla, Fermi, Kepler, Maxwell, Pascal, Turing, Volta, Ampere, Lovelace, Hopper и Blackwell. Более поздние серии включали специальные микросхемы для ИИ, так что центрам обработки данных приходилось постоянно заменять процессоры. Шестимесячный цикл обновления заставлял разработчиков передовых технологий машинного обучения регулярно покупать новое оборудование, что приносило компании значительную прибыль.
Цены у поставщиков облачных услуг указывались в «долларах за графический процессор в час». Аренда системы с новейшими наборами микросхем Nvidia стоила около 3 долларов за час (для сравнения: доступ к центральным процессорам Intel стоил какие-то центы). При таких ценах обучение «мозга насекомого» AlexNet обошлось бы примерно в 500 долларов, но исследователи уже создавали гораздо более сложные модели с миллиардами параметров, на обучение которых уходили миллионы долларов. Тем не менее при правильном обучении результат оправдывал затраты, что подтверждалось примером Google. Применение нейронных сетей для оптимизации энергопотребления серверных позволило этой компании сэкономить сотни миллионов на счетах за электричество, что обеспечило быструю окупаемость инвестиций в ИИ. Google также применила инструменты распознавания изображений в своем приложении для фотографий, включив в него возможность создания автоматических меток для пользовательских снимков, и использовала ИИ для улучшения поиска.
Другие крупные технологические компании тоже внедряли ИИ в свои продукты. Instagram, Facebook и Twitter начали привлекать внимание пользователей, алгоритмически организуя их ленты, то есть применяя методы машинного обучения. (Эти методы оказались столь же эффективными, сколь и манипулятивными: алгоритмы в социальных сетях удерживали внимание пользователей часами, умело подбирая провокационный контент.) Инвестиции в ИИ приносили столь большую прибыль, что Хуанг вспомнил один из самых старых лозунгов розничных продаж: «Чем больше тратишь, тем больше экономишь».
Венчурные капиталисты начали активно инвестировать в стартапы, связанные с ИИ, поддерживая не только разработки в области распознавания изображений и речи, но и проекты в сферах здравоохранения, розничной торговли, беспилотных автомобилей и образования. В 2010 году инвестиций в ИИ практически не было, а к 2015 году они достигли 5 миллиардов долларов и продолжали стремительно расти. «Мы инвестируем в множество стартапов, в различных областях применяющих методы глубокого обучения, и практически все они используют платформу Nvidia, – отмечал Марк Андриссен из фирмы Andreessen Horowitz в начале 2016 года. – У наших сотрудников есть игра: мы фантазируем, в какие публичные компании вложили бы деньги, если бы были хедж-фондом, и всегда выходит, что вложили бы всё в Nvidia».
Опытные инженеры, работающие в сфере глубокого обучения, тоже зарабатывали немалые суммы. В общей сложности так называемая общая компенсация, состоящая из базовой зарплаты, бонусов, опционов на акции и соцпакета, складывалась в магическое число, которое могло превышать семизначную сумму за год. В конце 2014 года Брайан Катандзаро перешел из Nvidia в Baidu, чтобы работать с Эндрю Ыном. «Они предложили мне зарплату в три раза выше», – рассказывает Катандзаро с легким сожалением, добавляя, что если бы остался в Nvidia, то заработал бы гораздо больше на опционах. Бас Аартс, создавший первый компилятор CUDA, ушел примерно в это же время. Однако спустя несколько лет оба вернулись. Они поняли, что для них нет другой компании, кроме Nvidia.
По мере развития ИИ наблюдатели начали проявлять беспокойство. В книге «Сверхразум» (Superintelligence), вышедшей в 2014 году, шведский философ из Оксфордского университета Ник Бостром сравнил людей, экспериментирующих с машинным интеллектом, с «маленькими детьми, играющими с бомбой». Он предположил, что компьютер, способный к абстрактному мышлению, станет последним изобретением человечества. По его мнению, компьютер с общим интеллектом сможет самосовершенствоваться и превратится – возможно, за несколько секунд – в сверхразум, который с точки зрения человека будет всемогущим. Бостром задавался вопросом, не станет ли такая машина обращаться с людьми так же, как люди обращаются с гориллами, – захватит планету и уничтожит среду их обитания, оставив лишь несколько особей в качестве экспонатов зоопарков и охраняемых заповедников.
Книга Бострома развивала идеи, над которыми он размышлял годами. Ранее он предложил мысленный эксперимент под названием «максимизатор скрепок»:
Представим, что у нас есть ИИ, единственная цель которого – производить как можно больше канцелярских скрепок. ИИ быстро поймет, что без людей ему будет гораздо лучше, потому что они могут его отключить. А если люди это сделают, скрепок станет меньше. Кроме того, человеческие тела содержат множество атомов, из которых можно сделать канцелярские скрепки. Будущее, к которому станет стремиться такой ИИ, – это мир, полный канцелярских скрепок, но без людей.
Пример с «максимизатором скрепок» долго цитировали в интернете, он нашел отклик в сообществе «рационалистов», а также среди многих руководителей технологических компаний. Через несколько месяцев после публикации книги Бострома Илон Маск оставил комментарий на футурологическом сайте Edge.org:
Прогресс в области искусственного интеллекта (я говорю не об узкоспециализированном ИИ) стремителен. Если вы не контактируете непосредственно с такими группами, как DeepMind, вы даже не представляете насколько. Он идет почти экспоненциально. Риск возникновения какой-то опасности для нас появится в течение пяти лет. Максимум – десяти.
Маск удалил свой комментарий через несколько минут, но скриншоты уже разлетелись в интернете. Как и многие предсказания Маска, это выглядело преувеличением, но в долгосрочной перспективе риск казался реальным.
Хуанг пригласил Маска для дискуссии на конференцию GTC 2015. К этому моменту Дженсен наконец-то окончательно определился со своим стилем в одежде. На сцене конференц-центра в Сан-Хосе он появился в темно-синей рубашке поло, черных брюках и черных туфлях, как и ранее, но поверх рубашки была надета черная кожаная куртка. Наряд был эффектным и недешевым: почти все – от люксовых брендов. Позже Хуанг заявлял, что изменением стиля обязан жене и дочери. Особенно повлияла Мэдисон: она как раз ушла из кулинарной индустрии и начала работать с французским концерном Louis Vuitton, производителем модной одежды и предметов роскоши. Когда я говорил с Хуангом о его одежде в 2023 году, он признался, что часто затрудняется вспомнить, одежда каких брендов на нем. «Кажется, это… э-э-э… Том Форд, что ли…» – сказал он, распахивая черную куртку, чтобы посмотреть на этикетку.
Выступление Хуанга в том году было непрерывной презентацией возможностей ИИ. Сначала он пригласил на сцену словацкого исследователя Андрея Карпатого. Работая в лаборатории Фэй Фэй Ли в Стэнфорде, Карпатый объединил две нейронные сети: первая, подобно AlexNet, распознавала изображения, а вторая описывала их понятным грамотным языком. Если сети Карпатого показывали картинку с птицей, она отвечала не просто «птица», а что-нибудь вроде «птица, сидящая на ветке дерева». Изображение самолета было «большим самолетом на взлетной полосе». Особенно впечатлило всех описание фотографии человека в повозке, снятого сзади. Сеть интерпретировала ее безупречно: «человек, едущий по улице в повозке, запряженной лошадью».
Хуанг все же не без удовольствия указал Карпатому на некоторые ошибки. Летучая рыба была «маленькой белой птицей, летящей над водоемом», двое мужчин в санях оказались «мужчиной и ребенком, сидящими на скамейке», а младенец с зубной щеткой – «маленьким мальчиком с бейсбольной битой» (способность различать человеческие инструменты была слабым местом нейронных сетей). Карпатый признал, что у его сети есть ограничения: она воспроизводит речь не всегда осмысленно, а сталкиваясь с чем-то непонятным, городит ерунду. Карпатый назвал эти ошибки «галлюцинациями».
Затем на сцену вышел Маск. Все присутствующие достали смартфоны, чтобы записать его выступление. Хуанг был фанатом Tesla, он имел все три модели автомобиля, выпущенные компанией, и восхищался их программным обеспечением. Маск использовал микросхемы Nvidia в модулях отображения информации на лобовом стекле начиная с 2011 года.
Как только эти двое уселись в кресла на сцене, Хуанг взял быка за рога.
– Вы говорили, что искусственный интеллект опаснее ядерного оружия.
Маск заерзал в кресле.
– Я сказал «может быть».
– Еще вы сказали, что развивать его – все равно что вызывать демонов, – напомнил Хуанг.
Маск бросил на него недовольный взгляд. Хуанг не стал давить и перевел разговор на беспилотные автомобили.
– Я считаю эту проблему практически решенной, – сказал Маск. – Мы сделаем это через несколько лет.
Какое-то время они обсуждали автомобили, но потом Маск сам вернулся к теме экзистенциальных рисков.
– Так непривычно думать, что мы стали свидетелями пришествия ИИ. Удивительно, что мы живем именно в это время.
На этом саммит, прошедший на редкость спокойно, завершился. Но настоящая дискуссия развернулась за кулисами, вдали от журналистов и инвесторов. В присутствии Йенса Хорстманна и Криса Малаховски Маск и Хуанг поделились своими сокровенными мыслями об ИИ – теми, которые не предназначались для публики. Они фонтанировали идеями, все больше воодушевляясь. Вскоре диалог стал больше напоминать высокоскоростной обмен данными, чем человеческий разговор. «Они просто сыпали предложениями и гипотезами, так что через какое-то время мы вообще перестали понимать, о чем они говорят, – рассказывает Хорстманн. – Даже Крис был озадачен».
На первый взгляд у Маска и Хуанга было много общего. Оба иммигранты, трудоголики, визионеры. Оба были азартны и могли сорваться на крик; и тот и другой – инженеры мирового класса. Они уверенно осваивали заброшенные территории, усеянные трупами неудачливых предпринимателей, и выращивали там сады.
Однако при ближайшем рассмотрении становились видны и различия. Их видение будущего существенно отличалось: Маск двигался вперед, воплощая свои фантазии, Хуанг – опираясь на реальность. Совершенно по-разному они относились и к подчиненным. Маску было чуждо понятие лояльности, он часто увольнял людей без предупреждения. В одно воскресенье Илон, ничего не объясняя, распустил всю инженерную команду Starlink. Хуанг крайне редко кого-нибудь увольнял, а если это случалось, то после многократных предупреждений и требований работать лучше. Чтобы быть уволенным из Nvidia, надо было совершить что-то действительно вопиющее, и многие сотрудники работали десятилетиями, включая вернувшихся Катандзаро и Аартса. Даже когда по экономическим соображениям Хуанг был вынужден закрыть какое-то подразделение, он перебрасывал людей на другие направления. В 2019 году Кёртис Прим впервые за шестнадцать лет пришел в штаб-квартиру Nvidia, чтобы встретиться с Хуангом и Малаховски. «Я был поражен, как много людей все еще работали там, – говорит он. – А у Джеффа Фишера даже дети пришли работать в Nvidia».
У Хуанга был счастливый брак, он всегда говорил о Лори с любовью. У Маска было по меньшей мере одиннадцать детей от трех или более разных женщин. У Хуанга была харизма, он блестяще шутил и ко всем относился доброжелательно, пока не терял самообладания. Маск же часто не замечал настроение окружающих, был неловким, не умел общаться и сам называл себя аутистом. Хуанг предпочитал виски, никогда не писал в Twitter и, насколько я могу судить, за сорок лет ни разу не высказался на политические темы (проверив федеральные архивы, я не нашел ни одного пожертвования политикам, сделанного от его имени или от имени Лори). Маск курил травку, публиковал скандальные посты и поддерживал Трампа.
Но самым важным различием, пожалуй, было несовпадение мнений об опасности ИИ. Для Маска высокоразвитый ИИ представлял потенциальную угрозу уничтожения человечества. Это мнение разделяли многие инженеры и ученые, включая Хинтона и Суцкевера – авторов первой статьи об AlexNet. Хуанг смотрел на это иначе. К моему большому удивлению, он вообще не видел в ИИ никакой опасности.
К концу 2015 года Маск со свойственной ему скромностью решил, что лучший способ защитить человечество от ИИ – создать его самому. Маск выбрал для нового проекта необычную форму: он собрал коалицию спонсоров и технологов для создания OpenAI. «OpenAI – это некоммерческая исследовательская компания в области искусственного интеллекта, – было заявлено в первом посте в блоге организации. – Наша цель – развивать цифровой интеллект на благо человечества, не ограничиваясь задачей получения финансовой выгоды». В итоге некоммерческая организация собрала 135 миллионов долларов пожертвований. Маск, внесший около 45 миллионов, стал крупнейшим инвестором, среди других первых спонсоров были сооснователь LinkedIn Рид Хоффман и Сэм Альтман, президент венчурной инвестиционной фирмы Y Combinator. (Позже выбранная структура организации и методы ее финансирования создадут проблемы для всех участников.)
Параллельно со сбором пожертвований OpenAI формировала команду из выдающихся специалистов в области ИИ. К основателям присоединился Андрей Карпатый, тот самый, который демонстрировал на GTC 2015 свой генератор подписей к изображениям. В команду также вошел Войцех Заремба, польский программист, воссоздавший AlexNet в Google, а техническим директором стал Грег Брокман, разработчик из Северной Дакоты и один из первых сотрудников Stripe. Но главным приобретением оказался Илья Суцкевер, бывший партнер Алекса Крижевского по исследованиям, участвовавший в создании AlexNet и с тех пор направлявший развитие ИИ.
Сам Крижевский обошел все ловушки. Его крайняя необщительность не способствовала сотрудничеству с кем-либо, и в 2017 году он ушел из Google. Его доля от аукциона по продаже DNNResearch составила чуть меньше 15 миллионов долларов – достаточно, чтобы больше никогда не работать, особенно учитывая его аскетический образ жизни. В 2019 году он пригласил японскую съемочную группу в свою квартиру, находившуюся над вьетнамским рестораном в районе залива Сан-Франциско. Крижевский жил как монах. Стены были голыми, всю обстановку составляли стол, диван, цифровое пианино и телевизор, а единственным живым существом, кроме хозяина, был кот. Крижевский, своего рода Орвилл Райт в мире нейронных сетей, рассказал съемочной группе, что завязал с технологиями. «Может, это моя особенность, – сказал он, – но если я долгое время акцентируюсь на чем-то, лет через десять я начинаю терять к этому интерес».
Пока OpenAI собирала команду мечты, Хуанг занялся созданием для нее компьютера. Самым дорогим предложением от Nvidia на тот момент был системный блок, предназначенный для научных исследований и визуализации данных. Хуанг решил, что нужно что-то в 10 раз мощнее. Он поручил своей команде разработать DGX–1 – оснащенный искусственным интеллектом компьютер, архитектура которого была в первую очередь ориентирована на матричные вычисления.
Переделка началась на атомарном уровне. TSMC предложила новую технологию сборки под названием FinFET. Теперь транзисторы возвышались над кремниевой подложкой словно акульи плавники. Если бы микроскопический человек встал на зеркальную кремниевую поверхность, эти транзисторы, вздымающиеся со всех сторон на высоту 200 атомов, могли бы напомнить ему советские блочные многоэтажки.
Благодаря этим транзисторам разработчики могли гораздо лучше контролировать поток электричества. Предыдущие модели вели себя как старый садовый шланг: «протекали» повсюду и с трудом поддавались управлению. В новых вероятность утечек была устранена. Для разработчиков микросхем FinFET стала долгожданным воплощением триединства точности, эффективности и контроля.
Широкую публику не интересовали подобные инновации. Транзисторы и компьютеры только что пережили важнейший скачок развития начиная с 1970-х годов, но об этом вряд ли знал хотя бы 1% людей на планете. Выдающиеся достижения полупроводниковой индустрии воспринимались как должное даже программистами, как победы какого-нибудь знаменитого футбольного клуба. Компьютеры просто постоянно становились лучше, к этому все давно привыкли.
Однако в компании Nvidia появление транзисторов с архитектурой «акульего плавника» было встречено с восторгом. Разработчики микросхем занимались проектированием на невообразимо высоком уровне. Образно выражаясь, упоминавшийся выше лабиринт из волос теперь мог бы заполнить не теннисный корт, а целый штат Род-Айленд. А по мере того, как эти лабиринты начали расти ввысь, перед разработчиками открылись еще более фантастические возможности. Помните древнегреческий миф о Дедале, построившем лабиринт для Минотавра? Увидев то, что создавали инженеры Nvidia, легендарный строитель лабиринта заплакал бы от зависти.
Архитектура первой микросхемы Nvidia на основе FinFET получила название Pascal – в честь философа и математика XVII века Блеза Паскаля, который, помимо прочих его достижений, создал первый механический калькулятор. В названии содержалась скрытая отсылка к главному узкому месту в вычислениях: скорости расчетов. До сих пор вычислительным устройствам – от счетной машины Паскаля, собранной из шестеренок, до вакуумных ламп ЭНИАКа и миниатюрных чипов Intel и IBM – не хватало в первую очередь скорости. Однако процессор P100, выпущенный Nvidia в апреле 2016 года, считал быстрее, чем поступали данные. С появлением таких процессоров главным препятствием была уже не скорость вычислений. Мощные компьютеры перестали быть просто счетными машинами.
Хуанг предвидел возникшую проблему. С 2014 года Nvidia разрабатывала высокоскоростную шину для передачи данных под названием NVLink. Это была, можно сказать, пушка, выстреливающая в процессор миллионом матричных вычислений каждую секунду. Соединив восемь процессоров P100 по шине NVLink, Nvidia превратила отдельные кремниевые лабиринты в единый вычислительный суперлабиринт.
Этот великолепный массив стал основой DGX–1. Заключенное в элегантный металлический корпус с фактурной поверхностью устройство весило 61 килограмм, стоило 129 000 долларов и при этом потребляло энергии не больше сушилки для белья. DGX–1 стал самым мощным творением Nvidia – Хуанг называл его «центр обработки данных, помещенный в коробку». Эта машина не была предназначена для общих задач, ее единственным назначением было обучение все более мощных систем ИИ. DGX–1 было суждено встать в один ряд с ENIAC Джона Экерта и Джона Мокли и Apple II Джобса и Возняка как одному из важнейших вычислительных устройств в истории.
Первый такой компьютер получил Илон Маск. В августе 2016 года Хуанг лично доставил его в штаб-квартиру OpenAI в Сан-Франциско. Хуанг приехал в кожаной куртке – теперь он носил ее всегда. Устройство было настолько тяжелым, что в офис его пришлось завозить на тележке, а чтобы поднять на стол, потребовалось несколько человек. Маск вскрыл упаковку канцелярским ножом, и Хуанг расписался маркером прямо на компьютере. «Илону и команде OpenAI! – вывел он своим каллиграфическим почерком. – Будущему вычислений и человечества. Представляю вам первый в мире DGX–1!»
На следующей неделе Хуанг доставил еще один подписанный DGX–1 в лабораторию Фэй Фэй Ли в Стэнфорде. Через несколько дней начался конкурс ImageNet 2016. Модели с сотнями когнитивных слоев достигли точности распознавания изображений 98%, превзойдя средний результат человека, который составлял 95%. Шестьдесят лет исследований и десятки миллиардов долларов инвестиций ушли на то, чтобы научить искусственный интеллект отличать лопатку от топорика. Эпоха господства машин началась.