Страх настиг Йошуа Бенжио холодным зимним днем нового, 2023 года. Этот пионер разработки искусственного интеллекта из Монреаля был одним из первых сторонников нейронных сетей. Эта технология давно завораживала его, и он отстаивал ее важность даже в периоды спада. В 2019 году он получил премию Тьюринга – аналог Нобелевской премии в компьютерных науках – за основополагающие исследования в этой области. Награду с ним разделили его постоянные соавторы Ян Лекун и Джеффри Хинтон.

Бенжио был худощавым мужчиной с густыми изогнутыми бровями и пронзительным взглядом. Его родители, евреи-сефарды, переехали в Монреаль из Марокко в 1970-х, чтобы стать участниками авангардной театральной сцены. Сам Бенжио увлекся компьютерами, хотя изучение нейронных сетей в 1990-х считалось занятием не более серьезным, чем экспериментальный театр. Именно его работы послужили фундаментом для AlexNet, и к середине 2010-х Бенжио ощущал, что его усилия не пропали даром. Малоизвестные статьи, которые он когда-то публиковал в специализированных журналах, стали основой для новой научной области. Бенжио был академическим ученым, далеким от коммерции, но наблюдал за бумом искусственного интеллекта с некоей отеческой гордостью.

Как и многие исследователи в этой области, Бенжио иногда представлял мир, в котором искусственный интеллект стал слишком могущественным. Большую часть его карьеры это были не более чем забавные фантазии: если искусственный интеллект собирается захватить планету, почему так сложно получить грант в 10 000 долларов на его разработку? Но после публичного запуска ChatGPT Бенжио впервые в жизни начал испытывать беспокойство. Возможности ChatGPT его потрясли. Он не ожидал, что при его жизни появятся компьютеры, взаимодействие которых с человеком будет казаться осмысленным. И вдруг в конце 2022 года эта технология возникла ниоткуда. Это было столь же невероятно, как встретить инопланетянина.

Каждое утро в любую погоду Бенжио выходил на прогулку, чтобы привести в порядок мысли. В тот день, когда его настиг страх, было теплее обычного. Снег на улицах Монреаля превратился в слякоть. И вдруг посреди серого пейзажа его захлестнуло незнакомое чувство. Он называет это «преображением». «Я стал думать о своих детях и о внуке, – рассказывает он. – Что с ними будет через двадцать лет? Будут ли они вообще нормально жить?»

Этот страх был худшим из возможных – тем, что становится только сильнее, когда отбрасываешь эмоции и обдумываешь проблему рационально. Бенжио сравнивает его с угрозой ядерной войны. Впрочем, ему кажется, что в этом случае все еще хуже: ядерную войну какая-то часть человечества может пережить, но если нас решит уничтожить искусственный интеллект, он способен создать средство, которое истребит всех без исключения. «Не думаю, что существует что-то столь же опасное», – говорит он.

После той прогулки Бенжио связался со своим другом и соавтором Джеффри Хинтоном, чтобы убедиться, что не сошел с ума. Оказалось, что Хинтон независимо от него пришел к тем же выводам. Более того, это произошло похожим образом и почти в то же время. Исследуя возможности ChatGPT, Хинтон сначала испытал восторг от подтверждения своих идей, но очень скоро его радость переросла в серьезное беспокойство. Вскоре Хинтон уволился из Google, чтобы посвятить себя предупреждению человечества об опасности неконтролируемого искусственного интеллекта. Илья Суцкевер, создатель ChatGPT, тоже испытывал большую тревогу и предлагал полностью сосредоточиться на так называемой проблеме выравнивания – осуществлении контроля за сверхразумным ИИ, чтобы не допустить с его стороны действий, противоречащих интересам человечества. Бенжио, Хинтон и Суцкевер занимали первые места среди самых цитируемых ныне живущих специалистов по компьютерным наукам. И все трое опасались, что искусственный интеллект может уничтожить нас. Такое единодушие вызывало беспокойство.

Конечно, не все разделяли эту точку зрения. Ян Лекун, третий лауреат премии Тьюринга, считал, что его коллеги ведут себя нелепо. Лекун был главным архитектором нейронной сети 1998 года, способной распознавать человеческий почерк. Он продал лицензию на нее почтовой службе и финансовым учреждениям, которые использовали ее для чтения адресов и анализа бумажных чеков. Использование анализатора почерка Лекуна стало первым случаем широкого промышленного применения многослойной нейронной сети.

Уроженец Парижа Лекун обладал хорошим чувством юмора и говорил с уверенностью человека, чья интуиция неоднократно опережала научные исследования. Он много раз публиковал материалы в соавторстве с Бенжио, в том числе знаменитую статью о распознавании почерка. Оба говорили по-французски и за годы совместных исследований стали друзьями. Но сейчас из-за разницы во взглядах на опасность использования ИИ их пути разошлись. «Мы все еще друзья, – говорит Бенжио. – Но сейчас спорим на людях так, как друзья обычно не делают».

Лекун не испытывает страха перед искусственным интеллектом и считает, что Бенжио напрасно приписывает безобидной машине человеческие качества. «Стремление некоторых людей к доминированию или хотя бы манипулированию другими заложено в нас эволюцией, потому что мы социальный вид с иерархической организацией, – говорит Лекун в интервью журналу Time. – Системы искусственного интеллекта, какими бы умными они ни были, будут подчиняться нам. Это мы задаем им цели, и мы не встраиваем в них никакого стремления к господству».

Лекун признает, что нейронная сеть могла бы стремиться к власти, но уверен, что никто не станет создавать такой искусственный разум: «Это было бы безрассудно. К тому же совершенно бесполезно. Все равно никто бы это не купил». Слова Лекуна отсылают к мыслям Паскаля, который еще в середине XVII века вглядывался в шестеренки своей счетной машины в поисках сознания. «Счетная машина производит действия, которые ближе к мыслям, чем то, что делают животные, – писал он, – но не порождает ничего, что подтверждало бы наличие у нее свободной воли».

Бенжио полагает, что Лекун слишком самоуверен. Люди – как отдельные индивиды, так и целые общества – делают массу глупых и разрушительных вещей. До сих пор обучение ИИ требовало столь значительных расходов, что заниматься этим могли только серьезные ответственные организации, но постоянное снижение стоимости вычислений, которое обеспечивают технологии Nvidia, может в скором времени сделать обучение ИИ доступным для всех. А для появления неуправляемого суперинтеллекта достаточно единственного казуса. «Чем мощнее становится ИИ, тем вероятнее, что он захочет взять под контроль компьютер, на котором работает, чтобы получать большее вознаграждение, – говорит Бенжио. – И для нас это будет конец истории».

Хинтон придерживается той же точки зрения и предупреждает, что такая ситуация может возникнуть непреднамеренно. «Представьте, что будет, если всего лишь у одного из них возникнет самое крохотное, ничтожное желание позаботиться о себе», – говорит он. Такой ИИ победит, полагает Хинтон: «Он будет стремиться получать все больше ресурсов. Наиболее эгоистичные его решения окажутся самыми успешными. Полагаю, вы понимаете, насколько скользкий это путь».

Разногласия между Бенжио и Лекуном отражают раскол во всем сообществе разработчиков искусственного интеллекта. В дискуссиях специалисты часто используют параметрическую переменную p(doom), обозначающую вероятность того, что ИИ однажды уничтожит человеческую расу. С точки зрения Лекуна, p(doom) равна нулю. Бенжио считает, что она равна 50%. Это крайние оценки, хотя тревогу вызывает любой показатель выше нуля.

Когда Хинтон в начале 2023 года беседовал с Бенжио, он тоже оценивал p(doom) на уровне 50%. Проще говоря, самый известный специалист по ИИ считал, что шансы на катастрофу – пятьдесят на пятьдесят. Но в 2024 году в разговоре со мной Хинтон снизил эту оценку до 10–20%. «Я пересмотрел свой прогноз, поскольку многие умные люди, которых я глубоко уважаю, решительно со мной несогласны, – говорит он. – В первую очередь, конечно, Дженсен».

Для Дженсена p(doom) равна нулю. Можно даже сказать, что он считает этот показатель отрицательным, хотя математически это невозможно. Он открыто отвергает саму постановку вопроса, считая его нелепым и полагая, что люди, спорящие об этом, тормозят развитие цивилизации. Когда мы сидели в Denny's, он высказался в том духе, что Хинтон порочит свое академическое наследие, рассуждая о подобных вещах.

Мнение Дженсена заставило Хинтона смягчить свою оценку, но Бенжио твердо стоит на своем (неслучайно Бенжио – один из немногих крупных специалистов по ИИ, никогда не бравших денег у компаний Кремниевой долины). И Хинтон, и Бенжио поддержали законопроект штата Калифорния, призывающий регулировать обучение ИИ в случае, когда оно превышает 100 миллионов долларов.

Этот законопроект, SB 1047, был воспринят в Кремниевой долине в штыки. Против него выступила коалиция венчурных капиталистов и технологических корпораций, а также целый отряд лоббистов из Сакраменто. Известный инвестор Нэнси Пелоси опубликовала заявление с призывом не голосовать за проект. Так же поступили некоторые ученые, например Фэй Фэй Ли из Стэнфорда, утверждавшая, что законопроект затормозит инновации, но никак не снизит риски. Эндрю Ын, профессор, синтезировавший изображения кошек в Google, сказал, что переживать из-за возможного захвата власти ИИ не более рационально, чем волноваться о возможной перенаселенности Марса. Хотя опросы общественного мнения показали, что почти 80% населения штата поддерживает SB 1047, в сентябре 2024 года губернатор Калифорнии Гэвин Ньюсом наложил на законопроект вето.

Дженсен не делал публичных заявлений по поводу SB 1047, но подчеркивал, что нет никаких данных, подтверждающих предположения (безусловно, довольно сумбурные) об опасности ИИ. Когда я пересказал возражения Дженсена Бенжио, тот возмутился. «Конечно, нет никаких данных! – воскликнул он. – Человечество пока не исчезло! Что же нам, ждать, пока человечество будет уничтожено несколько раз, чтобы сказать: "Ага, теперь у нас есть данные?!"» В его словах была логика. Никакие данные в мире не могли предсказать прорыв AlexNet или успех архитектуры трансформеров. Дважды за десять лет произошел внезапный и необратимый скачок в развитии ИИ. Бенжио не считает, что нынешние нейросети представляют прямую угрозу человечеству, но что принесет следующий прорыв? Никто не может сказать, каким он будет и когда произойдет.

Даже если сверхразум не появится в ближайшее десятилетие, его возникновение через двадцать, тридцать, пусть даже сто лет кажется неизбежным. По времени подобная перспектива выходит за рамки прогнозируемой окупаемости инвестиций, но остается в пределах человеческой истории. Через пару поколений гомо сапиенс может перестать быть доминирующим видом на планете, но венчурные капиталисты так далеко не заглядывают.

Конфликт между желанием получать краткосрочную прибыль и долгосрочными рисками создает хаос в мире ИИ-стартапов. В ноябре 2023 года разыгралась странная драма в совете директоров OpenAI: Илья Суцкевер сначала проголосовал за отстранение Сэма Альтмана, а через несколько дней начал умолять его вернуться. В итоге Альтман одержал победу, а совет директоров заменили.

Вскоре стало очевидно, что, несмотря на заявленную некоммерческую миссию OpenAI, «ограниченная» заинтересованность Microsoft в получении прибыли подталкивает организацию к разработке самых сложных моделей ИИ. После переворота в компании Суцкевер избегал прессы, но в сентябре 2023 года в беседе со мной сообщил, что переключился с создания разрастающихся языковых моделей на задачу согласования сверхразума ИИ с интересами человечества. «Я не могу говорить о конкретных моделях, – сказал он, – но я разрабатываю то, что, по моему мнению, станет окончательным решением проблемы, которая беспокоит людей: что ИИ выйдет из-под контроля и совершить что-то крайне нежелательное».

К концу 2024 года такое решение так и не появилось, хотя продукты OpenAI становились все масштабнее и мощнее. В мае 2024 года OpenAI выпустила GPT–4o, где «o» означало omni, – мультимедийный ИИ, который работал с любыми комбинациями текста, аудио, изображения и видео. Благодаря микросхемам Nvidia последнего поколения, обеспечивающим сверхбыстрый вывод, модель демонстрирует молниеносное время отклика. На следующий день после выхода GPT–4o Суцкевер написал заявление об увольнении.

Вскоре OpenAI включила в GPT–4o разговорный модуль, и благодаря практически мгновенным ответам общение с ним стало походить на беседу с очень умным человеком (многие сравнивали его с ИИ из фильма «Она»). В тот же день, когда OpenAI выпустила GPT–4o, Google представила Astra: ИИ – ассистента дополненной реальности, способного мгновенно ответить на любой вопрос, запомнить что угодно и описать обстановку. Claude, модель от стартапа Anthropic, по многим показателям не уступала GPT–4o, а в чем-то даже превосходила ее.

Правительства разных стран, не желая доверять свои конфиденциальные данные сторонним облачным сервисам, строили масштабные национальные центры обучения ИИ. Проект xAI Маска заключил контракт на 10 миллиардов долларов на аренду GPU-серверов Oracle (видимо, его опасения насчет экзистенциальных рисков ИИ, высказанные в 2015 году, развеялись). Компания Meta Марка Цукерберга сделала крупнейшие инвестиции в нейросеть, объявив о намерении потратить 30 миллиардов долларов на покупку миллиона процессоров Nvidia и обеспечить их питание от специального ядерного реактора.

Те, кто ожидал, что законопроект, принятый в Калифорнии, способен все это предотвратить, были слишком наивны. По мере увеличения скорости графических процессоров Nvidia росли и связанные с этим ожидания экономического подъема. Промышленные магнаты Кремниевой долины сделали ставку на ИИ, и уменьшение их прибыли означало бы обвал фондового рынка. Ни у одного политика в мире не хватило бы влияния сотворить такое.

И все же, хотя интересы капитала взяли верх над всеми предостережениями Бенжио, Хинтона и Суцкевера, их аргументы остаются в силе. Они лучше других знают потенциал ИИ, и их репутация в научных кругах служит тому подтверждением. Мне кажется, к ним все же стоит прислушаться. «Сейчас девяносто девять очень умных людей из ста пытаются сделать ИИ лучше, и только один пытается понять, как не дать ему захватить власть», – говорит Хинтон.

Должен признаться, мне самому знаком этот страх. Именно из-за него я начал изучать историю Nvidia и в конечном счете написал эту книгу. С момента публичного запуска ChatGPT я был уверен, что моя писательская карьера подходит к концу. GPT–4 писала не более чем сносно: на экзамене по английской литературе ее результаты оказались лучше, чем всего лишь у 22% учащихся (уверен, я обошел бы 23%). Но модели постоянно совершенствовались и начали писать лучше, чем я во время учебы в университете. Долгий путь ученичества, который я прошел, прежде чем в возрасте тридцати шести лет опубликовал свою первую книгу, оказался бы бессмысленным, будь такой инструмент доступен во времена моей молодости.

Грядущая смерть профессии писателя была небольшой личной трагедией, но я готов признать, что и кучера, вероятно, ненавидели автомобили. Зато улицы хотя бы перестали быть завалены навозными лепешками. Я легко приспосабливался к переменам и отнюдь не был луддитом. Я любил технологии, интернет, космические путешествия, мечтал о беспилотном автомобиле и купил первый iPhone в день его выхода. Идеологических предубеждений против капитализма у меня тоже не было: более того, как американец, я считал, что крупные корпорации существуют для того, чтобы потакать моим прихотям.

И все же ИИ тревожил меня. Порой так, что я не мог ночью заснуть. И в этом я не был одинок: Бенжио рассказал мне, что ему тоже снятся кошмары. В ближайшие годы кто-то представит первую модель нейросети со 100 триллионами параметров, сопоставимую по числу синапсов с человеческим мозгом. Что будет с людьми после этого?

Акселерационисты настаивали, что благодаря ИИ появятся новые профессии и рабочие места, как это произошло после прошлой промышленной революции. Но я уже понял, что, если прижать подобного оптимиста к стенке, он признается, что это сравнение притянуто за уши и никто не знает, что будет на самом деле. Марк Твен ошибался: история не рифмуется. Екклезиаст тоже был неправ: под солнцем появляется немало нового. Оно возникает постоянно, со времен пещерных людей, и уж точно машинный мозг со 100 триллионами синапсов, работающий с частотой 5 миллиардов герц, не имеет аналогов в истории, религии или философии. Так что никто не может с уверенностью сказать, что ждет людей в эпоху ИИ.

Но Дженсен настаивал, что ИИ безопасен. У него, конечно, были свои мотивы: деньги и самолюбие. Он так долго практически в одиночку сражался за то, чтобы сделать параллельные вычисления прибыльными, что теперь был твердо намерен наслаждаться плодами своего труда. Похоже, его раздражали такие фигуры, как Маск и Альтман, которые публично говорили об опасности развития ИИ, но при этом продолжали покупать его оборудование. Я понимал его точку зрения: было что-то лицемерное в том, как разработчики ИИ, предрекая грядущий конец света, продолжали обучать все более мощные модели.

Уверенность Дженсена также основывалась на многочисленных отличиях ИИ от биологического мозга. Уже известно, что мозг не учится методом обратного распространения ошибки. Нейронные сети лишь имитируют природные нейроны: например, в них нет аналога сопутствующих глиальных клеток, а также вегетативной нервной системы. У нейронной сети нет гипоталамуса, гиппокампа или эпифиза. Нейронная сеть не подвержена влиянию гормонов, не испытывает полового влечения, не нуждается в отдыхе, не может иметь и любить детей и никогда не видит снов.

Хорошо натренированная модель может не только имитировать человеческий разум, но порой и превосходить его, однако у нее отсутствуют чувственная память, эмоции, воображение, функции размножения и инстинкт самосохранения. В этом смысле трудно назвать ее по-настоящему живой – она не обладает даже той степенью самодостаточности, которая присуща самым примитивным одноклеточным организмам. Хотя между обучением нейронных сетей и эволюцией можно провести параллели, ИИ не прошел через тот безжалостный дарвиновский отбор планетарного масштаба, который породил биологическую жизнь с ее законами «убей или умри» и «съешь или будь съеден».

Необходимо также учитывать и положительные моменты. Ник Бостром, автор печально известного аргумента о максимизации скрепок, к 2024 году задался новым вопросом: чем будут заниматься люди в «мире, где все решено», с неограниченными возможностями ИИ? В своей книге 2024 года «Глубокая утопия» Бостром предлагал читателям представить мир, где все неинтересные задачи выполняют роботы, а любой мысленный опыт можно воссоздать в симуляторе.

Это не были просто фантазии: после успешного распознавания нейросетью изображений Фэй Фэй Ли готовилась создавать этот «мир решенных задач» на практике. В 2024 году на конференции GTC она представила проект под названием Behavior–1K. Выйдя на сцену вместе с Биллом Дэлли, Ли рассказала, как с помощью платформы Amazon Mechanical Turk провела опрос большой группы людей, попросив их расположить по степени важности тысячи ответов на простой вопрос: «Насколько полезно для вас будет, если робот сделает это за вас?» На вершине списка оказались наименее приятные задачи: чистка туалетов, мытье полов и уборка после вечеринок. Внизу оказались занятия, которые приносили людям радость: выбор украшений, игра в сквош и открывание подарков. На основе этих данных Ли, используя Omniverse от Nvidia, начала обучать ИИ выполнять наиболее неприятные задачи. В недалеком будущем – возможно, даже скорее, чем мы можем представить, – одна из нейронных сетей будет управлять реальным роботом, который займется уборкой туалетов.

Мир, в котором проблемы решены, имеет свои привлекательные стороны. Людям может наскучить играть в сквош или распаковывать подарки, но, как показали исследования Ли, именно действия, а не философские рассуждения определяют результат. Можно легко представить, как в ближайшие десятилетия роботы, обожающие выполнять бытовые работы, станут в развитых странах таким же обыденным явлением, как холодильник. Возможно, мир, в котором люди больше не будут мыть туалеты, несет определенные экзистенциальные риски, но я предполагаю, что почти все согласятся на такое будущее, что бы они ни говорили. Хотел бы я иметь робота для уборки туалета? Еще бы! Однако, даже когда я пытался оценить все преимущества ИИ, тревога меня не покидала. Чем больше я пользовался нейросетями, тем чаще ставил под сомнение свою значимость. Скоро они будут писать лучше меня, а со временем и мои интервью будут проходить сквозь фильтры искусственного интеллекта. Я представлял, как беседую по видеосвязи с важным человеком, не подозревая, что на самом деле общаюсь с его цифровым двойником. Мне казалось, что моя профессия скоро исчезнет. Реальность, к которой мы привыкли, исчезнет. Возможно, сам человеческий разум исчезнет. Не играет ли Хуанг, увлеченный наращиванием мощи своего детища, с судьбой нашего вида? Мне нужно было это узнать. Мне нужно было задать ему этот вопрос в последний раз.