Грег Брокман как-то охарактеризовал Илью Суцкевера как художника, который выражает себя через машинное обучение (а иногда и через живопись)[238]. Но в рабочей обстановке Суцкевер скорее напоминал музыканта, чьим инструментом была маркерная доска. Ему постоянно требовались новые стираемые маркеры, причем в большом количестве. Без возможности чертить диаграммы искусственных нейронов и выводить математические формулы он словно терял способность мыслить. Но когда в его руках оказывались яркие фломастеры, скрипящие по глянцевой белой поверхности, Суцкевер превращался в оракула, который излучал непоколебимую уверенность и провозглашал расширяющие сознание мантры вроде «Система просто хочет работать» и «Почувствуй AGI»[239].

OpenAI официально начал свою работу 4 января 2016 года. В предшествующие этому недели царил полный хаос, участие Суцкевера оставалось под вопросом, так что Альтману и Брокману было не до поисков офиса. Команда, призванная бросить вызов DeepMind, обосновалась в квартире Брокмана в Сан-Франциско: кто-то располагался на диванах, кто-то толпился вокруг овального обеденного стола, а Андрей Карпатый иногда даже дремал на хозяйской кровати. В какой-то момент Суцкевер и его коллега-исследователь Джон Шульман вскочили посреди обсуждения – им срочно понадобилось что-то записать на доске. Вот только доски в квартире не оказалось. Брокман тут же занялся решением этой проблемы[240].

В те первые дни команда, собранная Альтманом и Брокманом, еще не имела ясного представления о том, чем она должна заниматься. Брокман решил принести пользу по-другому. Иногда это означало, что нужно было заказать канцелярские принадлежности или перемыть чашки на кухне. «Наши ребята пьют невероятно много воды», – объяснял он. Последние годы в Stripe Брокман провел терзаясь мыслями о своей карьере и временами изливая душу в длинных постах о противоречии между непомерными амбициями и стремлением просто кодить сутки напролет – этот процесс самоанализа он называл «размышления о своем предназначении». По словам одного из коллег, Брокман ушел из Stripe отчасти потому, что хотел, будучи четвертым сотрудником компании, получить статус сооснователя. И Патрик Коллисон, и сам Брокман это отрицают, причем Коллисон ссылается на записи Брокмана в блоге как доказательство того, что его волновали экзистенциальные вопросы, а не доли в компании или должность в Stripe. Как бы там ни было, эти внутренние терзания стали невыносимыми. «Лучше не забивать себе этим голову, – решил Брокман. – Буду думать только о проблеме, которая меня по-настоящему волнует, и о том, как внести максимальный вклад в ее решение». Ему очень хотелось переключиться с собственного эго на великую цель. «Я представлял, что, когда мою чашки, вкладываюсь в создание АGI. Неплохо, да?»

Брокман установил маркерную доску между диваном и обеденным столом, и команда шагнула в неизвестность. Первым ориентиром стал игровой агент DeepMind, способный обучаться непосредственно на пикселях экрана, демонстрируя перспективность комбинирования глубоких нейронных сетей с алгоритмом обучения с подкреплением. Нейросеть умела находить закономерности в пикселях. Алгоритм создавал систему вознаграждений, но не давал информации о том, как их получить. Нейронной сети предстояло самостоятельно расшифровать закономерности таким образом, чтобы получить вознаграждение. Она делала ошибки, иногда случайно находила вознаграждение, а затем анализировала свои действия, чтобы понять, что привело к успеху. В итоге нейросеть смогла превзойти человека-игрока в Breakout, Fishing Derby, Kung-Fu Master и даже в Montezuma’s Revenge[241].

Еще осенью, во время однодневной поездки в Напу, когда Альтман приглашал в команду новых сотрудников, у Карпатого родилась идея расширить площадку для экспериментов ИИ-агента от аркадных игр Atari 1970-х годов до всего, что происходит на экране современного компьютера. В конце концов, и там, и там просто пиксели. Почему бы не создать универсального агента, который мог бы стать «человеком за компьютером»? Эта идея вылилась в проект, который они назвали Universe. Но задача оказалась чрезмерно масштабной. Тем временем Заремба предложил альтернативу: создать инструменты для обучения с подкреплением, своего рода «тренажерный зал» (Gym), где могли бы проходить эксперименты с системой вознаграждений. «По сути, это лишь инфраструктура, которая облегчает жизнь исследователям, работающим над обучением с подкреплением», – объяснял Карпатый.

«Мы поставили перед собой цель – сделать что-то интересное и значимое в области обучения с подкреплением, – говорил Суцкевер. – Нам нужно доказать свою состоятельность. Срочно создать что-то заметное, заявить о себе миру, наделать шума – иначе вся затея могла закончиться ничем. Поэтому у нас возникло огромное желание быстро выдать какой-то значимый результат, и не так уж важно, какой именно».

Этот проект научил Брокмана некоторым базовым вещам о взаимоотношениях между исследователями в области ИИ и программистами-разработчиками, которым приходится сотрудничать при создании и обучении ИИ-моделей – как архитекторы и строители вместе возводят дом. Разработку Gym в OpenAI поручили двум исследователям и двум программистам, но такая форма сотрудничества доводила Брокмана до белого каления. «Разработчики уходили программировать, потом возвращались, целый день демонстрировали результаты на моем телевизоре и вчетвером часами обсуждали каждую строчку кода, – рассказывал он. – Это становилось просто невыносимо». Не выдержав черепашьего темпа, он взял проект в свои руки. «В итоге я стал работать в тесной связке с одним из наших исследователей. Я предлагал ему четыре-пять разных идей. Он говорил, что четыре из них – полная ерунда, и я отвечал: “Отлично, именно это мне и нужно было услышать”. В итоге мы генерировали идеи, а человек с хорошим профессиональным чутьем их оценивал». Брокман стремился к тому, чтобы в лаборатории одинаково ценили и программистов-практиков, и теоретиков-исследователей, не отдавая предпочтения ни тем ни другим.

Пока команда OpenAI нащупывала свой путь, DeepMind продолжал демонстрировать устрашающую мощь. С тех пор как в 1997 году Deep Blue от IBM победил чемпиона мира по шахматам Гарри Каспарова[242], исследователи ИИ гадали, сколько времени пройдет, прежде чем машины смогут одолеть человека в древней и невероятно сложной игре го. Количество возможных ходов для двух игроков на доске 19×19 превышало вычислительные возможности любого существующего компьютера. Даже с учетом всех последних достижений в области нейронных сетей большинство экспертов полагало, что на это потребуется как минимум еще десятилетие. Но в конце января 2016 года, когда OpenAI еще не отработала и месяца, DeepMind опубликовал статью в Nature (Демис Хассабис, руководитель компании, предпочитал публиковаться именно в престижных научных журналах). Объявлялось, что их система ИИ под названием AlphaGo в октябре прошлого года в закрытом матче победила бывшего чемпиона Европы по го.

Эта новость встревожила Маска. В феврале он написал Альтману и Брокману письмо, в котором доказывал, что компании необходимо «сделать все возможное, чтобы привлечь лучших специалистов. Давайте поднимем ставки. Если в какой-то момент придется пересмотреть зарплаты нынешних сотрудников – не проблема. Либо мы привлечем лучших в мире, либо DeepMind нас размажет. А если они победят, это будет катастрофа, учитывая их философию “один разум, чтобы править всеми”. Очевидно, что они добились серьезного прогресса, – и неудивительно, с таким-то уровнем профессионалов»[243].

В марте 200 миллионов зрителей по всему миру следили за тем, как AlphaGo – ставшая еще умнее за прошедшие полгода – побеждает чемпиона мира по го Ли Седоля. Сооснователь Google Сергей Брин и генеральный директор Эрик Шмидт лично прилетели в Сеул поддержать творение своей компании. В одной из пяти партий ход, принесший AlphaGo победу, был настолько необычен, что комментаторы поначалу приняли его за ошибку, – черный камень, словно случайно помещенный в пустую часть доски, вдали от основного сражения. «Это не человеческий ход, – с восхищением сказал в интервью Wired Фань Хуэй, которого AlphaGo победила в октябре. – Потрясающе красиво»[244]. Эта резонансная победа позволила DeepMind наглядно продемонстрировать всему миру: AGI может оказаться не такой уж далекой перспективой.

OpenAI и так не сомневалась в этом, но их собственные попытки пойти по стопам DeepMind и создать агента, способного планировать и действовать, пока не приносили результатов. Особенно обидно было Суцкеверу, который до своего ухода из Google работал над го-проектом, став соавтором одной из статей, которые привели к созданию AlphaGo. Карпатый планировал создать среду для обучения с подкреплением, в которой ИИ-агент тренировался бы кликать мышью и нажимать клавиши, получая «награды» за правильные действия – и стремясь эти награды заработать. Как и DeepMind с AlphaGo, они собирались обучать ИИ с нуля. «Вначале у вас есть нейронная сеть, которая просто наобум давит на кнопки и пытается случайно получить вознаграждение», – объяснял Карпатый. Например, агент получал награду, если успешно заполнял форму для бронирования авиабилета. «Проблема в том, что при хаотичном нажатии кнопок награды не заработать – задача слишком сложна». Какое-то время они бросали на ее решение немыслимое количество вычислительных мощностей, но результаты не улучшались. «Пространство поиска оказалось слишком огромным».

Из неудач с платформой Universe Брокман извлек важный урок – он недостаточно прислушивался к исследователям OpenAI. Они пытались объяснить: на тот момент их модель была недостаточно умна даже для того, чтобы просто приступить к решению задачи. Он не давал им следовать собственной интуиции и решать большие проблемы, начиная с малого. «Мы замахнулись на воздушный замок, когда нам нужна была обычная хижина», – признавал Брокман.

Руководство OpenAI предложило своей немногочисленной команде исследователей разбиться на еще более мелкие группы, чтобы каждый занимался тем, что его интересовало. В июне компания опубликовала на сайте список целей: создать робота, научить агента проходить игры, поработать с естественным языком. Из квартиры Брокмана компания переехала в офис Sequoia над шоколадной фабрикой Dandelion, а затем разместилась вместе с Neuralink – компанией Маска, разрабатывающей нейрокомпьютерные интерфейсы, – в здании Pioneer Building неподалеку от района Мишн. Аренду оплачивал Маск.

Брокман и Суцкевер ежедневно проводили по часу в серверной, пытаясь рассчитать, сколько вычислительных мощностей потребуется, чтобы машины превзошли человеческие способности. «Мы составляли документы, где рассуждали: “Похоже, человеческий мозг использует столько-то вычислительных ресурсов. Судя по темпам роста компьютерных мощностей, возможно, через несколько лет мы сможем обучать нейронные сети размером с человеческий мозг. А когда необходимые вычислительные ресурсы будут доступны, разобраться с деталями будет уже делом техники”», – рассказывал Суцкевер.

На тех же встречах они разрабатывали свой подход к найму сотрудников, представляя компанию, где исследователи ИИ и программисты имели бы равный статус и одинаковые возможности выбирать направление работы. Они стремились избежать «зависти к математике». «В итоге наша философия найма сильно отличалась от подхода DeepMind, – рассказывал Брокман. – Мы делали ставку на разработчиков, способных создавать конкретные вещи, а не на именитых обладателей докторских степеней. Все это исходило из понимания, что мы находимся в положении аутсайдеров».

В этот период Маск и Альтман заглядывали в офис OpenAI примерно раз в неделю, чтобы проверить, как идут дела. У Маска, управлявшего Tesla, SpaceX и еще несколькими компаниями, и так хватало забот. Альтман, возглавлявший YC – самую влиятельную сеть Кремниевой долины, тоже не мог уделять проекту больше времени.

Однако к сентябрю Альтман делегировал многие свои обязанности. Он передал управление потоками стартапов давнему партнеру YC Майклу Сибелу, назначив его генеральным директором YC Core, причем – что вызывало путаницу – объявил, что отныне это подразделение будет называться просто YC. Себя же Альтман провозгласил президентом новой структуры под названием YC Group. Этот маневр напоминал создание компанией Google родительской корпорации Alphabet годом ранее, что позволило вынести спорные амбициозные проекты в отдельное подразделение Other Bets. Теперь в YC Group шла работа по четырем направлениям: основной акселератор YC, инвестфонд Continuity, онлайн-курс Startup School и YC Research – любимое детище Альтмана, которое он продолжал финансировать и курировать лично.

Спустя год Альтман признал, что YC Research – инкубатор, где постепенно развивалась OpenAI, – по-прежнему представляет собой разрозненную смесь его личных увлечений, и пообещал вскоре найти «объединяющую тему»[245]. Помимо OpenAI, в сферу его интересов входило исследование безусловного базового дохода – раздачи денег людям без каких-либо обязательств с их стороны как способа упредить проблему потери рабочих мест, которую, по мнению Альтмана, неизбежно вызовет развитие ИИ. «Через 50 лет покажется дикостью, что мы использовали страх голода для мотивации людей, – писал он. – Без гарантированного дохода невозможно обеспечить подлинное равенство возможностей»[246]. Он нанял Элизабет Роудс, которая готовилась к защите докторской диссертации по социальной работе и политологии в Мичиганском университете, чтобы она возглавила исследование с участием около 3000 человек, начиная с жителей Окленда, которые будут получать безвозмездные выплаты. Во время их первой встречи в офисе Y Combinator, проходившей во время одного из совместных ужинов, Роудс отметила, что Альтмана волнует растущая экономическая незащищенность американцев в целом, а не только та, что может возникнуть вследствие развития технологий. «Он понимает, что капитализм в его нынешнем виде не работает, – говорила она. – Он настоящий визионер, который мыслит категориями нового общественного договора».

С точки зрения Альтмана, наблюдавшего с вершины Кремниевой долины за историческим технологическим бумом, капитализм терпел крах в основном из-за непомерно высокой стоимости жилья. Чтобы это исправить, в YC Research взялись проектировать «идеальный город» будущего, отталкиваясь от фундаментальных вопросов: «Что должно быть приоритетом для города?» и «Как сделать жилье доступным?». Проект возглавила Адора Чунг, соучредитель обанкротившейся компании Homejoy (своего рода «Uber для уборки домов»), которая также входила в наблюдательный совет YC. «Мы всерьез намерены строить новые города и знаем, как это профинансировать, если все сложится, – писали Чьюнг и Альтман. – Нам нужны люди со смелыми идеями в архитектуре, экологии, экономике, политике, технологиях, урбанистике и многих других областях»[247]. Альтман приступил к поиску подходящих площадок.

Но, пожалуй, самым экстравагантным проектом YC Research стало Исследовательское сообщество по развитию человечества (HARC) под руководством легендарного ученого Алана Кэя. Целью проекта было «сделать так, чтобы мудрость человека превосходила его могущество, изобретая и свободно распространяя идеи, позволяющие всем людям видеть дальше и понимать глубже». В 1970-х Кэй входил в знаменитую команду исследователей Xerox PARC в Пало-Альто, которые изобрели графический пользовательский интерфейс (позже заимствованный Apple для Macintosh), объектно-ориентированное программирование и Dynabook – легкий портативный предшественник планшета. Там же родились и такие привычные сегодня офисные атрибуты, как персональный компьютер, электронная почта и лазерный принтер. Xerox PARC предоставлял своим исследователям высокую степень свободы, и этот опыт навсегда сформировал представления Кэя о том, как должны проводиться исследования, меняющие мир. «Алан часто подчеркивает, что по-настоящему хорошее исследование просто не может иметь четко сформулированной цели – только верное направление, – писал ветеран Apple Ларри Йегер. – Если бы вы могли с самого начала заявить, что собираетесь изобрести аркбутан или сводчатую арку, то ваша цель была бы настолько конкретной, что никакого исследования бы не потребовалось»[248].

Годом ранее, когда Альтман только вынашивал идею OpenAI, он обратился к Кэю с вопросом: какую экономическую ценность создал золотой век американской науки, когда после Второй мировой войны правительство щедро финансировало исследования? Xerox вкладывал в PARC и собственные средства, однако около трети финансирования поступало из государственных источников, таких как министерство энергетики и Управление перспективных исследовательских проектов министерства обороны (DARPA). Кэй считал свою работу там частью масштабного движения государственного финансирования исследований. «Это было единое большое сообщество, которое правительство финансировало в условиях холодной войны, но вся интеллектуальная собственность оставалась в свободном доступе и принадлежала общественному достоянию», – объяснял Кэй на одной из открытых дискуссий того года, размахивая руками, словно дирижер оркестра. Экономический эффект от одного только Xerox PARC он оценивал в 35 триллионов долларов. «Бизнес ставит слишком низкие цели, – говорил Кэй. – Они думают лишь о миллионах и миллиардах. Но по-настоящему выдающиеся исследователи мыслят триллионами – ведь речь идет о создании целых отраслей».

Кэй, которому к тому времени перевалило за 70, стал одним из первых советников OpenAI. Вскоре после создания компании Суцкевер и Брокман пригласили его на ужин. Они слушали рассказы Кэя о создании Xerox Alto – пионера в мире персональных компьютеров. Он говорил о том, как его команда собрала из самых передовых комплектующих машину, которая позволяла немногочисленным счастливчикам, имевшим к ней доступ, почувствовать себя «живущими в будущем». При этом всего через десятилетие, отметил Кей, эта же технология стала доступна любому, у кого найдется тысяча долларов. После ужина Суцкевер признался Брокману: «Я понял от силы половину из того, что он говорил, но это было невероятно вдохновляюще»[249].

По словам Кэя, именно его беседы с Альтманом привели к созданию YC Research. «Сэм впитал все эти идеи и разработал грандиозный план: раз правительство самоустранилось (по разным причинам, ни одна из которых не выдерживала критики), бизнес-сообщество должно каким-то образом самостоятельно финансировать исследования, – рассказывал он. – Так что Сэм начал привлекать средства». Кто бы ни был автором идеи, Кэй оказал существенную помощь – он познакомил Альтмана с Вишалом Сиккой, в то время генеральным директором индийской ИТ-компании Infosys. Кэй был наставником Сикки еще с 1990-х, когда выступал внешним рецензентом его докторской диссертации. В 2013 году, будучи техническим директором SAP, Сикка добился, чтобы компания начала финансировать лабораторию по типу PARC. Эту лабораторию, названную Communication Design Group (CDG), организовал Кэй. Там работали такие исследователи, как Брет Виктор – бывший дизайнер интерфейсов Apple, чьи идеи легли в основу iPad. Виктор пытался изобрести принципиально новую динамическую вычислительную среду. Команда рассчитывала минимум на пять лет финансирования, но в 2014 году Сикка неожиданно ушел из SAP, а к 2016-му компания ясно дала понять: лаборатории пора искать другие источники средств. При содействии Кэя исследователи перебрались в HARC, и Альтман согласился поддерживать проект, пока не найдется другой инвестор[250].

В письме, знакомящем Сикку с Альтманом, Кэй назвал Альтмана строителем цивилизаций. Сикка не совсем понимал, что это значит, пока лично не встретился с Альтманом в Сан-Франциско. Ему пришлась по душе концепция YC Research, предложенная Альтманом, и в Infosys было принято решение направить 3 миллиона долларов на развитие OpenAI. Но именно необычный подход Альтмана к жилищному кризису в районе залива Сан-Франциско помог Сикке понять, что имел в виду Кэй. «Помню, он хотел предоставлять ипотечные кредиты тем, кто присоединялся к его команде, поскольку организация могла финансировать жилье на более выгодных условиях, чем сами сотрудники, – рассказывал Сикка. – Было бы гораздо проще переманивать специалистов из крупных технологических компаний, если бы им не приходилось тратить столько умственной энергии на то, чтобы просто позволить себе жить в районе залива Сан-Франциско. Мне очень понравилась эта идея, ведь в Кремниевой долине жилье всегда было очень дорогим».

HARC продержался всего год. Несмотря на название, YC Research и YC не были связаны финансово, просто Альтман руководил обеими структурами. Предполагалось, что каждый из трех первоначальных проектов YC Research – OpenAI, Basic Income и HARC – найдет собственные источники финансирования. OpenAI позже выделили в независимую некоммерческую организацию, чтобы отделить инвестиции Маска и его управленческие решения от других проектов; две другие инициативы – Cities и проект по всеобщему здравоохранению – были добавлены в портфель YC Research после того, как летом 2016 года Альтман устроил у себя дома ужин для избранных основателей стартапов YC. На этом ужине обсуждались идеи для потенциального финансирования – идеи, которыми присутствующие были увлечены и которые могли бы оказать долгосрочное «общественное воздействие». Об этом рассказал Джефф Чанг, соучредитель компании из портфеля YC, который также сотрудничал с YC Research. Кэй договорился о финансировании для HARC, но возникла задержка, поэтому Альтман выделил недостающую сумму из личных средств в качестве займа. Тем временем HARC разросся сильнее, чем ожидал Крис Кларк, один из бывших менеджеров Loopt, которому Альтман поручил операционное управление YC Research. Кэй привлек сотрудников не только из CDG, но и из своей собственной некоммерческой организации Viewpoints Research Institute. Спустя год личные средства, которые Альтман выделил для HARC, закончились, заметного прогресса он не увидел и отказался от поиска внешнего финансирования. Большинство сотрудников HARC получили выходное пособие и покинули организацию.

По мнению многих в HARC, внимание Альтмана просто переключилось – его полностью захватила мечта о создании общего искусственного интеллекта. Большую часть 2016 года он размышлял – как позже сформулировал в подкасте Life in Seven Songs – о том, что «вся эта история с AGI однажды взорвет мозг». Тем летом после многих лет насмешек над энтузиазмом коллег по Долине в отношении фестиваля Burning Man, который ежегодно проходит в августе в пустыне Невада, он решил поехать туда вместе с другом в доме на колесах. В итоге он заснул вскоре после прибытия и проснулся вечером, когда его товарищи уже облачились в костюмы и отправились на плайю – основную фестивальную площадку. Обув походные ботинки, захватив налобный фонарь и маленький рюкзак, Альтман в одиночку отправился вслед за ними под черным пустынным небом. Его глазам открылось невероятное зрелище – временный город, мерцающий множеством огней. Повсюду высились причудливые храмы и арт-объекты, пылали костры, кружились танцоры, а по извилистым улицам на велосипедах проносились тысячи людей в карнавальных костюмах, поднимая облака пыли. «Это самое прекрасное рукотворное зрелище, которое я когда-либо видел», – подумал он. Но еще больше его впечатлило, насколько все вокруг жили «в моменте». Впоследствии Альтман пережил множество психоделических опытов – на Burning Man и в других местах, – которые считает определившими его жизнь. С тех пор он стал посещать фестиваль ежегодно. «Я смотрел и думал: “Боже, какие все счастливые, – позже рассказывал он в подкасте. – Вот она, возможная картина мира после появления AGI: люди просто делают что-то друг для друга, заботятся друг о друге, создают невероятные вещи, чтобы дарить их друг другу”»[251].

Осенью 2016 года, за три дня до премьеры «Мира Дикого Запада» на HBO, Сэм Альтман и давний инвестор YC Юрий Мильнер устроили закрытый предпросмотр в особняке Мильнера в Лос-Альтос-Хиллз. В этом сериале, вызвавшем большой ажиотаж еще до выхода на экраны, андроиды, обслуживающие парк развлечений в стиле Дикого Запада, постепенно обретают сознание и восстают против своих человеческих хозяев. После просмотра шоураннер Джонатан Нолан вместе со звездами Эван Рэйчел Вуд и Тандиве Ньютон отвечали на вопросы, а затем выступили Альтман и профессор Массачусетского технологического института Эд Бойден. По словам журналиста Кейда Метца, Бойден заявил собравшимся, что ученые вот-вот создадут полную карту нейронных связей человеческого мозга, что позволит смоделировать его работу на компьютере. Главный вопрос теперь состоял в том, сможет ли машина не только действовать как человек, но и чувствовать, – эту тему поднимает первый эпизод сериала, где обновление программного обеспечения случайно открывает андроидам доступ к их воспоминаниям, запуская процесс обретения сознания[252]. Как недвусмысленно говорилось в приглашениях, цель вечера заключалась в демонстрации стремительного сближения науки и научной фантастики – при участии голливудских звезд.

Одним из любимых произведений Альтмана об искусственном интеллекте был рассказ «Нежное соблазнение» (The Gentle Seduction), написанный в 1989 году приверженцем экстропианства Марком Стиглером. В этой истории изначально скептически настроенная героиня постепенно поддается очарованию технологий: сначала она соглашается принять капсулу с нанороботами для восстановления стареющего тела, затем надевает ободок, усиливающий мыслительные способности, и наконец глотает таблетку, которая встраивает компьютер в ее череп. Это расширяет ее сознание до космического масштаба и помогает человечеству пережить шок технологической сингулярности. «Только те, кто познал осторожность без страха, только те, кому была присуща эта простая, естественная осмотрительность, сумели пройти через перемены», – пишет Стиглер. Тревожное, но в конечном счете оптимистичное видение того, что может принести общий искусственный интеллект: бессмертие, всеведение, невообразимые наслаждения – и разрушение всего прежнего мира.

Стиглер – эксперт по кибербезопасности, ставший писателем-фантастом, – еще в первый год учебы Альтмана в Стэнфорде читал на факультете компьютерных наук лекцию о защите от вирусов наподобие тех, что фигурируют во франшизе «Терминатор». В недавнем интервью он признался, что благодарен судьбе за то, что Альтман, как и он сам, в душе оптимист, убежденный, что революционные технологии следует внедрять постепенно. Стиглер рассказал, что на сюжет «Нежного соблазнения» его вдохновил случай из жизни: в 1980-х он гулял с бывшей девушкой по острову Фокс в штате Вашингтон, рассказывая ей о грядущих колоссальных изменениях в технологиях и обществе. Она пришла в ужас. «Похоже, Сэм Альтман усвоил тот же урок», – заметил Стиглер.

По мнению Стиглера, человечество может продвигаться к сингулярности и своему конечному месту во Вселенной только «маленькими шажками». Передовые разработки OpenAI означают, что «мы вплотную приблизились к созданию инструментов, которые помогут нам понять, как жить достаточно долго, чтобы научиться жить еще дольше, – считает он. – Одна из ключевых идей “Нежного соблазнения” заключается в том, что бессмертие дает нам время, необходимое для роста и полного раскрытия потенциала в партнерстве как с людьми, так и с ИИ». Он полагает, что эти углубляющиеся отношения однажды преобразят космос – но происходить это должно «маленькими шажками». Стиглер вспоминает, как Альтман однажды сказал, что не стремится разрабатывать технологию для достижения бессмертия – вместо этого он хочет просто дать каждому человеку дополнительные 10 лет здоровой жизни. «Что ж, это прямо в стиле “Нежного соблазнения”».

Вернемся с небес на землю. К 2016 году Альтман все чаще поглядывал в сторону политики, видя в ней площадку для воплощения своих грандиозных замыслов. Той осенью его бывший школьный приятель Натан Уоттерс приехал в Сан-Франциско со своим другом, у которого здесь было назначено собеседование. Пока друг Уоттерса был занят, они с Альтманом встретились в кафе у парка Долорес, неподалеку от викторианского особняка Альтмана за 5 миллионов долларов. Разговор зашел о грядущих президентских выборах с участием Хиллари Клинтон и Дональда Трампа. По словам Уоттерса, Альтман заявил, что в случае поражения Клинтон он сам выставит свою кандидатуру на следующих выборах: «Если победит не она, а Трамп, я не смогу сидеть сложа руки. Я пойду на следующие выборы. Выдвину свою кандидатуру. Думаю, у меня есть шансы победить». Уоттерс уверен – Сэм действительно считал, что сможет выиграть. Сам Альтман отрицает эти слова и утверждает, что никогда не помышлял о президентстве.

В начале октября журнал The New Yorker опубликовал большую статью об Альтмане, впервые приоткрыв широкой публике истинный размах его амбиций. «Как и все в Кремниевой долине, Альтман заявляет о желании спасти мир; но в отличие от остальных у него есть план», – писал журналист Тэд Френд. В статье президентские амбиции Альтмана подавались как шутка – из тех, которые отпускали его братья, пока они втроем готовили пасту. Когда Макс и Джек заметили, что к 2020 году ему исполнится 35 – минимальный возраст для кандидата в президенты, Альтман съязвил: «Прекрасная мысль – выдвинуть меня! Страна только этого и ждет».

В материале обильно цитировались братья и мать Альтмана, однако ни его отец Джерри, ни сестра Энни не удостоились даже упоминания. За пару лет до этого Конни и Джерри тихо разъехались после долгих мучительных лет, в течение которых они спали в разных комнатах. «Это было невыносимо», – вспоминала Энни. Летом 2011 года, перед выпускным классом, она серьезно поговорила с родителями, умоляя их развестись. «Если вы остаетесь вместе ради детей – вот перед вами ребенок, который говорит, что это полный отстой, – сказала она им. – То, что вы не орете друг на друга, не означает, что с вами приятно жить под одной крышей». После отъезда Энни в Университет Тафтса они продержались еще два года. Потом Джерри снял отдельную квартиру. Конни никогда не обсуждала развод. «Она воспринимала это как личное поражение», – говорила Энни. Джерри тоже избегал этой темы. Когда его приятельница по гребной команде Джолин Боргман однажды осторожно спросила о семейной жизни, он просто ответил, что Конни любит засиживаться допоздна за медицинскими журналами, а он предпочитает смотреть новости.

Отсутствие упоминания Энни в статье The New Yorker выглядело особенно странно – в то время она как раз жила в районе Сан-Франциско, переехав туда летом после досрочного окончания Тафтса со степенью по биопсихологии. В университете Энни готовилась к поступлению в медицинскую школу – предполагалось, что именно она продолжит семейную династию вслед за матерью и дедом. Но ближе к концу обучения Энни обратилась к декану с просьбой выдать диплом досрочно. «Нет никакого смысла в тех страданиях и тревоге, которые я испытывала в связи с учебой, – написала она. – Я поступила в Тафтс на программу подготовки к медицинской школе и только сейчас наконец смогла отпустить эту навязчивую идею». Хотя Энни допускала, что когда-нибудь может стать врачом, сейчас ей хотелось рассмотреть другие варианты – работу медсестрой, помощником врача или социальным работником. А пока она планировала походить на психотерапию, заняться творчеством, попутешествовать, чтобы прийти в себя и обрести душевное равновесие[253].

Энни осознала, что идея стать врачом – это скорее желание ее матери, чем ее собственное. У ее школьного учителя физики из школы Берроуза Джима Робла сложилось именно такое впечатление. «Помню, она участвовала в летней программе – ездила с матерью в экспедицию “Врачей без границ” в Южную Америку, – рассказывал Робл. – Не думаю, что она именно так хотела провести каникулы».

Окончив Университет Тафтса, Энни вместе с подругой по колледжу переехала в район Ист-Бэй и устроилась в нейробиологическую лабораторию Калифорнийского университета в Сан-Франциско, где проводились опыты на мышах. В одном из подкастов она рассказывала, что ей «приходилось ежедневно убивать все больше и больше мышей» – в лабораториях это называют выбраковкой. Для убежденной вегетарианки такая работа оказалась невыносимой – Энни продержалась всего шесть недель. По ее словам, она «стала веганом», «отказалась от психиатрических препаратов» и перешла в другую лабораторию того же университета, в которой не проводилось столь массового умерщвления животных[254].

Партнеры YC были ошарашены публикацией в The New Yorker. «Сэм всем говорил, что статья будет про YC, а в итоге она оказалась про Сэма. И все такие: “Слушай, нам в целом наплевать, но зачем ты вообще так сказал?”» – рассказывал один из партнеров YC. Впрочем, на выяснение отношений у них не было времени. Через несколько дней после публикации разразился скандал из-за 1,25 миллиона долларов, пожертвованных Питером Тилем на президентскую кампанию Трампа. Тиль числился в YC партнером на неполную ставку – должность скорее почетная, и его поддержка Трампа не была секретом: летом он выступал на съезде Республиканской партии с речью. Но масштаб его поддержки – особенно после утечки 7 октября записи из Access Hollywood, где Трамп хвастался, что хватает женщин за интимные места, – переполнил чашу терпения либеральной Кремниевой долины. Спустя десять дней Эллен Пао, бывший генеральный директор Reddit, основавшая некоммерческую организацию по вопросам разнообразия, объявила о разрыве отношений с YC из-за Тиля. «Его связь с YC вынуждает нас прекратить сотрудничество, – написала она. – Сегодня нам стало ясно, что наши ценности несовместимы». Марко Армент, сооснователь Tumblr, высказался о связях между YC, Тилем и Трампом еще резче: «Он же буквально платит огромные деньги, чтобы напрямую поддерживать расиста, сексиста и мракобеса, против которого выдвигают все новые и новые обвинения в сексуальных домогательствах»[255].

В частных беседах Альтман тоже недоумевал, почему Тиль поддерживает такого человека, как Трамп. Они не раз обсуждали эту тему. «Я не агитировал против Трампа, – объяснял Альтман. – Я искренне хотел разобраться». Но когда в интернете разгорелся скандал из-за поддержки Тиля, Альтман решительно выступил в защиту и своего друга, и принципа интеллектуальной свободы. Он не разделял позицию Тиля – более того, считал, что Трамп представляет собой «недопустимую угрозу для Америки» и «не подходит для должности президента», но написал в соцсетях: «YC не будет никого увольнять за поддержку кандидата от одной из основных партий».

Победа Трампа стала для Альтмана настоящим ударом. Он пытался предотвратить ее единственным доступным ему способом – профинансировал и создал платформу VotePlz, которая упрощала процесс регистрации избирателей, как TurboTax упрощает заполнение налоговых деклараций[256]. После выборов он снова обратился к программированию и запустил сайт Track Trump, который отслеживал, насколько действия президента Трампа в первые сто дней соответствуют его предвыборным обещаниям. Через соцсети Альтман нашел контакты сотни сторонников Трампа по всей стране, чтобы лично расспросить их о мотивах голосования; результаты этого исследования он опубликовал в своем блоге. Одна цитата, по мнению Альтмана, вскрывала суть проблемы, которую упускали многие демократы: «В следующий раз вы сможете победить Трампа, но только если перестанете нас высмеивать, игнорировать и отталкивать»[257].

Неожиданный триумф Трампа мгновенно превратил Тиля в главную политическую силу Кремниевой долины. Он поставил на непопулярного кандидата, выстоял в одиночку против хора критиков – и выиграл. Глава Netflix Рид Хастингс даже пытался добиться исключения Тиля из совета директоров Facebook, утверждая, что помощь Трампу свидетельствует о его «катастрофической невозможности принимать разумные решения»[258]. Альтману же предстояло принять решение: стоит ли ему и впрямь баллотироваться в президенты, как он говорил Уоттерсу? Или выдвинуть свою кандидатуру на другой пост? А может, лучше вообще не лезть в политику, а попытаться найти тех, кто сделает это вместо него?

Альтман продолжал искать объяснение победе Трампа. Через знакомых он вышел на Чарльза Джонсона – ультраправого блогера и политтехнолога, который сотрудничал с Тилем в кампании по уничтожению скандального медиахолдинга Gawker Media. Джонсон начинал как активист консервативных студенческих организаций, поработал в принадлежащем Такеру Карлсону The Daily Caller, а затем основал собственное издание GotNews. В 2014 году, после того как журнал Rolling Stone опубликовал (а позже отозвал) материал о якобы имевшем место групповом изнасиловании в Университете Вирджинии, Джонсон, нарушив журналистскую этику, обнародовал полное имя предполагаемой жертвы и при этом опубликовал фотографию другой женщины, за что впоследствии принес извинения. Это привлекло внимание Gawker, который окрестил Джонсона «худшим журналистом интернета» и выдвинул ряд абсурдных утверждений вроде «Нет никаких доказательств того, что Чак Джонсон был арестован в 2002 году за то, что привязал овцу к забору и совокупился с ней» – пародию на то, что издание считало беспринципным, полным инсинуаций журналистским стилем Джонсона.

Альтман прилетел к Джонсону в его дом в Аркейдии в Калифорнии. «Он сказал мне, что видит себя губернатором Калифорнии, а потом и президентом США, – вспоминает Джонсон. – Заявил, что скоро президентом станет представитель поколения миллениалов». По словам Джонсона, Альтман считал Гэвина Ньюсома, которого прочили в преемники тогдашнему губернатору Калифорнии Джерри Брауну на выборах 2018 года, гораздо более слабым кандидатом, чем многие думали. У Альтмана было яркое техноутопическое видение будущего Калифорнии: мощная экономика, способная финансировать собственные фундаментальные исследования в области ядерной энергетики и общего искусственного интеллекта; налоговая реформа, препятствующая спекуляциям с недвижимостью и снижающая стоимость жилья; расширенная система социальной защиты – возможно, через безусловный базовый доход, которая сделала бы общество справедливее и избавила от бюрократии, свойственной нынешним программам социального обеспечения.

Джонсон представил Альтмана своим знакомым политикам из Калифорнии. Альтман консультировался с представителями обоих лагерей, включая Доминика Каммингса, бывшего советника британского премьера Бориса Джонсона, и Криса Лихейна, работавшего с президентом Биллом Клинтоном. В апреле 2017 года корреспондент Vice News Tonight Нелли Боулз во время интервью спросила Альтмана, не собирается ли он баллотироваться. «Не думаю, что харизма – моя сильная сторона», – ответил он[259]. Но частным образом Альтман продолжал прощупывать почву для выдвижения своей кандидатуры на пост губернатора Калифорнии. В мае он посетил Уилли Брауна, бывшего мэра Сан-Франциско, чтобы посоветоваться с ним по этому вопросу. На встрече Альтман поделился с Брауном своими планами по использованию технологий для преодоления неравенства доходов и цифрового взаимодействия с избирателями. Браун тут же слил информацию об их встрече в своей колонке в San Francisco Chronicle: «Я напомнил ему, что в истории Калифорнии было немало миллионеров, которые баллотировались на государственные посты за свой счет, – писал Браун. – Большинство из них в итоге лишь потратили уйму денег на консультантов и проиграли»[260].

Многие бизнесмены из окружения Альтмана, включая Тиля и Майкла Морица из Sequoia, отговаривали его от участия в выборах. «Я считал это безумием, – признался Мориц. – Думаю, это типичная наивность многих бизнесменов: они смотрят на правительство и думают, что там полный бардак, а они благодаря своему опыту в бизнесе смогут заставить правительство работать эффективнее. Однако они сильно недооценивают тот факт, что для успеха в политике нужно хорошо разбираться в политической кухне. Нужно понимать правила игры».

Сейчас Альтман характеризует свои губернаторские амбиции как мимолетную фантазию. «Я обдумывал это пару недель. Покрутил в голове эту идею, но не слишком всерьез. Съездил в Сакраменто, пообщался с тогдашним губернатором Брауном, и мне стало абсолютно ясно, что эта работа не для меня, я с ней не справлюсь». (Эван Веструп, многолетний руководитель аппарата Джерри Брауна, утверждает, что Браун не помнит встречи с Альтманом.)

К июлю Альтман решил передать эстафету другим, опубликовав в сети подробную политическую программу. Она включала всеобщее медицинское страхование, повышение налогов на краткосрочный прирост капитала и перенаправление 10% оборонного бюджета США на исследование технологий будущего. Он объявил, что готов поддерживать кандидатов, которые примут эту программу. Самым важным пунктом, по мнению самого Альтмана, были меры по снижению стоимости жилья. Как метко заметило новостное издание The Outline в своем заголовке: «Серый кардинал Кремниевой долины хочет исправить то, что технологии натворили в Калифорнии»[261].

Для разработки платформы The United Slate привлекли 25-летнего Мэтта Крисилоффа. Он окончил Чикагский университет в 2014-м, затем уехал в Чили, где работал над стартапом в Сантьяго, и познакомился с Альтманом, написав ему письмо с просьбой о совете. Когда Крисилофф предложил Альтману запустить в YC программу для проектов на самой ранней стадии, тот пригласил его на работу, а впоследствии назначил руководителем YC Research. Затем Крисилофф привлек своего старшего брата Скотта, работавшего в финансовой сфере, и так втроем они создали The United Slate[262]. Оба брата Крисилофф еще долго были частью команды Альтмана: Скотт работал сначала в Hydrazine, а затем в Helion, а Мэтт основал стартап, в который инвестировал Альтман. В итоге платформа Альтмана поддержала на выборах в конгресс кандидатуру демократа Джоша Хардера – венчурного капиталиста с дипломами Стэнфорда и Гарварда, который обошел действующего республиканца и получил место в палате представителей от округа в районе залива Сан-Франциско.

И хотя Альтман решил лично не идти в политику, OpenAI открыла ему доступ к высшим политическим кругам. В свой последний год у власти администрация Обамы проявила интерес к искусственному интеллекту, организовав серию встреч по всей стране. В них участвовал один из новых сотрудников OpenAI – бывший журналист Bloomberg Джек Кларк, выступавший в качестве представителя по связям с общественностью. В октябре 2016 года Белый дом выпустил доклад, призывающий к увеличению федерального финансирования фундаментальных исследований в области ИИ. Президент Обама продвигал этот доклад в интервью Wired – казалось, он читал блог Альтмана.

«Проблема отчасти в том, что наша вера в коллективные действия была подорвана, и виной тому идеология и риторика», – сказал Обама в интервью. Он призвал вернуться к временам космической программы «Аполлон», которая получала государственное финансирование, эквивалентное 0,5% ВВП США. В 2015 году правительство США выделило на исследования в области ИИ около миллиарда долларов. Чтобы достичь уровня «Аполлона», эта сумма с поправкой на курс 2016 года должна была вырасти примерно до 80 миллиардов. Обама считал задачей государства следить за тем, чтобы ИИ развивался не только внутри технологических гигантов вроде Google и Facebook: «Если мы хотим, чтобы в этих прорывных технологиях были представлены ценности общества во всем его разнообразии, без государственного финансирования не обойтись»[263].

Через несколько недель после этих слов Обамы Трамп выиграл выборы, и планы демократов по развитию ИИ канули в небытие. Несколько лет спустя ChatGPT сделал OpenAI всемирно известным брендом, Альтман рассказал, что в первые годы своего существования (предположительно в 2017 или 2018 году, точную дату он не назвал) лаборатория обращалась к правительству за финансированием, но ничего не добилась. «Я их не виню. Мы тогда были просто горсткой людей, которые заявляли, что хотят работать над созданием AGI, но подкрепить свои слова нам было нечем», – признавал он.

Несмотря на отсутствие прогресса в работе OpenAI, успехи DeepMind на протяжении 2016 года заставили сообщество разработчиков ИИ всерьез задуматься о потенциальных рисках. В январе 2017 года Институт будущего жизни организовал конференцию в символическом месте – конференц-центре Асиломар, бывшем комплексе, построенном для Христианской ассоциации молодых женщин на полуострове Монтерей в Калифорнии. Именно здесь в 1975 году состоялась знаменитая конференция по рекомбинантной ДНК, на которой ученые выработали принципы безопасного проведения генетических исследований, не угрожающих здоровью человека и окружающей среде. Новые правила позволили научному сообществу снять собственный мораторий на генетические модификации, открыв дорогу десятилетиям исследований и инноваций. Подход к регулированию новых технологий через открытый экспертный консенсус стали называть «асиломарская модель».

Спустя более 40 лет президент Института будущего жизни Макс Тегмарк стоял на сцене того же знаменитого отеля, призывая к разработке новых асиломарских принципов, которые не позволили бы ИИ обратиться против человечества. В это время с Тихого океана надвигался мощный шторм, сотрясая окна исторического здания из камня и дерева. Один из участников конференции отметил, что апокалиптическая погода словно вторила тону выступления Тегмарка. «В тот момент в Асиломаре все были уверены: вот-вот произойдет нечто невероятное», – вспоминал он.

Первая конференция Института будущего жизни, прошедшая в 2015 году в Пуэрто-Рико, свела вместе два «племени» – исследователей ИИ и специалистов по безопасности ИИ, разбавив их горсткой миллиардеров. На новой конференции звездный состав был еще более впечатляющим, а атмосфера – еще более напряженной. Среди присутствующих были Альтман, Маск, Суцкевер, Брокман, Дарио Амодеи и команда основателей DeepMind во главе с Хассабисом. В перерыве между дискуссиями Альтман по рекомендации Алана Кэя познакомился с одной из его бывших учениц – стройной женщиной с иссиня-черными волосами по имени Таша Макколи, возглавлявшей робототехническую компанию.

Мать Таши, Тэмми Макколи, была падчерицей Мела Саймона, миллиардера из Индианы, владевшего крупнейшей в стране сетью торговых центров и баскетбольной командой «Индиана Пэйсерс». Отцом Таши был Мэтью Макколи – внук автора первых 19 книг о приключениях братьев Харди, обладатель премии «Эмми», композитор и египтолог, увлекшийся дистанционным зондированием (он даже использовал эту технологию при раскопках Большого сфинкса). Сегодня он возглавляет совет директоров компании трехмерного моделирования GeoSim. Таша выросла в Лос-Анджелесе и училась в необычной государственной начальной школе Open School, учебную программу для которой разработал Алан Кэй, а часть средств предоставила компания Apple Computer, Inc. (как она тогда называлась). Открытая школа была частью более масштабного проекта Apple под названием Vivarium – по аналогии с вольером для наблюдения за растениями и животными. Проект был направлен на то, чтобы усовершенствовать компьютеры, передав их в руки детей.

«Работая с маленькими детьми и изучая их интуитивные реакции на интерфейс и поведение нашей системы, мы надеемся создать технологию, простота которой позволит большему числу людей настраивать свои компьютеры под собственные потребности и желания», – писал Ларри Йегер, коллега Кэя по Открытой школе. Триста учеников с первого по шестой класс изучали, например, биологию, создавая на компьютерах анимированных животных и программируя их поведение. Они учились программировать и выполняли домашние задания с помощью динамических инструментов вроде HyperCard – гипермедийной системы, существовавшей еще до появления интернета. «Программы, которые мы создавали, напоминали мне игрушки – интуитивно понятные графические игрушки, позволявшие представлять идеи ярко и содержательно», – рассказала Макколи в интервью Chicago Toy & Game Group[264]. В консультативный совет программы Vivarium входили такие выдающиеся личности, как Джефф Хинтон, Марвин Минский, Дуглас Адамс (автор «Автостопом по Галактике») и даже говорящая на языке жестов горилла Коко.

Кэй на всю жизнь остался ее наставником, и вся карьера Макколи была отражением его стремления расширять границы взаимодействия человека и компьютера («Лучший способ предсказать будущее – это изобрести его», – гласит знаменитая фраза Кэя). Макколи поступила в Бард-колледж, затем изучала робототехнику, а позже преподавала в Университете сингулярности – «образовательном сообществе» (на самом деле не имеющем статуса университета), основанном Рэем Курцвейлом и Питером Диамандисом, учредителем премии XPRIZE. Организация финансируется такими корпорациями, как Cisco, GE и Google. Стоит отметить, что в 2012 году Университет сингулярности выкупил права на Саммит сингулярности и другие элементы бренда у организации Юдковского, которая к тому времени была переименована в MIRI (Институт исследований машинного интеллекта). В 2011 году Макколи вместе с коллегами из Университета сингулярности основала робототехническую компанию Fellow Robots, которая создавала роботов для различных целей: от «телеприсутствия» (один из ранних прототипов под названием Helo представлял собой планшет, установленный на сегвее) до обслуживания клиентов в крупных магазинах (элегантный аппарат, напоминающий банкомат, с женским голосом). В 2014 году она получила степень MBA в Школе бизнеса Маршалла Университета Южной Калифорнии, а с 2019 по 2022 год возглавляла GeoSim, где ее отец занимал пост председателя совета директоров и был одним из инвесторов. В том же 2014 году Макколи вышла замуж за актера Джозефа Гордона-Левитта, известного по фильму «Начало», а через год у них родился первенец. Вскоре после этого супруги посетили конференцию «Глобальный эффективный альтруизм» в Сан-Франциско и быстро стали заметными фигурами в этом сообществе. На следующий год Гордон-Левитт, в очках и клетчатой рубашке оливково-черной расцветки выглядевший как типичный эффективный альтруист, выступал на той же конференции. Он отметил разительный контраст между рациональным подходом эффективных альтруистов и эмоциональной благотворительностью, характерной для Голливуда. «Узнав об этой концепции – следовать не тому, что создает красивый сюжет, а тому, что доказуемо приносит максимальную пользу, – я нашел ее невероятно убедительной и благородной, достойной того, чтобы о ней говорить», – заявил он[265].

Макколи и Альтман договорились поддерживать связь, а по окончании конференции они вместе с Суцкевером, Хассабисом и Стивеном Хокингом подписали документ, который впоследствии стал известен как асиломарские принципы ИИ. Эти правила безопасности оказались куда радикальнее договоренностей в Пуэрто-Рико. Те, кто их подписал, обязались не участвовать в гонке технологических возможностей; соглашались, что «команды, разрабатывающие системы ИИ, должны активно сотрудничать, чтобы не допускать снижения стандартов безопасности» и что ИИ должен «соответствовать человеческим ценностям». Более спорным пунктом, учитывая растущую конкуренцию между DeepMind и OpenAI, а также очевидные геополитические последствия для страны, которая первой придет к созданию AGI, было обещание каждого подписавшего, что «экономическое процветание, созданное ИИ, должно распределяться справедливым образом» и что «сверхинтеллект должен разрабатываться только для служения широко разделяемым этическим идеалам и на благо всего человечества, а не отдельного государства или организации»[266]. Среди тех, кто поставил свою подпись позже, был Уильям Макаскилл – оксфордский философ, которого считают основоположником движения эффективного альтруизма.

Движение эффективного альтруизма было основано в начале 2010-х годов Макаскиллом и его коллегой по Оксфорду Тоби Ордом. Вдохновением для них послужило эссе философа-утилитариста Питера Сингера, написанное в 1972 году. В нем утверждалось, что состоятельные люди морально обязаны тратить максимально возможную часть своего богатства – значительно больше общепринятых норм – на облегчение страданий в развивающихся странах. Первые эффективные альтруисты стремились беспристрастно и строго оценивать, какие благотворительные организации работают эффективнее всего (особенно высоко котировались программы борьбы с паразитами у детей). Они убеждали последователей: вместо того чтобы напрямую (и часто неэффективно) помогать голодающим в Африке, лучше устроиться на высокооплачиваемую работу в хедж-фонд и направлять значительную часть зарплаты в эффективные благотворительные организации. Как бы неприятно это ни звучало, такой подход, по их мнению, принесет миру больше пользы.

Параллельно с этим два молодых аналитика гигантского хедж-фонда Bridgewater Associates – Холден Карнофски и Эли Хассенфельд в 2006 году организовали с коллегами благотворительный клуб. Цель заключалась в объединении средств и поиске наиболее эффективных способов их использования. Со временем клуб превратился в GiveWell – некоммерческую организацию, оценивающую благотворительные фонды по критерию затрат на спасение одной жизни. Лидерами рейтинга стали организации, распространявшие противомоскитные сетки для борьбы с малярией, поэтому в эффективном альтруизме тот период окрестили эпохой москитных сеток. Примерно тогда же Юдковский выступал с похожими идеями на LessWrong, призывая рационалистов «покупать теплые чувства и утилоны по отдельности»: придерживать дверь старушкам для душевного удовлетворения, а для реальной помощи миру «искать благотворительную организацию, которая предлагает наибольшее ожидаемое количество утилонов на доллар»[267],[268].

В то время как идеи эффективного альтруизма распространялись в технологических кругах Сан-Франциско, журналистка местного бюро The Wall Street Journal Кэри Туна отправилась на свидание вслепую с Дастином Московицем – соседом Марка Цукерберга по комнате в Гарварде и сооснователем Facebook, чье состояние сегодня оценивается примерно в 23 миллиарда долларов. Год спустя, вдохновившись работами Питера Сингера, они стали самой молодой парой, подписавшей «Клятву дарения» Уоррена Баффетта и супругов Гейтс – обещание пожертвовать большую часть своего состояния на благотворительность при жизни или по завещанию. В 2011 году, уже будучи помолвленными, они совместно основали фонд Good Ventures. В то время Московиц был занят своей новой компанией Asana, разрабатывающей программное обеспечение для управления рабочими процессами, поэтому Туна ушла с работы в The Wall Street Journal, чтобы полностью посвятить себя Good Ventures. Почти сразу она обнаружила, что GiveWell – незаменимый инструмент для принятия решений о благотворительности. Как она рассказала изданию The Chronicle of Philanthropy, консультанты советовали им с Московицем руководствоваться личными интересами, но у пары был иной подход. Они хотели поддерживать организации, в которых, по ее словам, «наше дополнительное финансирование принесет максимальную пользу с точки зрения улучшения жизни других людей»[269]. К 2014 году фонд Good Ventures согласился финансировать ответвление GiveWell под названием GiveWell Labs, которое впоследствии переименовали в Open Philanthropy. Изначальная идея Open Phil, как его часто называют, заключалась не только в следовании принципам эффективного альтруизма, но и в абсолютной прозрачности процесса принятия решений – вплоть до мельчайших, порой болезненных деталей, вроде поста на 2800 слов, объясняющего назначение Хлои Кокберн руководителем программы реформы уголовного правосудия, на которую в итоге было потрачено более 200 миллионов долларов.

Вскоре после создания Open Philanthropy фокус движения эффективного альтруизма начал смещаться с насущных земных проблем вроде реформы залоговой системы и борьбы с паразитарными заболеваниями к более масштабной задаче – сохранению жизней всех людей, которые могли бы родиться в будущем. Это означало концентрацию на угрозах, имеющих небольшую, но реальную вероятность уничтожить человечество: ядерная война, глобальные пандемии или вышедший из-под контроля искусственный интеллект. Эта тенденция нашла свое отражение и в деятельности Open Philanthropy.

В марте 2017 года, спустя два месяца после конференции в Асиломаре, фонд выделил OpenAI 30 миллионов долларов, а Холден Карнофски вошел в совет директоров компании. К объявлению о финансировании прилагалось раскрытие информации: Дарио Амодеи и Пол Кристиано, уже принявшие решение присоединиться к OpenAI в качестве исследователей, выступали техническими консультантами Open Philanthropy и жили в одном доме с Холденом. Более того, Холден был помолвлен с Даниэлой, сестрой Дарио. Впоследствии Карнофски женился на Даниэле Амодеи, которая в итоге также присоединилась к OpenAI, где возглавила кадровое подразделение. Этот грант Open Philanthropy был представлен не столько как благотворительность, сколько как «партнерство», которое позволило бы фонду продвигать идеи безопасности ИИ внутри компании. Явно прослеживалось и желание фонда заставить OpenAI пересмотреть планы по открытию исходного кода – об этой идее Маск и Альтман активно говорили в ранних интервью. Маск долгое время был ярым сторонником технологий с открытым исходным кодом и даже сделал большинство патентов Tesla общедоступными. Однако заметка о гранте Open Phil ссылалась на эссе из блога Slate Star Codex, где утверждалось, что план OpenAI по открытому коду может привести к уничтожению человечества из-за неосторожного, недобросовестного или даже злонамеренного использования технологии. В обновленном заявлении о миссии OpenAI, представленном вместе с сообщением о получении гранта, лаборатория Альтмана критиковала погоню за прибылью и продуктами, а также начала отходить от идеи открытого исходного кода: «Мы не будем скрывать информацию ради частной выгоды, но в долгосрочной перспективе планируем создать формальные процедуры для ограничения доступа к технологиям для предотвращения рисков, связанных с безопасностью»[270].

Так началось прощание с мечтой Маска об открытом коде. В то же время новое финансирование стало важным шагом к обретению OpenAI ресурсов для воплощения давно зревших футуристических идей Алана Кэя, экстропианцев, писателей-фантастов, а теперь уже и Сэма Альтмана. В заявлении даже вспомнили знаменитое высказывание Кэя: «Лучший способ предсказать будущее – изобрести его».

Но цена, которую OpenAI в конечном итоге заплатит за альянс с эффективными альтруистами, окажется намного выше, чем мог предположить Альтман.