Через месяц после продажи Loopt Питер Тиль вошел в битком набитую аудиторию Стэнфордского университета. Его курс «CS183: Стартап» мгновенно достиг лимита 250 студентов, и теперь счастливчики, успевшие записаться, заполняли проходы и сидели прямо на полу. Обладатель двух стэнфордских дипломов, впоследствии основавший PayPal и вложивший заработанные миллионы в Facebook на самой ранней стадии, в каталоге курсов Тиль был представлен как успешный предприниматель и инвестор, который планирует привлекать своих друзей, чтобы они поделились своим опытом создания звездных стартапов.

Однако курс, который он задумал, должен был стать гораздо более провокационным. Тиль, в детстве шахматный вундеркинд, получил философское образование в Стэнфорде, где учился у французского историка и литературного критика Рене Жирара. Миметическая теория Жирара утверждала: то, что мы воспринимаем как собственные желания, на самом деле лишь копирование чужих. По словам биографа Тиля Макса Чафкина, эта теория вкупе с травлей со стороны либерально настроенных однокурсников лишь усилила природную склонность Тиля идти против течения. Еще студентом он основал консервативный журнал Stanford Review. В 30 лет выпустил книгу с критикой университетского мультикультурализма. Позже, когда он уже стал инвестором, его противоречивая натура помогла правильно предсказать – пусть и не сумев на этом заработать – финансовый кризис. Попутно Тиль увлекся целым рядом дико экстравагантных идей, например финансировал проекты либертарианских утопий на плавучих платформах в международных водах и пытался приблизить момент, когда технологический прогресс сможет развиваться сам собой, без участия человека.

И теперь он разворачивал, пожалуй, самую противоречивую кампанию из всех: убеждал американскую молодежь бросать учебу в университете. Годом ранее он запустил программу стипендий Тиля, предлагая их перспективным молодым предпринимателям, готовым променять элитное образование на собственный бизнес. И вот он стоит за кафедрой в своей альма-матер, говоря о чем-то, казалось бы, гораздо более значительном и странном, чем простое зарабатывание денег[156].

Его курс произвел фурор. Один из студентов, Блейк Мастерс, конспектировал лекции и выкладывал записи в сеть. Эти конспекты вызвали огромный резонанс на Hacker News, веб-форуме Y Combinator, и легли в основу бестселлера 2014 года «От нуля к единице»[157], написанного Тилем и Мастерсом в соавторстве двумя годами позже. Дэвид Брукс из The New York Times посвятил целую колонку разбору основных идей курса[158]. Казалось бы, главный тезис очевиден: конкуренция на самом деле разрушительна, поэтому компаниям стоит создавать мини-монополии на новых рынках, а не биться насмерть на старых. Но это было не главное. Лекции раз за разом возвращались к главному разочарованию в жизни Тиля.

«Пик оптимизма относительно будущего технологий, вероятно, пришелся на 1960-е, – говорил в своей вступительной лекции Тиль, родившийся в 1967 году. – Люди верили в будущее. Они думали о будущем. Многие были абсолютно уверены, что следующие 50 лет станут эпохой невиданного прогресса. Но, если не считать компьютерную индустрию, ничего подобного не произошло»[159]. Вместо этого, подчеркнул он, реальные заработные платы на протяжении всей его жизни топчутся на месте. И очень немногое из тех крутых штук, о которых мечтало поколение его родителей, воплотилось в реальность. «Забудьте о летающих автомобилях, – саркастически заметил он в одной из следующих лекций. – Мы до сих пор толкаемся в пробках»[160].

Эти сетования перекликались с манифестом, опубликованным годом ранее венчурной фирмой Тиля Founders Fund. В нем осуждался отход венчурной индустрии от прорывных технологий, способных изменить мир, – таких, как полупроводники, – в пользу сервисов, решающих «незначительные или вовсе выдуманные проблемы (например, доставка батончиков Kit-Kat в офис курьерами Kozmo.com)». Автор манифеста Брюс Гибни возмущался: NASA не было на Луне уже 40 лет, время перелета через Атлантику выросло из-за списания «Конкордов», рост продолжительности жизни замедлился, человечество почти не продвинулось в создании дешевой энергии. И что особенно печально: «У нас до сих пор нет ничего похожего на общий искусственный интеллект – факт, который крайне удивил бы футурологов 30-летней давности»[161].

Лекарство от технологического застоя, убеждал Тиль и инвесторов, и студентов, – идти против течения. Хватит быть трусливыми карьеристами, зацикленными на мелких улучшениях. Пора замахнуться на по-настоящему высокие цели. По сути, это был своеобразный ответ эссе Пола Грэма. Тиль понимал: единственный способ работать с визионерами – самому стать не просто инвестором, а союзником в их миссии изменить мир.

На фоне шумихи вокруг стэнфордского курса мало кто обратил внимание, что Тиль вел переговоры в офисах Y Combinator в Маунтин-Вью, где Альтман теперь проводил большую часть времени. Сэма официально назначили партнером на неполную ставку еще в июне 2011 года. Он консультировал такие стартапы, как Rap Genius (позже переименованный в Genius), подсказывая, как выстроить презентацию для инвесторов в Демодень. «Когда будете показывать этот график, обязательно подчеркните: “Перед вами данные о нашей аудитории. Большинство компаний YC выходят сюда и демонстрируют общее число зарегистрированных пользователей. Да ну на фиг! Мы покажем вам только активных”. Это необычный подход. Вы считаете по-честному», – наставлял Альтман основателей Rap Genius, согласно книге Рэндалла Стросса «Стартовая площадка: внутри Y Combinator» (The Launch Pad: Inside Y Combinator)[162],[163].

Альтман покинул Loopt подавленным и опустошенным, но с 5 миллионами долларов в кармане. По условиям сделки он вошел в совет директоров Green Dot и должен был помогать компании разрабатывать мобильное банковское приложение. Ему довелось присутствовать на одной особенно провальной встрече с главным клиентом Green Dot – сетью Walmart, которая обеспечивала 70% выручки и теперь грозилась расторгнуть контракт. Садясь в машину после этих переговоров, Альтман невозмутимо сказал Страйту: «Да уж, встреча прошла скверно». Но в целом он получил возможность переосмыслить свою жизнь.

«Я думал о новых стартапах, – рассказывал Альтман. – Думал об инвестировании». Sequoia пыталась глубже затянуть его в свою венчурную империю, но он отказался. Путешествовал с рюкзаком по Европе, несколько раз побывал в Юго-Восточной Азии, посетил Японию. Он даже провел некоторое время в ашраме, что, как иронично заметил в интервью New York Magazine, напоминало «типичный мем про айтишников», но изменило его жизнь: «Конечно, я все еще во многом тревожный и напряженный человек, но субъективно чувствую себя очень расслабленным, счастливым и спокойным». Энни Альтман рассказывала, что братья подшучивали над ее увлечением медитацией – она даже возглавляла Буддийскую сангху осознанности в Университете Тафтса, – а через несколько лет узнала, что Сэм и сам организует медитативные встречи у себя дома. Правда, она сомневается, что он провел много времени в индийских ашрамах. Но, наверное, самые глубокие перемены в сознании Альтмана произошли во время двухдневного ретрита в Мексике. «Это было одно из самых преображающих переживаний в моей жизни», – рассказал он подкасту San Francisco Standard’s Life in Seven Songs[164]. В основном же Альтман проводил время в Биг-Суре – среди секвой у океана, в самом любимом месте на планете – и читал книги. «Мне казалось, что я знаю обо всем понемногу и что все возможно, – вспоминал он. – Я был в совершенно подвешенном состоянии, но при этом чувствовал себя прекрасно».

Альтман и Тиль были знакомы уже несколько лет. Сэма привел к нему общий интерес – ядерная энергия. «Когда я начал всерьез задумываться об энергетике, кто-то мне подсказал: “Слушай, среди инвесторов сейчас только Тиль интересуется ядерными технологиями. Тебе стоит с ним поговорить”», – вспоминал Альтман.

Альтмана интересовали все виды ядерной энергии, но особенно – термоядерный синтез, мощная реакция, происходящая в Солнце, которая уже почти столетие оставалась мечтой ученых. Еще до рождения Альтмана правительства разных стран объединили усилия в невероятно дорогостоящих исследованиях: нужно было нагреть изотопы водорода и удержать их под таким давлением, чтобы их ядра слились, образовав атомы гелия и выделив примерно вчетверо больше энергии, чем при ядерном делении в обычных АЭС. Успех в освоении термоядерного синтеза обеспечил бы дешевый, чистый источник энергии из молекул морской воды, без углеродных выбросов и с гораздо меньшим количеством радиоактивных отходов, чем при делении ядра.

Для Тиля ядерная энергетика стала главным символом утраты Америкой технологического драйва после 1960-х годов. По его мнению, страна перестала строить атомные электростанции в основном из-за массовой истерии, спровоцированной двумя событиями 1979 года. Сначала вышел «Китайский синдром» с Джейн Фондой в главной роли – триллер о вымышленной ядерной катастрофе, а всего через 12 дней на АЭС Три-Майл-Айленд недалеко от Гаррисберга, в Пенсильвании, произошла реальная авария с частичным расплавлением реактора. Этот инцидент всколыхнул антиядерное движение и, по мнению Тиля, привел к отмене строительства примерно сотни запланированных реакторов. В Кремниевой долине эта история постепенно приобрела почти мифический статус – в ней видели мрачное доказательство того, что люди в демократическом обществе не способны трезво оценивать риски и принимать рациональные решения о своем долгосрочном будущем. «От дыма угольных электростанций, по оценкам Американской ассоциации легких, ежегодно умирает около 13 000», – писал Тиль[165]. «Для всех прогрессивно мыслящих людей в Кремниевой долине история ядерных реакторов стала глубокой травмой», – говорил Элиезер Юдковский, один из ранних последователей Тиля. Эта травма впоследствии повлияет на отношение Долины к искусственному интеллекту, где тоже придется балансировать между прогрессом и безопасностью. «С их точки зрения, технологии не получают справедливой оценки. Вы можете считать, что нашли идею, которая принесет пользу человечеству, однако бесполезно обращаться к человечеству и пытаться доказать это. Единственный выход – сыграть на опережение и реализовать вашу идею, пока вас не остановили. Не потому, что вы проиграете в честной борьбе, а потому, что справедливого суда не будет». Идеалисты из технологической индустрии считают: то, что произошло с ядерной энергетикой в конце XX века, – «все равно что холокост для евреев», утверждал Юдковский.

Поскольку правительство не собиралось решать эту проблему, Тиль решил взять дело в свои руки – через венчурные инвестиции. Вкладывать капитал в новое поколение ядерных технологий значило не просто сделать ставку на амбициозный проект, способный сделать мир лучше, но и бросить прямой вызов силам, которые угрожают самому прогрессу. Позже, когда Альтман привел в Y Combinator компанию Helion Energy, работавшую над практическим применением термоядерного синтеза, Тиль вложился в ее посевной раунд через свой фонд Mithril Capital, а Альтман – как частное лицо[166].

Помимо общего интереса к ядерной энергетике, Альтман и Тиль стали ранними инвесторами Stripe – по рекомендации Пола Грэма, полагавшего, что Тиль благодаря своему опыту сооснователя платежной компании PayPal станет ценным советником для молодого Патрика Коллисона. Однако в раунде серии А, в котором Stripe привлек 18 миллионов долларов – от Sequoia, Тиля, сооснователя PayPal Макса Левчина и индивидуального инвестора Элада Гила, незаменимым советником оказался именно Альтман. Он провел с Коллисоном десятки телефонных разговоров, консультируя по всем аспектам сделки – часто пока тот крутил педали велосипеда по дороге в офис через весь Пало-Альто. В итоге молодую платежную компанию оценили в 100 миллионов долларов.

К весне 2012 года Альтман уже был известен связями с самыми перспективными стартапами Долины и близостью к Y Combinator – что все чаще означало одно и то же. У него был большой выбор партнеров, желающих поддержать его собственный венчурный фонд. Отклонив предложение Sequoia, Альтман выбрал Тиля, который внес основную долю из 21 миллиона долларов стартового капитала этого фонда, получившего название Hydrazine Capital в честь гидразина – компонента ракетного топлива. Альтман привлек младшего брата Джека, который, получив диплом экономиста в Принстоне, работал в нью-йоркском инвестбанке. Через пару лет к ним присоединился средний брат Макс, и вся троица поселилась в одной квартире в Сан-Франциско.

Тиль считал Альтмана «очень-очень умным», а также «принципиальным, требовательным, уравновешенным» и «пожалуй, чересчур оптимистичным».

Главным активом Альтмана были не знания, а связи. Как я уже упоминала в прологе, для Тиля Альтман воплощал дух Кремниевой долины той эпохи. Тиль много общался с главой Facebook Марком Цукербергом, которого взял под крыло после того, как стал первым внешним инвестором компании. Они обсуждали, как Цукерберга (к добру или к худу) превратили в символ поколения миллениалов – хотя на самом деле он не очень-то подходил на эту роль. «Если уж искать человека, который бы по-настоящему олицетворял технаря-миллениала, это был бы Альтман», – говорил Тиль.

Бунтарский дух Тиля, его готовность всегда идти наперекор общепринятому мнению резко контрастировали со стремлением Альтмана делать людей счастливыми. Но, похоже, именно эта способность мыслить вразрез с общепринятым и рождать оригинальные идеи больше всего восхищала Альтмана в Тиле – вне зависимости от того, разделял он эти идеи или нет. «Он мыслит о мире совершенно свободно, без всяких ограничений», – говорил Альтман в подкасте[167]. В другом интервью он заметил, что оригинальные идеи – один из самых дефицитных ресурсов в мире. И именно этого ресурса Тиль производит в избытке.

Hydrazine сделал несколько инвестиций в ядерную энергетику – в частности, в стартап Oklo, разрабатывавший компактные реакторы на основе ядерного деления. Альтман узнал о нем в 2013-м и на следующий год привел его в Y Combinator. Как уже упоминалось, Альтман и Тиль вместе вложились в посевной раунд Helion. Но в целом Hydrazine просто оседлал волну небывалого технологического бума – стратегия, совершенно нехарактерная для вечно идущего против течения Тиля.

«Когда вокруг мощный подъем, в который никто не верит, нужно просто инвестировать в то, что все считают перспективным. Это вполне консенсусный подход», – объяснял он. По мнению Тиля, пузырь доткомов и финансовый кризис с их резкими колебаниями рынка распугали инвесторов, оставив технологический сектор недофинансированным. К 2012 году «индустрия заработала на полную мощность, компании росли как на дрожжах, но инвесторов катастрофически не хватало, – говорил он. – Когда отрасль настолько недоинвестирована, нет смысла идти против течения. Просто лови волну. И Сэм делал это мастерски».

Hydrazine вкладывал деньги в самые разные отрасли – от корпоративного софта до нишевых продуктовых стартапов – без какой-либо внятной концепции. Все эти инвестиции объединяло одно: большинство компаний прошли через Y Combinator. Среди них были HR-стартап Zenefits, логистическая платформа Flexport, сервис изучения языков через видеочат Verbling, строительный маркетплейс BuildZoom, производитель заменителей пищи Soylent и онлайн-сервис разводов Wevorce. Исключением стал разве что Patreon – платформа для монетизации контента, которую основал давний партнер Альтмана по Loopt Сэм Ям. По сути, Hydrazine представлял собой индексный фонд Y Combinator – именно таких примитивных стратегий Тиль принципиально избегал.

«Но иногда просто хочется взлететь на ракете», – признавался он.

Y Combinator взмыл в стратосферу. При поддержке Sequoia летний батч 2011 года вырос до 60 с лишним стартапов. В том же году к Грэму обратились ангельский инвестор Рон Конвей и миллиардер российского происхождения Юрий Мильнер с предложением, позволявшим им получить долю в каждой компании YC. В итоге инвесторы предоставили всем стартапам конвертируемые займы по 150 000 долларов – по сути, кредит, который превращался в акции, если компании удавалось пройти оценку и привлечь венчурное финансирование. Условия этой сделки были исключительно выгодными для основателей: можно было получить деньги, не думая об оценке на столь раннем этапе и не беспокоясь о возврате в случае провала. Демодень превратился в настоящий карнавал. YC пришлось установить в зале два дополнительных кондиционера, чтобы справиться с толпой из 200 с лишним венчурных инвесторов, включая Деми Мур и Эштона Кутчера. Снаружи даже поставили биотуалет[168].

В 2012 году летний батч разросся до 84 стартапов, и партнеры уже начали путаться, кто есть кто. «Это был тот самый батч, который взорвал всем мозг», – рассказывала финансовый директор YC Кирсти Натху журналу Wired. После этого Y Combinator решил разбивать будущие наборы на группы и перенес Демодень в куда более просторный Музей компьютерной истории в Маунтин-Вью. В этом огромном комплексе хранятся такие артефакты, как шифровальная машина «Энигма» времен Второй мировой и самая первая компьютерная мышь, вырезанная из красного дерева[169]. В 2013 году число компаний сократили до 47, но на Демодень явилось 450 гостей, привлеченных перспективой богатств масштаба Dropbox (на тот момент оценивался в 4 миллиарда долларов), Airbnb (1,3 миллиарда) и Stripe (500 миллионов). «Здесь царит атмосфера золотой лихорадки», – писал об этом дне The New York Times Magazine[170].

Hydrazine инвестировал в отдельные компании YC, а Founders Fund Тиля – в те, которые Альтман называл лучшими стартапами YC года. В 2012-м это был Airbnb. «В мире, где все недооценивают динамику роста, стоит просто раз в год выбирать лучшую компанию YC», – рассуждал Тиль. Founders Fund вложился в Airbnb при оценке 2,5 миллиарда долларов. Сегодня компания стоит около 200 миллиардов. На следующий год они инвестировали в Stripe при оценке 1,75 миллиарда. Сейчас его стоимость около 65 миллиардов. «Тогда все наши разговоры с Сэмом крутились вокруг вопроса: “Что самое перспективное?”»

«К концу 2014-го эта формула перестала работать – слишком многие ее раскусили», – признавал Тиль. Вместе с Альтманом они определили новую звезду YC – Zenefits, брокера медицинского страхования, который бесплатно раздавал HR-софт малому бизнесу в расчете заработать на комиссиях от продажи страховок. Макс Альтман устроился туда продакт-менеджером и проработал с 2014 по 2016 год. Founders Fund сделал предложение при оценке в 2 миллиарда, но напористый сооснователь Паркер Конрад выторговал больше 4 миллиардов. Тилю эта цифра показалась завышенной, и он сократил инвестиции Founders. Через несколько лет Zenefits рухнул, не сумев достичь амбициозных целей роста, оправдывающих такую оценку, и наладить отношения с индустрией здравоохранения. Инвестиции практически обнулились. В 2016 году временным гендиректором компании стал Дэвид Сакс – друг Тиля со студенческих времен, коллега по Stanford Review и ветеран PayPal.

Похоже, безудержный рост достиг своего пика.

Одна из инвестиций Тиля оказала судьбоносное влияние на карьеру Альтмана и будущее искусственного интеллекта. Как и Альтман, Тиль был одержим идеей, что компьютеры однажды станут умнее людей и запустят самоподдерживающийся цикл экспоненциального технологического прогресса – классический сюжет научной фантастики, известный как сингулярность. Термин ввел в 1950-х математик и участник Манхэттенского проекта Джон фон Нейман, а в 1980-х популяризировал знаменитый фантаст Вернор Виндж. Друг Винджа Марк Стиглер, совмещавший работу над кибербезопасностью для Управления перспективных исследовательских проектов министерства обороны США (DARPA) с написанием футуристических романов, вспоминал один из дней на научно-фантастическом конвенте: «Мы с Винджем сидели в ресторане и делились сюжетами, которые никогда не напишем – слишком уж они были ужасающими и реалистичными одновременно. Боялись, что какой-нибудь псих возьмет и воплотит их в жизнь».

Среди тех, на кого повлияла проза Винджа, был Элиезер Юдковский. Он родился в 1979 году в Чикаго в ортодоксальной еврейской семье. Его мать работала психиатром, а отец – физик и заядлый поклонник фантастики, занимался распознаванием речи в Bell Labs и Intel. Элиезер уже в семь лет увлекся научной фантастикой, а в девять начал писать. В 11 в тесте SAT, который пишут выпускники школ, он набрал 1410 баллов (из 1600 возможных). В седьмом классе он бросил школу, заявив родителям, что больше не может ее выносить. К 17 годам он с болью осознал, что не похож на других людей, и создал веб-страницу с заявлением: «Я гений, но не нацист». Он отказался от определения «подросток мужского пола», предпочитая называть себя Элджерноном – в честь лабораторной мыши с повышенным интеллектом из знаменитого рассказа Дэниела Киза. Благодаря Винджу он нашел смысл жизни: «Единственная цель этой страницы, этого сайта, всего, что я делаю как Элджернон, – приблизить сингулярность»[171].

Примерно тогда же Юдковский подписался на малоизвестную рассылку общества экстропианцев – им была посвящена статья в журнале Wired в 1994 году, в которой был указан электронный адрес. Экстропианство, основанное философом Максом Мором в 1980-х, представляло собой форму радикального технооптимизма, нацеленного на борьбу с энтропией – универсальным законом распада и стремления к хаосу. На практике это означало договор о заморозке тела (или хотя бы головы) при температуре –196 °C в криоцентре Alcor в Скоттсдейле, в штате Аризона. Когда человечество достигнет нужного технологического уровня, их можно будет разморозить и вернуть к жизни. В философском плане борьба с энтропией строилась на пяти принципах: безграничное расширение, самотрансформация, динамический оптимизм, интеллектуальные технологии и спонтанный порядок. Динамический оптимизм, например, предполагал технику избирательной фокусировки – концентрацию исключительно на позитивных аспектах любой ситуации.

Робин Хэнсон, участвовавший в этом движении и позже прославившийся созданием рынков предсказаний, вспоминал экстропианские вечера в особняках Пало-Альто: «Меня они заряжали энергией – столько интересных идей! А жену это все отталкивало, потому что преподносилось довольно неуклюже и выглядело странновато. Мы все считали себя провидцами будущего, которых остальные просто не понимают. Рано или поздно мы окажемся правы – вот только когда именно?»

Соучредитель журнала Extropy Том Белл, он же Т. О. Морроу[172] (Белл настаивает, что Морроу – отдельная личность, а не просто псевдоним), писал о системах «полицентрического права», которые могли бы естественным образом возникнуть из добровольных взаимодействий между свободными от государственного вмешательства субъектами. Он также развивал идею «Свободной Океании» – потенциального поселения экстропианцев на искусственном плавучем острове в международных водах. (Годы спустя Белл на безвозмездной основе сотрудничал с Институтом систейдинга, получившим стартовое финансирование от Тиля.) От всего этого явно веяло либертарианством – что, собственно, отражало суть движения. Та самая статья в Wired начиналась с описания вечеринки экстропианцев, на которую одна из участниц явилась в образе Государства – в виниловом корсете, портупее, мини-юбке и с плеткой в руке, таща за собой на поводке другого участника, наряженного Налогоплательщиком[173].

В рассылке и экстропианском сообществе состояло всего несколько сотен человек, но среди них были громкие имена: Робин Хэнсон; Марвин Минский, лауреат премии Тьюринга, основавший лабораторию ИИ в MIT в 1970-х; Рэй Курцвейл, компьютерный ученый и футурист, чьи книги сделали «сингулярность» общеизвестным понятием; Ник Бостром, шведский философ, популяризировавший идею «экзистенциальной угрозы» от ИИ; Джулиан Ассанж, будущий основатель WikiLeaks; и три человека, которых подозревали в причастности к созданию биткоина под общим псевдонимом Сатоши Накамото, – Ник Сабо, Вей Дай и Хэл Финни. «Даже при беглом просмотре архива экстропианцев (который вел Вей Дай) становится ясно, что всего за несколько месяцев 17-летний Элиезер Юдковский стал одним из самых ярких голосов в этой удивительной какофонии», – писал журналист Джон Эванс в своей истории движения. В 1996 году 17-летний Юдковский утверждал, что уже к 2020 году может появиться сверхинтеллект, который станет огромным шагом вперед по сравнению с обычными людьми[174].

Двое членов сообщества экстропианцев, интернет-предприниматели Брайан и Сабина Аткинс – познакомившиеся в той же рассылке в 1998 году и вскоре поженившиеся, настолько прониклись этими идеями, что в 2000 году основали для Юдковского исследовательский центр: Институт сингулярности для искусственного интеллекта[175]. В 21 год Юдковский переехал в Атланту, где проповедовал идею благожелательного сверхинтеллекта за скромную зарплату около 20 000 долларов в год. «Я полагал, что все по-настоящему умное автоматически будет добрым», – рассказывал он. Однако уже через восемь месяцев к нему пришло понимание, что это заблуждение – причем серьезное. Создание ИИ, осознал он, может обернуться катастрофой. «Дело в том, что мне платили, а я остро чувствую долг перед теми, у кого беру деньги, – объяснял Юдковский. – В какой-то момент вместо мысли “Если сверхинтеллект не способен автоматически определять правильное и поступать соответственно, значит, объективного добра и зла не существует – так какая разница?” я подумал: “Ну, Брайан Аткинс, вероятно, не захочет, чтобы сверхинтеллект его убил”». Он решил, что Аткинсу не помешал бы «запасной план», но, попытавшись его разработать, с ужасом понял – это невозможно. «Это заставило меня очень глубоко погрузиться в суть проблемы, и тогда я осознал, что заблуждался абсолютно во всем».

Аткинсы отнеслись к этому с пониманием, и институт изменил свою миссию: теперь целью стало создание не просто искусственного интеллекта, а дружественного искусственного интеллекта. «Необходимость решить проблему дружественного ИИ мешала нам сразу же приступить к найму исследователей. Правда, денег на это все равно не было», – признавал Юдковский. Вместо этого он разработал новую концепцию под названием «рационализм». Формально рационализм – это вера в способность человека находить правильные ответы с помощью разума. Но со временем термин стал обозначать целое движение, которое, по словам интеллектуального наследника Юдковского Скотта Александера, включает «редукционизм, материализм, моральный антиреализм, утилитаризм, борьбу со смертью и трансгуманизм». Хотя сам Александер шутит, что на самом деле суть этого учения – вера в то, что «Элиезер Юдковский – истинный халиф»[176].

В работе 2004 года «Когерентная экстраполированная воля» Юдковский утверждал: дружественный ИИ нужно создавать не на основе наших сиюминутных желаний, а исходя из того, что действительно пойдет нам на пользу. «Задача разработчиков – понять, чего “хочет” человечество. А точнее, какие решения мы бы принимали, если бы знали больше, думали быстрее, были теми, кем хотим быть, и стали более сплоченным видом», – писал он. В той же статье он впервые использовал запоминающуюся метафору: если запрограммировать ИИ на производство канцелярских скрепок, то без должных ограничений он может в конечном итоге заполнить скрепками всю Солнечную систему. Годы спустя Бостром превратит этот пример в главный символ необходимости элайнмента – согласования ИИ с человеческими ценностями[177].

В 2005 году Юдковский попал на закрытый ужин в одном из ресторанов Сан-Франциско, организованный Институтом предвидения – аналитическим центром, основанным в 1980-х для продвижения нанотехнологий. Многие из его первых участников были выходцами из Общества L5, которое добивалось создания космической колонии в точке Лагранжа между Землей и Луной и успешно лоббировало отказ США от подписания Лунного соглашения 1979 года – там был пункт о запрете терраформирования небесных тел. Среди гостей был Тиль, развлекавший соседей по столу рассказом о приятеле, служившем своеобразным антииндикатором рынка: каждый раз, когда тот считал какую-то инвестицию перспективной, вскоре она обваливалась. Юдковский, понятия не имевший, кто такой Тиль, подошел к нему после ужина: «Чтобы ваш друг служил надежным сигналом грядущего падения актива, он должен обладать некой когнитивной способностью, позволяющей переиграть эффективный рынок, – только в этом случае его прогнозы могут стабильно коррелировать с падением акций». По сути, Юдковский сослался на гипотезу эффективного рынка: все факторы риска уже учтены в рыночных ценах, что не оставляет возможности заработать ни на чем, кроме инсайдерской информации. Тиль был очарован.

Тиль и Юдковский стали периодически ужинать вместе. «Со временем я начал воспринимать Тиля как своего наставника», – признавался Юдковский. К 2005 году их отношения переросли в деловое партнерство: Тиль взялся финансировать Институт сингулярности Юдковского, а годом позже они вместе с Рэем Курцвейлом, чья книга «Сингулярность близка» как раз стала бестселлером, организовали Саммит сингулярности в Стэнфорде. За шесть лет форум превратился в одну из главных площадок для футуристов, трансгуманистов, экстропианцев, исследователей ИИ и писателей-фантастов. Среди участников были Бостром, Мор, Хэнсон, стэнфордский профессор ИИ Себастьян Трун, основатель XPRIZE Питер Диамандис и геронтолог Обри де Грей, утверждающий, что человечество способно победить старение. Сооснователь Skype Яан Таллинн так вдохновился идеями Юдковского, что стал одним из главных спонсоров исследований экзистенциальных рисков ИИ: сначала он финансировал OpenAI, а позже переключился на поддержку их конкурента – Anthropic.

Другой участник саммита, физик Макс Тегмарк, впоследствии основал Институт будущего жизни.

На одном из мероприятий появился даже сам Вернор Виндж в очках в стиле Уолтера Уайта и с аккуратной седой бородкой, которые вместе делали его похожим на школьного учителя химии. «Когда наступит сингулярность, рулить будем не мы», – бодро напомнил он аудитории[178].

В 2010 году среди приглашенных докладчиков оказался Шейн Легг – новозеландский математик, информатик и танцор балета. Он на протяжении 10 лет был одержим идеей создания сверхразума – с тех пор, как Юдковский открыл ему глаза на эту возможность[179]. Легг работал в нью-йоркском стартапе IntelliGenesis, который основал информатик Бен Герцель с амбициозной целью создать первый в мире ИИ. Их главным продуктом был WebMind – программный комплекс для прогнозирования тенденций на фондовом рынке. Герцель, доктор математических наук, годами активно участвовал в экстропианской рассылке, ведя дружеские споры с Юдковским о трансгуманизме и либертарианстве (первое он поддерживал, а второе – не особенно)[180]. Еще в 2000 году Юдковский выступал в компании Герцеля (которая обанкротилась через год). Легг называет эту встречу моментом, когда он начал серьезно относиться к идее сверхинтеллекта, выйдя за рамки стереотипных представлений из фильмов[181]. Именно тогда Герцель и Легг начали использовать термин «общий искусственный интеллект».

Легг защитил диссертацию о машинном сверхинтеллекте, в которой предупреждал об экзистенциальной угрозе технологии, а позже прошел постдокторантуру в подразделении вычислительной нейробиологии Гэтсби при Университетском колледже Лондона – лаборатории, объединявшей исследования в области нейронауки, машинного обучения и ИИ. Там он познакомился с Демисом Хассабисом – вундеркиндом из Лондона, сыном сингапурки и грека-киприота. В свое время Хассабис занимал второе место в мировом рейтинге шахматистов младше 14 лет. Теперь он мечтал создать ИИ по образу и подобию человеческого мозга. Легга и Хассабиса объединяла крайне непопулярная в то время идея. «Стоило заговорить об общем ИИ, как собеседники начинали закатывать глаза, – рассказывал Легг журналисту Кейду Метцу. – В лучшем случае тебя считали чудаком, в худшем – антинаучным фантазером»[182]. Легг думал, что прорыв возможен в академической среде, но Хассабис, уже обжегшийся на одном стартапе, знал: единственный путь – коммерческая разработка. И был очевидный инвестор, к которому стоило обратиться прежде всего: Питер Тиль.

На Саммит сингулярности 2010 года Легг и Хассабис приехали не столько ради своих выступлений, сколько в надежде познакомиться с Тилем, славившимся привычкой приглашать участников мероприятия в свой особняк в Сан-Франциско. В первый день саммита, который теперь проходил в отеле в центре города, Хассабис представил свое видение искусственного интеллекта, работающего по тем же принципам, что и человеческий мозг. На следующий день Легг выступил с докладом о необходимости измеримых критериев для оценки прогресса в разработке ИИ. После выступлений их пригласили на коктейльную вечеринку в дом Тиля в районе Марина, откуда открывались впечатляющие виды на мост Золотые Ворота и Дворец изящных искусств. К своей радости, на одном из столиков они заметили шахматную доску. Пробравшись сквозь толпу гостей, они нашли Юдковского, который представил их Тилю. Стараясь не выдать волнения, Хассабис отложил обсуждение деловых вопросов и заговорил о шахматах, зная увлечение Тиля этой игрой. Он отметил, что шахматы выдержали испытание временем благодаря увлекательному противостоянию коня и слона – фигур равной ценности, но с принципиально разными возможностями. Тиль предложил им вернуться на следующий день и рассказать о своем стартапе[183].

Наутро они презентовали свой проект Тилю, только что вернувшемуся с тренировки, прямо за завтраком. Хассабис рассказал, что они создают общий искусственный интеллект по образцу человеческого мозга, будут тестировать прогресс через компьютерные игры и уверены, что рост вычислительных мощностей обеспечит прорыв. Поначалу Тиль колебался, но через несколько недель согласился вложить 2,25 миллиона долларов, став первым крупным инвестором еще безымянной на тот момент компании[184]. Спустя несколько месяцев Хассабис, Легг и их друг предприниматель Мустафа Сулейман официально зарегистрировали DeepMind. Название отражало планы объединить «глубокое обучение» – метод машинного обучения с многослойными нейронными сетями – с достижениями нейронауки. С самого начала они открыто говорили инвесторам о своей цели – разработке общего искусственного интеллекта, несмотря на собственные опасения, что в будущем такая технология может поставить под угрозу само существование человечества[185].

Благодаря связям Тиля в число инвесторов DeepMind удалось привлечь и его бывшего коллегу по PayPal – Илона Маска. В 2012 году фонд Тиля Founders Fund, уже вложившийся в ракетную компанию Маска SpaceX, пригласил Хассабиса выступить на конференции, где присутствовал и Маск. Хассабис представил 10-летний план развития DeepMind, назвав его «Манхэттенский проект в сфере ИИ» – задолго до того, как это выражение подхватил Альтман. По воспоминаниям Тиля, один из инвесторов, выходя с мероприятия, в шутку заметил, что выступление произвело сильное впечатление, но не стоит ли пристрелить Хассабиса, чтобы спасти человечество?

В следующем году Люк Носек, соучредитель PayPal и Founders Fund, друг Маска и член совета директоров SpaceX, устроил встречу Хассабиса с Маском. Тот провел гостя по штаб-квартире SpaceX в Лос-Анджелесе. За обедом в корпоративном кафетерии между ними состоялся поистине космический разговор. Хассабис заявил, что работает над главной задачей в мире – созданием сверхразумного ИИ. Маск парировал: нет, это он занят важнейшей миссией – превращением человечества в межпланетный вид через колонизацию Марса. На это Хассабис заметил, что идея, конечно, прекрасная, если только взбунтовавшийся ИИ не последует за людьми на Марс и не уничтожит человечество и там. Маск замолчал. Об этом он как-то не задумывался. В итоге он решил присматривать за технологиями DeepMind, став одним из инвесторов компании[186].

В декабре 2013 года Хассабис вышел на сцену конференции по машинному обучению в отеле-казино Harrah’s на озере Тахо и продемонстрировал первый серьезный прорыв DeepMind: ИИ-систему, способную самостоятельно освоить классическую видеоигру Atari Breakout без каких-либо подсказок от человека. DeepMind достиг этого, объединив глубокие нейронные сети и обучение с подкреплением. Результаты оказались настолько впечатляющими, что уже через месяц Google приобрел компанию примерно за 650 миллионов долларов[187],[188].

Масштаб прорыва DeepMind, ставшего важным шагом к созданию универсального интеллекта, способного ориентироваться в хаотичном мире и целенаправленно действовать, широкая публика осознала лишь год спустя, после публикации научной статьи в журнале Nature. Однако Тиль, будучи инвестором DeepMind, отлично понимал важность этого достижения и обсуждал его с Альтманом. В феврале 2014 года, через месяц после приобретения DeepMind компанией Google, Альтман опубликовал в своем блоге пост под названием «ИИ», назвав эту технологию важнейшим трендом, которому люди уделяют непростительно мало внимания.

«Прямо скажем, ИИ (в его нынешнем научном определении), скорее всего, не заработает. Это можно сказать о любой новой технологии, и обычно такие утверждения оказываются верны. Но я считаю, что большинство людей чрезмерно пессимистичны в оценке его перспектив, – писал он. – Общий искусственный интеллект вполне может стать реальностью, и тогда мы окажемся свидетелями величайшего технологического прорыва в истории»[189].