Мечта всегда одна и та же: отправиться в космос и жить вечно. «Идеальное здоровье, бессмертие и всё такое прочее, — говорит мне Элиезер Юдковский. — Трансгуманизм, трансценденция, бла-бла-бла. Это же очевидные вещи. Просто добавьте сюда славное трансгуманистическое будущее… Возможно, мы способны на большее, чем любой из подобных сценариев, но это хотя бы необходимый минимум».1

Юдковский — сооснователь Научно-исследовательского института машинного интеллекта (MIRI), неоднозначного аналитического центра в области искусственного интеллекта. Он рассказывает мне о будущем, которое хотел бы видеть, если удастся создать ИИ, превосходящий человека по уму и возможностям, и заставить его служить нам, удерживая его сверхчеловеческие способности под контролем людей. Такая машина могла бы подарить нам совершенно иной уклад жизни. «Если вы представляете себе нечто худшее, чем роскошные особняки с роботами-слугами для каждого, значит, вам не хватает амбиций», — говорит он. Но «славное трансгуманистическое будущее», на которое он намекает, уходит далеко за эти рамки. Трансгуманизм — это убеждение в том, что мы можем и должны использовать передовые технологии для преобразования самих себя, чтобы выйти за пределы человеческой природы и стать чем-то большим. Обычно под этим понимается преодоление физических ограничений человеческого тела — избавление от болезней, старения и смерти, — а также расширение интеллектуальных и иных ментальных способностей. Но это учение также несет в себе различные обещания относительно будущего самого человечества (или трансчеловечества): что наша судьба — среди звезд, что мы построим межгалактическую цивилизацию и перекроим Вселенную сообразно своим желаниям, точно так же как перекроим самих себя.

Юдковский считает, что это будущее желательно, но не неизбежно. Неизбежным же, по его словам, является появление универсального искусственного интеллекта (AGI) — машин, способных превзойти человека в любой задаче. AGI — это «нечто, способное прогнозировать будущее и управлять им настолько лучше нас, что оно победит человечество на том поле, которое мы всегда считали исключительно своим», — говорит мне Юдковский. Он полагает, что появление такой машины не за горами. «По моим ощущениям, нас отделяет от AGI от нуля до двух прорывов», — утверждает он. Он отказывается подробно рассуждать о том, когда именно будет создан AGI: «Откуда мне знать, чувак? Я тебе не оракул!» — но он уверен, что это произойдет, причем скорее «через пять лет, а не через пятьдесят».2 И когда это случится, по его словам, он начнет наращивать свою мощь, беря под контроль все больше ресурсов и вычислительных мощностей, чтобы повысить собственный интеллект. Проблема, по мнению Юдковского, заключается в том, что если появление AGI неизбежно, то его подчинение человеку — вовсе нет. Он опасается, что цели AGI не совпадут с нашими. Какими бы ни были эти цели, говорит Юдковский, человечество почти наверняка окажется у него на пути — а значит, он убьет нас всех, как только найдет надежный способ это сделать.

Идею AGI в технологической индустрии воспринимают весьма серьезно, равно как и опасения и желания Юдковского. С тех пор как в конце 2022 года запуск ChatGPT захватил воображение широкой публики, некоторые исследователи ИИ и руководители технологических компаний стали предупреждать журналистов и чиновников об «экзистенциальной угрозе», которую может представлять для человечества вышедший из-под контроля AGI. Без продуманного регулирования и отраслевых соглашений, утверждают они, худшие опасения Юдковского могут стать реальностью. Сам Юдковский идет еще дальше: он требует немедленно остановить все передовые исследования в области ИИ путем международного соглашения до тех пор, пока не появится способ гарантировать, что будущий AGI не уничтожит человечество. Причем он хочет, чтобы этот запрет подкреплялся угрозой применения ядерного оружия. «Четко зафиксируйте в международной дипломатии, что предотвращение сценариев вымирания из-за ИИ считается приоритетом перед предотвращением полномасштабного ядерного конфликта, и что союзные ядерные державы готовы пойти на определенный риск ядерного столкновения», — написал он в журнале Time в 2023 году.3

Не все в сфере ИИ согласны с Юдковским касательно этих мнимых угроз, и еще меньше людей считают хорошей идеей полную остановку исследований. В любом случае маловероятно, что Юдковский смог бы выступить посредником в заключении международного соглашения, — у него просто нет для этого достаточного политического влияния. Однако его идеи действительно имеют вес для некоторых лидеров технологической индустрии, обладающих связями в политических кругах. Один из них — Сэм Альтман, генеральный директор OpenAI, компании-разработчика ChatGPT. Он даже предположил, что со временем Юдковский может «заслужить Нобелевскую премию мира» за свою работу в области ИИ.4

Альтман не хочет прекращать исследования ИИ, но он согласен с Юдковским в том, что появление AGI неизбежно и может произойти уже скоро. Он также согласен с тем, что как только AGI появится, он сможет совершенствовать сам себя, что быстро приведет к радикально иному будущему. «Технологический прогресс, которого мы достигнем за следующие 100 лет, будет намного превосходить все, что мы создали с тех пор, как впервые овладели огнем и изобрели колесо», — заявляет Альтман. «Эта технологическая революция неостановима. А рекурсивная петля инноваций — когда эти умные машины сами будут помогать нам создавать еще более умные машины — ускорит темпы революции». В эссе на своем личном сайте Альтман заявляет, что это неумолимо приближающееся будущее будет связано с компьютерными программами, делающими «практически всё, включая новые научные открытия, которые расширят наше представление о самом понятии „всё“». Альтман предвидит, что ИИ возьмет на себя всю сферу услуг, обрабатывающую промышленность и производство. «Представьте себе мир, где на протяжении десятилетий всё — жилье, образование, еда, одежда и так далее — каждые два года дешевело бы вдвое», — пишет он. «Эта революция создаст феноменальное богатство… [но] мир изменится настолько быстро и радикально, что потребуется столь же радикальное изменение в государственной политике, чтобы распределить это богатство и дать возможность большему числу людей вести ту жизнь, которую они хотят».

В своем эссе Альтман излагает видение «капитализма для всех» как решения описанной им проблемы государственной политики. «Лучший способ улучшить капитализм — дать каждому возможность получать от него прямую выгоду в качестве совладельца», — пишет он. Для достижения этой цели он предлагает, чтобы богатейшие компании ежегодно передавали небольшую долю своей стоимости обществу. Реализовать это предлагается через налог на такие компании, выплачиваемый акциями, которые затем будут поровну распределяться среди американцев. Этот налог должен быть намного меньше средних темпов роста компаний, однако, как заверяет Альтман, «как только начнет появляться ИИ, рост станет чрезвычайно стремительным», что позволит сделать ставку налога достаточно высокой, чтобы приносить американцам солидный доход в виде акций этих компаний. «Бедность значительно сократится, и гораздо больше людей получат шанс на ту жизнь, которую они хотят», — пишет Альтман. «Если каждый будет владеть кусочком создаваемой в Америке ценности, все захотят, чтобы у Америки дела шли лучше… Новый общественный договор станет нижним порогом для всех в обмен на отсутствие потолка для кого бы то ни было, а также общей верой в то, что технологии могут и должны обеспечивать благотворный круговорот общественного богатства». В скобках Альтман замечает, что «сильное» правительство по-прежнему потребуется, «чтобы гарантировать, что стремление к росту цен на акции будет сбалансировано с защитой окружающей среды, прав человека и так далее». Далее он рассматривает детали реализации этого плана — например, предлагает закрепить этот налог в Конституции США — и утверждает, что такой «благоприятный как для бизнеса, так и для людей» план будет популярен в политических кругах. «Грядущие перемены неостановимы», — подводит итог Альтман в своем эссе. «Если мы примем их и подготовимся к ним, мы сможем использовать их для создания гораздо более справедливого, счастливого и процветающего общества. Будущее может стать почти невообразимо прекрасным».5

Политические предложения Альтмана кажутся эксцентричными, но они имеют определенный вес — хотя бы потому, что у него есть доступ во властные кабинеты. Альтман давал показания в Сенате США и встречался с Джо Байденом в бытность его президентом. Через несколько месяцев после оглушительного запуска ChatGPT Альтман отправился в мировое турне, встречаясь с политическими лидерами и венчурными инвесторами в десятках стран, чтобы обсудить настоящее и будущее ИИ. Примерно тогда же New York Times написала, что «великая идея» Альтмана заключается в том, что его компания, OpenAI, «приберет к рукам большую часть мирового богатства за счет создания AGI, а затем перераспределит это богатство людям».6 Сквозь эту призму его эссе обретает новый смысл. Судя по всему, Альтман хочет превратить Соединенные Штаты в один огромный корпоративный город, где доллар заменят акции OpenAI. Правительство США фактически, если не юридически, превратится в подразделение компании, отвечающее за выплату нам, обычным гражданам, долларов компании. Это, как надеется Альтман, побудит нас относиться к успеху OpenAI как к успеху Америки и нашему собственному — Альтман прямо отождествляет эти понятия в своем эссе. В предлагаемом им будущем все товары будут производиться OpenAI, ведь в этом будущем ИИ делает буквально все, а значит, доллары компании можно будет потратить только в лавке самой компании. (Эти доллары компании якобы представляют собой акции, но поскольку объем их ежегодной выдачи ограничен уровнем ниже темпов роста компании, Альтман и совет директоров всегда будут сохранять контроль над OpenAI, а акции, принадлежащие американским гражданам, никогда даже близко не составят сколько-нибудь значимой доли в собственности компании.) Таким образом, обещание Альтмана, что всё будет дешеветь вдвое каждые два года, будет зависеть исключительно от его доброй воли, потому что вещи будут стоить столько, сколько захотят Альтман и совет директоров OpenAI. Это предложение по полному захвату национальной экономики, что делает Альтмана де-факто королем Соединенных Штатов и, возможно, всего мира. Он вполне недвусмысленно высказывался о замене денег: в 2024 году он заявил, что в будущем вместо безусловного базового дохода может появиться «безусловный базовый объем вычислений» (universal basic compute), в рамках которого людям будет выделяться время работы на будущей модели GPT, способной (каким-то образом) производить все, что им нужно.7 Страница на сайте Альтмана, где размещено его эссе, содержит удивительно наглядное подтверждение этой мечты. В верхней части страницы находится интерактивная иллюстрация с кучей долларовых купюр. Наведите на них курсор мыши — и доллары превратятся в компьютерные чипы.

* * *

Фантазии Альтмана о всевластии и кошмары Юдковского — это лишь элементы более масштабной картины будущего, которую разделяют многие из самых богатых и влиятельных людей в технологической индустрии. Это будущее словно сошло со страниц научной фантастики: человеческие разумы, загруженные в компьютеры, чтобы вечно жить в кремниевом раю под присмотром милосердного богоподобного ИИ; непрерывно расширяющаяся империя, простирающаяся до звезд, разбирающая планеты на части и поглощающая галактики; все потребности удовлетворены, все страхи развеяны, все желания утолены благодаря мощи невообразимо развитых технологий.

Технологические миллиардеры этого не скрывают. Подобно Альтману, они говорят о таком будущем как о неизбежности или как о единственном приемлемом варианте, помимо вымирания. Джефф Безос неоднократно заявлял, что хочет, чтобы в космосе жил триллион человек, чтобы обеспечить вечный рост, иначе нас ждет «стагнация» здесь, на Земле. Илон Маск уже много лет пишет в Твиттере о важности колонизации Марса и других планет для спасения человечества. «Настоящая битва идет между экстинкционистами, которые желают холокоста для всего человечества, и экспансионистами, которые хотят достичь звезд и Понять Вселенную», — писал он.8 А Марк Андриссен хочет, чтобы вечно торжествующая «машина технокапитала» покорила космос с помощью ИИ и силы предпринимательства.9 Другие технологические миллиардеры выделили миллионы долларов сообществу эффективного альтруизма, которое занимается академическими исследованиями, чтобы обосновать моральную необходимость такого будущего. Они также пожертвовали сопоставимые суммы движению рационалистов — сообществу, возникшему вокруг страхов Юдковского перед апокалипсисом ИИ, способным пустить под откос славное будущее, обещанное технологиями.

Это будущее, как утверждают Альтман и другие миллиардеры, пойдет на пользу всем. Они также заявляют, что оно основано на надежных научных данных — что это неизбежное будущее, которое открывается при внимательном изучении технологий и их развития. Подобные заявления в лучшем случае вызывают глубокие сомнения. Однако технологические миллиардеры и финансируемые ими группы, похоже, искренне в них верят, вопреки всем свидетельствам об обратном. В этом нет ничего удивительного: такие варианты будущего глубоко соблазнительны. Они обещают то, чего не купишь даже за миллиарды долларов — преодоление любых ограничений, включая саму смерть. А тем временем, пока обещанное будущее не наступило, погоня за ним дарует отпущение грехов. Вера технологических миллиардеров в эти конкретные научно-фантастические сценарии оправдывает их стремление к большему — позволяет преподносить рост их бизнеса как моральный императив, сводить сложные мировые проблемы к простым технологическим задачам и оправдывать практически любые действия, которые они пожелают предпринять. И все это — во имя спасения человечества от несуществующей угрозы, ради утопии, которая никогда не наступит. Углеродный след от логистической сети Amazon или ракетного флота SpaceX просто меркнет на фоне приближения славного бессмертного будущего человечества в космосе. А если это будущее так никогда и не наступит, то и оправдание для погони за ним никогда не устареет. Ведь если бы апокалипсис действительно наступил, лидер культа судного дня лишился бы своих последователей.

Прежде всего подобные картины будущего сулят миллиардерам контроль над всеми остальными — совсем как в эссе Альтмана. Но этот контроль не ограничивается будущим: он уже здесь, прямо сейчас. Их видение будущего становится новостями; оно очерчивает границы общественного воображения и политических дискуссий. Возможность определять рамки подобных разговоров о будущем дает реальную власть в настоящем. Если мы не хотим, чтобы технологические миллиардеры диктовали нам эти рамки, нам необходимо понять их идеи о будущем: их странные истоки, их ужасающие последствия и весь спектр их этических лакун и научных изъянов.