На юго-западной окраине центрального Оксфорда, по другую сторону железнодорожных путей от большей части университетских корпусов, стоит небольшое трехэтажное здание. В нем располагается несколько академических исследовательских институтов, но внешне и по атмосфере оно больше напоминает технологический стартап. Здесь есть все атрибуты и привилегии софтверной компании из Сан-Франциско: обилие закусок, незакрепленные рабочие места, кабинки для телефонных звонков и видеочатов, бесплатная полностью веганская столовая, спортзал и душевые на первом этаже, общие зоны и рабочие пространства с открытой планировкой. На искусственном газоне перед входом стоит небольшой столик для пикника. Сзади, за окнами столовой от пола до потолка, неторопливо течет Темза. В коридорах то тут, то там висят стеклянные маркерные доски, испещренные математическими каракулями и заметками обо всем на свете — от Толстого до вчерашнего обеда. На одной из них грязно-белыми чернилами крупным, дружелюбным почерком выведен вопрос: Что бы вы сделали, если бы все мировые проблемы были решены?

«Устроил бы недельный фестиваль для всех, чтобы отпраздновать конец страданий», — гласит один из ответов.

«Вспоминал бы с друзьями, как близко мы были к катастрофе :-)», — пишет другой.

«Спал бы, наверное»

«Работал бы плотником»

«Исследовал бы измененные состояния сознания»

«Перечитал бы «Бурю» (вероятно, последнее произведение и творческое видение Шекспира)»

«Сидел бы на пляже и строил замки из песка целыми днями»

«Притворялся бы, что они не решены, пытался бы (делал вид, что пытаюсь?) решить их снова и находил бы в этом смысл.»

Это здание, Траян-хаус (Trajan House), служит академической базой для Центра эффективного альтруизма. Здесь также располагаются Институт глобальных приоритетов, фонд Effective Ventures, Центр управления ИИ и Институт будущего человечества (ИБЧ) — организации, так или иначе связанные с эффективным альтруизмом. Тут работают несколько десятков человек, в основном аспиранты и постдоки, а также постоянные сотрудники и преподаватели, в числе которых Уильям Макаскилл, Тоби Орд, Андерс Сандберг и Ник Бостром.ⁱ На дворе май 2023 года. Я прилетел сюда из Калифорнии, чтобы поговорить с Макаскиллом, но он в последний момент отменил встречу. Вместо этого я беседую с Сандбергом, старшим научным сотрудником ИБЧ, чей кабинет находится недалеко от кабинета Макаскилла. Сандберг уже не первое десятилетие является заметной фигурой в сообществах трансгуманистов и сингулярианцев — еще с 1990-х годов, со времен списка рассылки «Экстропианцы» (Extropians), где он впервые столкнулся с подростком по имени Элиезер Юдковский. «Я, скорее, скептически настроенный трансгуманист, который обожает раздражать других трансгуманистов, — говорит он мне. — Я варюсь в этом так давно, что уже заработал себе статус ворчливого старика».

У Сандберга скромные и жизнерадостные манеры; он с одинаковым удовольствием рассуждает как о далеком будущем человечества, так и о виде из своего окна или о различиях между Оксфордом и его родной Швецией. Коренастый блондин, на шее он носит тонкий медальон — маленький металлический диск с выбитыми на нем несколькими строчками текста. Он улыбается, когда я спрашиваю об этом. «А, да. Это для крионики, — говорит он. — Я записался на заморозку на случай моей смерти. И я, так сказать, „вышел из морозилки“. Ношу его открыто, потому что это прекрасный повод завязать разговор». Я замечаю, что крионика не считается общепризнанной наукой или медициной, и Сандберг соглашается, что процесс замораживания разрушает некоторые клеточные мембраны во всем теле. «Нам нужно решить эти проблемы. Пожалуй, единственный реальный способ доказать, что человека невозможно оживить, — это показать, что при заморозке действительно разрушается какая-то ключевая информация. Это было бы настоящим, строгим опровержением крионики. Но я пока не видел, чтобы кто-то проделал такую работу как следует». Что касается устранения повреждений, вызванных процессом заморозки, продолжает он, «сегодня стандартное предположение [среди сторонников крионики], как правило, звучит так: ладно, пусть со всем этим разберутся наномашины». Однако, добавляет он, «большинство обычных медиков, конечно, считают все это шарлатанством, лженаукой или новой версией египетских мумий. Но с другой стороны, низкие температуры стали активно применяться в хирургии. Так что довольно любопытно наблюдать, как они принимают одни аспекты крионики, но отвергают другие».1 (Юдковский раньше тоже выступал за крионику. В 2010 году он писал, что «если вы не оформляете контракт на крионику для своих детей, то вы паршивый родитель»).2

И все же есть веские причины, почему крионика не признана врачами и учеными. Нанороботы, существование которых предполагает Сандберг, чисто гипотетичны, и есть серьезные основания полагать, что они вообще не могут существовать. Но это даже не самая большая проблема с замораживанием мертвых или умирающих людей в надежде вернуть их к жизни. «В настоящее время нет абсолютно никакого способа, никакого научно доказанного метода заморозить человека целиком до такой температуры без полного разрушения — я имею в виду буквально уничтожения — тканей», — говорит Шеннон Тессье, криобиолог из Гарварда и эксперт по анабиозу у животных. Если попытаться заморозить человеческую ткань, продолжает она, «ткань полностью разрушается, клеточная мембрана полностью уничтожается. Так что на самом деле нет никаких доказательств того, что вы хоть что-то сохраняете, и все потому, что наука до этого просто еще не дошла».3 Майкл Хендрикс, нейробиолог из Университета Макгилла, высказывается еще резче. «То, чем сейчас занимается коммерческая индустрия крионики, — это полная чушь. Они превращают людей в лужицы розовой жижи в резервуаре с жидким азотом. Это ни для чего невозможно использовать», — говорит он мне. Хотя в будущем, возможно, и удастся охлаждать живых людей до температуры, близкой к нулю, и поддерживать их в состоянии своего рода спячки, Хендрикс подчеркивает: «Когда речь заходит о людях умерших, а потом появляются крионисты со своими пилами для трепанации — к тому моменту, когда вы беретесь за пилу, становится уже слишком поздно. Ткани начинают разлагаться, и, что немаловажно, этот процесс идет очень быстро».4

Сандберг сохраняет оптимизм перед лицом этих опасений, предполагая, что пластинация — метод консервации детальных анатомических структур путем замены значительной части тела пластиком — способна сохранить мозг после смерти в достаточно неповрежденном виде, чтобы в будущем его можно было отсканировать и загрузить сознание умершего человека, вернув его к виртуальной жизни. «Да, в конце концов можно сказать: „О, это вопрос веры“. Но это вера, которую можно в какой-то мере обосновать определенными доказательствами», — говорит он мне.5 Однако загрузить разум из здорового живого мозга, скорее всего, невозможно; загрузить же его из замороженного или пластифицированного мертвого мозга еще менее вероятно. «Допустим, мы представим себе какую-то технологию далекого будущего, способную делать вещи, о которых мы сейчас ничего не знаем, — говорит Хендрикс. — Каковы шансы, что мы консервируем ткани сейчас таким образом, что они будут обратно совместимы с технологиями этого далекого будущего? Это все равно что думать, будто можно вставить папирус в USB-порт, чтобы прочитать его. Из этого просто ничего не выйдет».6 Медальон Сандберга не столько помог завязать разговор, сколько положил ему конец: я просто не знаю, что еще сказать перед лицом его беспечного равнодушия к научной неправдоподобности описываемого им будущего.

Дальше по коридору от Сандберга находится кабинет другой ключевой фигуры эффективного альтруизма, этика Тоби Орда. Орд вместе с Макаскиллом основал организацию Giving What We Can и Центр эффективного альтруизма; также Орд и Макаскилл совместно ввели в обиход термин «лонгтермизм» и помогли выбрать название «эффективный альтруизм». В тот день Орда не было на месте, но через несколько недель мы созвонились по видеосвязи. По сравнению с Сандбергом он кажется менее склонным к умозрительным гипотезам и более консервативным в своих взглядах на будущее — и его сильнее беспокоит то, что это будущее может нам готовить. «Я думаю, что мы живем в особое время», — говорит он мне. В частности, он считает, что риск вымирания человечества сейчас высок как никогда. Орд написал книгу об экзистенциальных рисках для человечества под названием «На краю пропасти» — название указывает на тот критический, полный опасностей период, в котором, как считает Орд, мы сейчас находимся. Книга вышла за пару лет до работы Макаскилла «Что мы должны будущему» и служит своего рода ее предысторией. В своей книге Орд оценивает риск экзистенциальной катастрофы в следующем столетии примерно в один шанс из шести, то есть около 17 процентов. Эта оценка включает в себя не только полное вымирание человечества. Скорее, это его наиболее точная оценка вероятности «уничтожения нашего потенциала», как он сам выражается. «Люди все еще могут остаться, но, например, на планете с разрушенной экологией, где они больше не смогут достичь и малой доли того, чего могли бы достичь. Идея примерно такая».7

«Моя оценка „один из шести“ весьма приблизительна, — добавляет он. — Если бы вы сказали: „Думаю, один из десяти“, я бы ответил: „Ого, мы согласны друг с другом!“ Если бы вы сказали: „Один к шестидесяти“, я бы ответил: „О, похоже, у нас все-таки есть разногласия“. А если бы вы сказали „один на миллиард“, я бы сказал… — в этот момент Орд заливается смехом, изображая наигранное раздражение, — послушайте, у нас явно разные мнения на этот счет. И нам стоит попытаться докопаться до истины». Но почему именно один к шести, спрашиваю я? Откуда взялась эта цифра? «У меня нет простого рецепта для выведения этого числа, — говорит он. — Пожалуй, тут все сводится к моему жизненному опыту, полученному за всю жизнь». Но, объясняет он, бóльшая часть этой вероятности катастрофы (один к шести) складывается из его оценки рисков, связанных с двумя конкретными угрозами выживанию человечества.

Одна из этих двух главных угроз — меньшая, по оценке Орда, — это риск рукотворных пандемий. «В итоге я оценил его примерно в 3 процента», — говорит он мне. Он имеет в виду не естественные пандемии, а биологическое оружие. «В данном случае искусственные пандемии создавались бы намеренно, специально для того, чтобы представлять опасность».8 Но какой бы ужасающей ни была эта перспектива, есть другая, которую Орд считает еще более опасной. Учитывая его вышеупомянутое беспокойство по поводу того, что экологическая катастрофа может навсегда подкосить человечество, можно было бы предположить, что главным риском, с которым мы сталкиваемся сегодня, Орд считает глобальное потепление. Однако он оценивает его довольно низко: вероятность того, что глобальное потепление приведет к вымиранию человечества или ввергнет человеческую цивилизацию в необратимый коллапс в следующем столетии, он считает равной всего лишь одному шансу из тысячи — столько же он дает и на ядерную войну.9 Вместо этого основная доля выведенной Ордом вероятности приходится всего на один гипотетический — но уже знакомый нам — риск. «Значительная часть связана с ИИ», — говорит он мне. Приводимые им аргументы в целом совпадают с логикой рационалистов — собственно, именно Бостром обратил внимание Орда на экзистенциальные риски. Несогласованный сильный ИИ, по словам Орда, мог бы легко уничтожить человечество. «В итоге я оценил [эту вероятность] примерно в 10 процентов. И эти 10 процентов больше, чем 3 процента» от рукотворных пандемий, продолжает Орд, отчасти потому, что несогласованный сильный ИИ «будет разумным противником, а не просто чем-то биологически оптимизированным для выживания; противником, который может попытаться перехитрить нас и переиграть в планировании».10

Просто дух захватывает, когда оксфордский профессор этики заявляет, что угроза, которую в ближайшем столетии представляет малопонятная гипотетическая технология, в пятьдесят раз превышает опасность глобального потепления и ядерного оружия, вместе взятых. Но Орд — даже не единственный человек, подпадающий под это описание, который работает в этом здании. В книге «Что мы должны будущему» Макаскилл по большей части списывает со счетов глобальное потепление как серьезную угрозу для выживания человеческой цивилизации:

Потепление на семь-десять градусов [по Цельсию] нанесет колоссальный вред странам тропического пояса, при этом многие бедные аграрные государства пострадают от сильнейшего теплового стресса и засухи. Поскольку вклад этих стран в изменение климата минимален, это станет вопиющей несправедливостью. Однако трудно представить, каким образом даже такое развитие событий может напрямую привести к краху цивилизации. Например, одним из насущных поводов для беспокойства в связи с изменением климата является его влияние на сельское хозяйство. Хотя потепление пагубно скажется на сельском хозяйстве в тропиках, здесь существуют возможности для адаптации; регионы с умеренным климатом пострадают не так сильно, а в высоких широтах освободятся от мерзлоты новые земли. Аналогичная картина складывается и с тепловым стрессом. Из-за сильной жары работа на открытом воздухе в тропиках станет все более затруднительной, что обернется катастрофой для более жарких и бедных стран с ограниченным потенциалом адаптации. Но более богатые страны смогут приспособиться, а регионы с умеренным климатом выйдут из ситуации относительно невредимыми.11

Далее он рассматривает еще менее вероятные сценарии и (не без колебаний) отвергает и их тоже, заявляя, что, «скорее всего, глобальное сельское хозяйство все же останется возможным… Даже при потеплении на пятнадцать градусов жара в большинстве регионов не превысит критический, смертельный для сельскохозяйственных культур порог».12

Выступая в 2020 году в подкасте эффективных альтруистов, Орд высказал схожее, но еще более радикальное суждение. «Проводились исследования на тему того, сделает ли экстремальное потепление — скажем, на 10 градусов [по Цельсию] — некоторые регионы мира непригодными для жизни. И, похоже, ответ положительный», — сказал он. Но, добавил он, «на самом деле это лишь означает, что обитаемая часть планеты станет меньше… И мне трудно понять, почему, учитывая, что она уменьшится не так уж значительно, цивилизация или процветающее будущее в таком мире окажутся невозможными. Кажется, для этого утверждения просто нет веских оснований». В конечном итоге Орд приходит к выводу, что человеческая цивилизация имеет неплохие шансы выжить даже при росте температуры, в два раза превышающем этот показатель. «Я изучил эти модели вплоть до потепления примерно на 20 градусов, и все равно кажется, что останутся обширные пригодные для жизни территории», — сказал он. «Но, чтобы у слушателей не возникало сомнений, ситуация была бы очень плохой», — поспешил добавить Орд.13

Климатология свидетельствует о том, что характеристика «очень плохо» — это колоссальное преуменьшение. «В долгосрочной перспективе рост температуры на 10 градусов [по Цельсию] обернется массовым вымиранием, — говорит Люк Кемп, исследователь из Кембриджского университета и эксперт по краху цивилизаций, вызванному климатическими изменениями. — По своей скорости это событие будет беспрецедентным в геологической истории. Оно будет означать, что миллиарды людей столкнутся с постоянной смертоносной жарой, миллиарды, скорее всего, станут беженцами, Антарктида практически полностью освободится ото льда, начнутся вспышки болезней и возникнет множество других каскадных эффектов. Уверенно заявлять, что это не приведет к коллапсу, на том лишь основании, что в некоторых частях планеты сельское хозяйство все еще будет возможно, — глупо и поверхностно».14 Эндрю Уотсон, климатолог из Эксетерского университета, был одним из экспертов, к которым обращалась команда ассистентов Макаскилла в ходе предварительных исследований для книги «Что мы должны будущему». «Я был категорически не согласен с их утверждением, что потепление на 7–10 градусов и более не представляет серьезной угрозы для цивилизации, — говорит он мне. — Я согласен с их оценками грядущего ущерба, я также согласен, что человечество, скорее всего, выживет, но считаю крайне вероятным, что наша нынешняя цивилизация рухнет под давлением столь экстремального потепления, а численность населения планеты колоссально сократится».15

Дело не в том, что Макаскилл и Орд не воспринимают изменение климата всерьез, — они явно его воспринимают. В своей книге Макаскилл неоднократно указывает, что человечеству необходимо прекратить использование ископаемого топлива. В том самом подкасте эффективных альтруистов Орд говорил, что считает изменение климата опасным — «это гораздо хуже, чем если бы этого не происходило», — и нам нужно сделать все возможное, чтобы его остановить. Проблема в том, что Макаскилл и Орд относятся к изменению климата недостаточно серьезно. «Хотя существует множество факторов, которые вполне очевидно могут причинить колоссальные страдания и нанести огромный ущерб человечеству, не совсем понятно, каким образом [глобальное потепление] способно вызвать вымирание людей или какой-то бесповоротный крах цивилизации», — сказал Орд в подкасте. Здесь кроются две проблемы. Во-первых, суждения Орда и Макаскилла расходятся с мнением научного большинства касательно того, как экстремальное изменение климата повлияет на цивилизацию. Отчасти это, судя по всему, объясняется неспособностью представить, как глобальное потепление может взаимодействовать с другими рисками (что само по себе является системным изъяном их программы в целом), но также и нежеланием прислушиваться к профильным экспертам — даже к тем, с кем они сами связываются.16 «Когда я пытаюсь вообразить мир, в котором тропики в значительной степени непригодны для жизни и бесплодны (а зона от 30 градусов северной широты до 30 градусов южной широты — это половина площади планеты и большая часть ее биологической продуктивности), мне трудно поверить, что голод, миграция и конфликты не приведут к таким точкам невозврата, из-за которых нашей цивилизации будет крайне трудно выжить», — говорит мне Уотсон.17

Наука помогает восполнить этот пробел в воображении: последний раз глобальная температура была на 15–20 градусов Цельсия выше, чем сейчас, около пятидесяти шести миллионов лет назад, во время палеоцен-эоценового термического максимума (ПЭТМ). В те времена полярных ледяных шапок не существовало вовсе. Глубоко за полярным кругом, на острове, который в будущем станет частью крайнего севера Канады, зеленел заболоченный лес, изобилующий пальмами, гигантскими черепахами, аллигаторами и шерстокрылами. Воды Арктики прогревались до приятных 24 °C; в тропиках температура океана достигала 36 °C, а возможно, и выше. На широте Портленда или Пекина средняя летняя температура поверхности суши была близка к температуре человеческого тела (или чуть выше). Однако и Портленд, и Пекин оказались бы под водой: уровень моря тогда был на 50–200 метров выше, чем сегодня.18 Очевидно, что это не тот мир, в котором могла бы выжить развитая человеческая цивилизация.

К счастью, потепление такого масштаба большинство климатических моделей не считают вероятным — если только человечество не откажется от каких-либо попыток сократить наши коллективные углеродные выбросы в атмосферу, и в этом случае глобальные температуры могут приблизиться к указанному диапазону через триста лет.19 Точки невозврата, описанные Уотсоном, безусловно, окажутся легкодостижимыми, если мы решим ничего не делать. И сам Уотсон утверждает, что нельзя исключать еще более катастрофических исходов, чем возвращение к климатическому «парнику» ПЭТМ. Если человечество продолжит сжигать газ, нефть и уголь, то, по оценкам Уотсона, существует шанс один из ста, что Земля столкнется с «неуправляемым парниковым эффектом», из-за которого океаны выкипят, а наша планета уподобится своей соседке Венере — миру, окутанному плотной изолирующей атмосферой, где температура на поверхности достаточно высока, чтобы плавить свинец. На этом фоне уверенность Орда и Макаскилла в том, что изменение климата, скорее всего, не представляет собой экзистенциальной угрозы, о которой они так пекутся, выглядит необоснованной. И то, что они в первую очередь беспокоятся именно об экзистенциальных угрозах, — это вторая сторона проблемы: стоит признать угрозу экзистенциальной, и в сегодняшнем дне ее уже невозможно будет перевесить никакой угрозой меньшего масштаба. При определении того, какие именно угрозы считать «экзистенциальными», в конечном итоге многое зависит от оценки рисков — оценки, которая, судя по всему, не опирается на передовые научные достижения и мнения экспертов. «Макаскилл попадает в ловушку, оказываясь „глупым мудрецом“», — говорит Уотсон. «Мудрые глупцы — это те, кто осознает пределы своих знаний и потому способен в некоторой степени учитывать то, чего они не знают. Противоположностью им я считаю „глупых мудрецов“ — очень умных людей, чья эрудиция и обширная начитанность, тем не менее, мешают им должным образом учитывать „неизвестные неизвестные“».20

Несмотря на эти фундаментальные ошибки в основе их мировоззрения, Орд, Макаскилл, Сандберг, Бостром и прочие обитатели Траян-Хауса вовсе не маргиналы. Само здание служит неопровержимым доказательством того, насколько влиятельны их взгляды и насколько успешным оказалось их движение. От него буквально веет богатством — начиная с офисной мебели представительского класса и заканчивая ящиками для закусок, ломящимися от этичных шоколадных батончиков.21 Финансовые отчеты показывают, что только за 2021 финансовый год фонд Effective Ventures получил чуть более 75 миллионов долларов в виде пожертвований, большая часть которых поступила от Open Philanthropy.22 Фактически почти треть всего дохода CEA за тот год составили два гранта от Open Philanthropy, направленные на покупку и реставрацию старинного оксфордширского поместья Уайтхэм-Эбби для его последующего использования в качестве площадки для мероприятий эффективных альтруистов.23 Это вызвало бурные споры среди рядовых сторонников движения о том, насколько оправданно тратить столь колоссальные суммы на недвижимость вместо того, чтобы направить эти деньги, к примеру, на закупку противомалярийных сеток.24 Но недовольные этой покупкой эффективные альтруисты в каком-то смысле в итоге получили свое: после возврата средств кредиторам FTX на фоне признания Сэма Бэнкмана-Фрида виновным в мошенничестве фонд Effective Ventures в 2024 году принял решение выставить Уайтхэм-Эбби на продажу.25

И все же СБФ — даже не самый одиозный миллиардер, напрямую связанный с лидерами движения эффективных альтруистов. 29 марта 2022 года, примерно за две недели до того, как Илон Маск публично объявил о своем предложении купить Twitter, Макаскилл отправил Маску текстовое сообщение. (Макаскилл получил номер Маска через своего друга Игоря Курганова, эффективного альтруиста и приближенного Маска.)26 Макаскилл предложил познакомить Маска с Сэмом Бэнкманом-Фридом, чтобы тот помог с покупкой Twitter — к которой, по словам Макаскилла, СБФ и сам присматривался. «У него действительно куча денег?» — спросил Маск в ответ. «Смотря что называть "кучей"! Его состояние — 24 миллиарда долларов», — ответил Макаскилл. — «Я спросил его, и он сказал, что не против встретиться». «Ты за него ручаешься?» — поинтересовался Маск. Макаскилл ответил: «Полностью! Он искренне предан идее сделать так, чтобы долгосрочное будущее человечества сложилось благополучно». Макаскилл устроил это знакомство, и троица немного попереписывалась, хотя поступали противоречивые сведения о том, привело ли это к какому-то результату. И вновь в сообществе эффективных альтруистов нашлись те, кто задался вопросом, зачем вообще их руководству вмешиваться в подобные сделки.27

Эффективные альтруисты также используют деньги Кремниевой долины, чтобы проникать в коридоры политической власти. Центр безопасности и новейших технологий (CSET) при Джорджтаунском университете представляет собой аналитический центр, который, согласно информации на его сайте, «предоставляет лицам, принимающим решения, основанный на данных анализ последствий новых технологий для безопасности». «В настоящее время CSET концентрируется на последствиях прогресса в области искусственного интеллекта (ИИ), передовых вычислений и биотехнологий».28 CSET также гордится своими широкими и глубокими связями в правительстве США и престижных институтах по всей стране. «Бывшие сотрудники CSET сейчас работают в Совете национальной безопасности, Управлении научно-технической политики, Конгрессе и других структурах правительства США, а также в Стэнфордском университете», — говорилось в пресс-релизе 2021 года. — «Действующие сотрудники выступают в качестве советников как в законодательной, так и в исполнительной ветвях власти, а исследования CSET цитируются в докладах Белого дома».29 Такое влияние особенно поражает, учитывая, насколько CSET молодая организация. Она была основана в 2019 году благодаря гранту в размере 55 миллионов долларов от Open Philanthropy; последующие гранты увеличили общий объем поддержки этой организации со стороны фонда примерно до 100 миллионов долларов по состоянию на 2023 год.30

Фонд Open Philanthropy финансировал бесчисленное множество организаций эффективного альтруизма, но его траты на CSET выводят этот аналитический центр на совершенно иной уровень. С момента своего основания CSET сразу же стал крупным игроком. «Мы являемся крупнейшим в США центром, занимающимся вопросами ИИ и государственной политики», — говорил Джейсон Матени, первый директор CSET, в 2019 году.31 Участие Матени во многом и объясняло готовность Open Philanthropy выделить CSET столь щедрый грант.32 Матени обладал обширным опытом работы в правительстве и глубокими связями с сообществом эффективного альтруизма. До того как возглавить CSET, Матени занимал должность помощника директора Национальной разведки и возглавлял Управление перспективных исследовательских проектов в области разведки (IARPA), а также входил в Комиссию по национальной безопасности в области ИИ — а за несколько лет до этого был научным сотрудником в FHI.33 В 2007 году он написал статью об экзистенциальных угрозах человечеству, таких как несогласованный сильный ИИ (AGI), и с одобрением цитировал работы Бострома.34 Он также является давним другом Тоби Орда.35 «Существуют решения, которые принимаются исключительно правительствами, и некоторые из этих решений имеют колоссальное значение», — говорил Матени в своем выступлении на EA Global, флагманской конференции сторонников эффективного альтруизма, в 2017 году. — «К ним относятся такие решения, как вступление в войну, выбор развертываемых систем вооружения или способы интеграции технологий в более масштабные критически важные системы. Имеет смысл привлекать больше сторонников эффективного альтруизма на подобные должности, где они смогут влиять на эти решения».36

Но сегодня Матени больше не возглавляет CSET. Он пошел на повышение. В 2022 году он стал президентом и генеральным директором RAND Corporation — одного из крупнейших и наиболее влиятельных аналитических центров в мире, особенно в вопросах технологий и военной политики.37 Под руководством Матени влияние RAND на политику США в области ИИ возросло. «Многие ключевые сотрудники ведущих ИИ-компаний являются сторонниками эффективного альтруизма», — писал Брендан Борделон в Politico в конце 2023 года. — «Теперь RAND, влиятельный аналитический центр с многолетней историей, служит мощным проводником, через который эти идеи проникают в американскую политику».38 Тем временем фонд Open Philanthropy начал выделять крупные гранты RAND Corporation под руководством Матени — на сумму 26 миллионов долларов только за 2023 год, включая 10,5 миллиона долларов на исследование «потенциальных рисков, исходящих от передового искусственного интеллекта».39 Open Philanthropy также финансирует целый пул стипендиатов по государственной политике в федеральном правительстве через другую некоммерческую организацию — Horizon Institute for Public Service. «Разветвленная сеть, охватывающая Конгресс, федеральные ведомства и аналитические центры, подталкивает законодателей к тому, чтобы поставить угрозу апокалипсиса из-за ИИ во главу угла, потенциально вытесняя другие проблемы», — писал Борделон. — «Бывшие и нынешние стипендиаты программы Horizon в области ИИ, чьи зарплаты финансируются фондом Open Philanthropy, сейчас работают в Министерстве обороны, Министерстве внутренней безопасности и Государственном департаменте, а также в Комитете Палаты представителей по науке и Комитете Сената по торговле — двух важнейших органах, занимающихся разработкой правил регулирования ИИ».40

Сторонники эффективного альтруизма даже попытались провести своего человека в Конгресс. Кэррик Флинн — бывший исследователь из FHI, CSET и Центра по управлению ИИ — в 2022 году баллотировался на праймериз Демократической партии на вакантное место в Палате представителей от нового 6-го округа штата Орегон; это была конкурентная борьба в колеблющемся округе.41 Флинн, родившийся в этом округе, но бывший абсолютным новичком в политике (до этого он голосовал всего дважды в жизни), позиционировал себя как эксперта по подготовке к пандемиям.42 И хотя Флинн действительно занимался вопросами пандемий во время работы в различных связанных с эффективным альтруизмом структурах, это вряд ли было его единственным направлением: в бытность свою сотрудником FHI он также выступил соавтором статьи об экономической политике в будущем, где «прирученный» сверхразумный сильный ИИ (AGI) позволит нескольким компаниям — или вовсе одной-единственной — прибрать к рукам большую часть мирового капитала.43 (Это перекликается с идеями Сэма Альтмана, и совпадение вряд ли случайно: двое других соавторов этой статьи в итоге стали работать на Альтмана.) Какое-то время казалось, что отсутствие у Флинна политического опыта и его исследования маргинальных сценариев развития ИИ не станут серьезным препятствием на выборах — особенно с учетом того, что комитет политических действий, финансируемый почти исключительно Сэмом Бэнкманом-Фридом, выделил на поддержку его кампании более 10 миллионов долларов. Сюда входил почти миллион долларов, потраченный на дискредитирующую рекламу против главного соперника Флинна на праймериз — Андреа Салинас, члена законодательного собрания штата.44 Опросы предсказывали упорную борьбу на праймериз, но в итоге Флинн с треском проиграл Салинас, заняв второе место с огромным отставанием, а она той же осенью одержала победу в действительно напряженной борьбе на всеобщих выборах.45

Несмотря на все это, влияние эффективного альтруизма на высших уровнях власти в Великобритании, пожалуй, даже сильнее, чем в США. Доминик Каммингс, сторонник эффективного альтруизма, был сооснователем и руководителем кампании Vote Leave («Голосуй за выход») 2016 года в Великобритании, выступавшей за Брексит.46 Когда в 2019 году премьер-министром стал другой сторонник Брексита, Борис Джонсон, он назначил Каммингса своим главным советником и де-факто главой аппарата.47 «Мы нанимаем специалистов по работе с данными, руководителей проектов, экспертов по государственной политике [и] разношерстных чудаков», — написал Каммингс в своем блоге несколько месяцев спустя. Свой пост он начал с цитаты Элиезера Юдковского о неэффективности правительства; в списке ссылок в его блоге значились MIRI, Юдковский и Сискинд. «Мы хотим нанять для работы на Даунинг-стрит необычных людей с самыми разными навыками и бэкграундом», — говорилось в посте, включая «чудаков из романов Уильяма Гибсона».48

Каммингс был уволен со своего поста в ноябре 2020 года; позже он утверждал, что Джонсон «не соответствовал занимаемой должности».49 Сам Джонсон ушел в отставку в сентябре 2022 года, но это отнюдь не положило конец популярности идей эффективного альтруизма на высших уровнях британского правительства.50 За три дня до моей встречи с Сандбергом в Траян-Хаусе я приземлился в Лондоне; от джетлага мой мозг буквально вытекал через уши после десятичасового перелета через восемь часовых поясов. Всю дорогу, в перерывах между безуспешными попытками уснуть в самолете, я думал об ИИ и будущем технологий. Теперь же мне хотелось просто сориентироваться на месте и продержаться без сна до приличного часа. Бредя по аэропорту, я заглянул на сайт Guardian, решив, что раз уж проведу здесь следующие несколько дней, стоит узнать последние британские новости — ну и, кроме того, было бы неплохо дать мозгу отдохнуть от пророчеств о гибели человечества из-за ИИ. Хорошая была мысль, жаль, недолгая. «Риши Сунак спешит ужесточить правила в отношении искусственного интеллекта на фоне опасений экзистенциального риска», — гласил главный заголовок на сайте Guardian в тот день.51 «[Премьер-министр] Риши Сунак лихорадочно пересматривает государственный подход к регулированию искусственного интеллекта на фоне предупреждений о том, что эта отрасль несет экзистенциальную угрозу для человечества», — говорилось в статье. — «На прошлой неделе Сунак встретился с четырьмя руководителями крупнейших мировых ИИ-компаний, включая Сундара Пичаи, генерального директора Google, и Сэма Альтмана, руководителя OpenAI — материнской компании ChatGPT. После встречи с участием Альтмана Даунинг-стрит впервые признала существование "экзистенциальных рисков", с которыми мы сейчас сталкиваемся».52 Правительство Сунака как раз находилось в процессе создания рабочей группы по безопасности ИИ, причем активное участие в этом принимали эффективные альтруисты на всех уровнях британской политики в сфере ИИ.53

Тем временем на следующий день после моего визита в Траян-Хаус сообщение от друга привлекло мое внимание к еще одной новости о безопасности ИИ. «Сегодня многие ключевые фигуры в области ИИ объединились, чтобы сделать заявление из одного предложения об угрозах ИИ», — написал в тот день Орд в Твиттере.54 «Снижение риска вымирания из-за ИИ должно стать глобальным приоритетом наряду с другими рисками общественного масштаба, такими как пандемии и ядерная война», — гласило заявление.55 Заявление и его публикация были организованы Центром безопасности ИИ (Center for AI Safety) — еще одной некоммерческой организацией, финансируемой Open Philanthropy, а также, согласно судебным документам по делу о банкротстве FTX, получившей грант в размере 6,5 миллиона долларов от фонда FTX Foundation.56 Заявление было призвано наделать шуму, и это ему удалось. О нем сообщили New York Times, Би-би-си, Associated Press, NPR, Washington Post и многие другие СМИ.57 Петицию подписали почти семьсот руководителей технологических компаний, ученых в области ИИ, а также другие представители академического сообщества и знаменитости, включая Сэма Альтмана, Билла Гейтса, Питера Сингера, Дастина Московица, Рэя Курцвейла, Дэвида Чалмерса, Элиезера Юдковского и певицу Граймс. Орд тоже поставил свою подпись, как и один небезызвестный бывший член команды FTX Foundation — некто Уильям Макаскилл.58

*    *    *

«Меня изрядно встревожил Bing... Я никак не ожидал, что в 2023 году крупная компания выпустит ИИ-чат-бот, который будет угрожать убийством исследователю в области этики ИИ, а также грозить местью целому ряду людей — например, журналисту Associated Press за негативную статью о нем, грозя разоблачить его преступления и все в таком духе — и при этом компания даже не принесет никаких извинений», — говорит мне Орд. Я спросил его, пугают ли его по-настоящему какие-либо из уже существующих компьютерных программ. «[Bing] не то чтобы испугал меня, — делится он. — Я не думаю, что он реально способен отомстить или сделать что-то подобное. Но все же поразительно, что такой продукт был выпущен и не был отсеян на этапе проверок». Но, добавляет он, у больших языковых моделей (LLM) и без того полно проблем. «Если спросить [GPT-4]: "Можно ли сложить в стопку куб, цилиндр и пирамиду с квадратным основанием?", она может дать совершенно нелепый ответ: "Да, сначала положите пирамиду с квадратным основанием на ее квадратную грань, затем поставьте куб на одну из треугольных граней, а сверху на куб водрузите цилиндр". Так что ее способности крайне неравномерны».59

Слышать от Орда, что его тревожат угрозы со стороны LLM, несколько странно, ведь он, судя по всему, прекрасно понимает их ограничения. То, что LLM заявляет, будто хочет вас убить, должно тревожить не больше, чем ее утверждение о том, что ночное небо неоново-розового цвета; и то и другое рождается из одного источника. Все, на что они способны, — это галлюцинировать. Однако, как объясняет Орд, его беспокоил не столько сам чат-бот Bing. Он видит в этом симптом беспечного отношения Microsoft к безопасности ИИ. «Честно говоря, меня больше всего встревожил сам факт релиза». Орд утверждает, что его опасения по поводу нехватки защитных барьеров у сверхразумного сильного ИИ разделяют многие специалисты в этой области. «Оказывается, среднестатистический исследователь машинного обучения оценивает вероятность того, что сверхразумный сильный ИИ всех убьет, примерно в 5 процентов, — говорит он мне. — Так что я в своих опасениях далеко не одинок».60

Существуют опросы, результаты которых указывают на правоту Орда, — он сам сослался на них в нашем разговоре. Наиболее примечателен опрос 2022 года, результаты которого позволили утверждать, что «половина исследователей ИИ оценивают вероятность того, [что] ИИ приведет к вымиранию человечества, в 10% или более»61. Однако у этого опроса есть серьезные изъяны: выборка участников могла не быть репрезентативной для данной области науки, к тому же исследование не проходило рецензирование. «Обычно происходит следующее: кто-то опрашивает людей, публиковавшихся на определенных конференциях по ИИ и машинному обучению. Опросники рассылают тысячам адресатов, получают порядка нескольких сотен ответов, в которых респондентов просят оценить вероятности», — рассказывает мне Мелани Митчелл. «Кто эти люди? Какова их компетенция? Как они выводят эти вероятности? Может, они просто гадают на кофейной гуще? Уверены ли они сами в своих оценках?.. Я считаю такие опросы малополезными. К тому же история ИИ и без того полна несбывшихся прогнозов»62.

По словам Митчелл, часть проблемы заключается в том, что в этой области нет единого мнения даже о том, что вообще представляет собой сильный ИИ (AGI). «Сама цель создания сильного ИИ четко не определена. Что это вообще значит? Понимают ли это одинаково разные люди, которые высчитывают эти вероятности? Если взглянуть на реальные данные опросов, мнения расходятся кто во что горазд... а значит, никто толком ничего не знает». Без четкого определения — и без малейшего представления о том, что на самом деле требуется для создания сильного ИИ, — подобные опросы лишь создают иллюзию точности вокруг в корне неопределенного вопроса. «Помню, как читала статью, где кого-то назвали... „экспертом по сильному ИИ“, — делится Митчелл. — Что это вообще значит? Кто такой эксперт по сильному ИИ? Таких экспертов просто нет. Так что, знаете, я не думаю, что люди действительно понимают, что именно они прогнозируют и что вообще означают эти цифры вероятности». Далее Митчелл указала на принципиальное различие между опасениями по поводу экзистенциального риска от ИИ и научно обоснованными тревогами по поводу глобальных катастроф вроде потепления климата. «В климатологии достигнут мощный научный консенсус, — говорит она. — Я не считаю, что у нас есть хоть какие-то доказательства или консенсус по поводу большинства дискуссий о рисках ИИ. Безусловно, существуют риски ИИ, с которыми мы сталкиваемся прямо сейчас и для которых у нас предостаточно доказательств — например, предвзятость систем распознавания лиц и прочее. Но что касается так называемого экзистенциального риска, то он целиком и полностью строится на домыслах, а не на экспериментах или доказательствах»63.

Учитывая крайнюю шаткость доказательств грядущего апокалипсиса ИИ, откуда у Орда такая уверенность в цифрах, которые он приводит? А у него ее и нет. «Мне кажется, во многом все сводится к вопросу о том, как поступать в условиях незнания, когда есть разногласия или неопределенность», — говорит он мне. Что касается его оценки риска от «невыровненного» сильного ИИ и других гипотетических экзистенциальных угроз, Орд заявляет, что не пытается навязывать свои цифры в качестве непреложной истины. Рассуждая о своей оценке вероятности вымирания или коллапса в следующем столетии как один к шести, он поясняет: «Это скорее попытка передать степень уверенности Тоби Орда в этой вероятности, а не стремление заявить: „Вот степень уверенности, которая должна быть и у вас. А если ее у вас нет и вы ее не разделяете, то вы совершаете ошибку“. Мои слова вовсе не преследуют такую цель»64.

Но как бы скромно ни относился Орд к своим оценкам вероятности, они имеют значение — и не только для него самого. Он один из лидеров сообщества эффективных альтруистов, и его слова имеют вес. А согласно логике лонгтермистов, подобные оценки вероятности могут играть колоссальную роль при принятии решений о том, какие действия нужно предпринять здесь и сейчас, чтобы улучшить мир. Излюбленная игра лонгтермистов заключается в умножении ничтожно малого числа на невероятно большое — так они пытаются рассчитать, какому количеству людей в будущем можно помочь, сделав что-то конкретное прямо сейчас. Одна из проблем этой игры в том, что она чрезвычайно чувствительна к малейшим изменениям используемых чисел — настолько мизерным, что они практически неощутимы и едва ли поддаются какому-либо осмыслению.

Возьмем пример из первой главы, где вероятность помочь космически огромному будущему с населением в 10⁴⁰ человек составляла один шанс из 10¹⁷. Это приводило к ситуации, когда следовало предпочесть этот ничтожный шанс действию, которое гарантированно помогло бы каждому ныне живущему человеку, поскольку этот крошечный шанс, помноженный на столь колоссальное число людей, в результате давал число людей, которым удастся помочь, намного превышающее все нынешнее население Земли. Но допустим, что шансы помочь всем в этом будущем оказались ниже, чем вы думали изначально, — скажем, один из 10³⁹. Шансы все равно мизерные. На самом деле они настолько малы, что вряд ли можно с уверенностью сказать, заметите ли вы разницу между шансом один к 10¹⁷ и один к 10³⁹. Оба эти значения настолько близки к «этому не бывать никогда и ни за что», что разницу между ними уловить практически невозможно, особенно когда речь идет о столь туманных материях, как эффект от благотворительного пожертвования в далеком будущем. (Если вы будете раз в секунду покупать билет лотереи с первыми шансами на выигрыш, то в среднем выиграете примерно через три миллиарда лет. Если же у лотереи будут вторые шансы, вам понадобится в десять миллиардов триллионов раз больше времени. У второй игры шансы, безусловно, намного хуже, но будет ли это иметь для вас хоть какое-то значение после первого миллиона лет непрерывных разочарований?)

И все же эта разница имеет принципиальное значение для аргументов сторонников лонгтермизма: если бы шансы того, что ваше пожертвование действительно поможет этому астрономически огромному числу людей в будущем, составляли всего один к 10³⁹, ставка внезапно оказалась бы битой. В среднем вы помогли бы всего десяти людям будущего. Вы принесли бы гораздо больше пользы, если бы помогли всем ныне живущим. Таким образом, весь этот ход рассуждений строится на вашей способности отличить одну ничтожно малую вероятность от другой, еще меньшей, и все это — в контексте прогнозирования последствий ваших действий на триллионы лет вперед во всей наблюдаемой Вселенной. Огромные числа, используемые в этих аргументах, сопряжены с точно такой же неопределенностью. Если число людей в будущем из сценария первой главы составит 10²⁰, это тоже будет указывать на то, что правильный шаг — помочь всем живущим сегодня. Прогнозы численности населения Земли даже на сто лет вперед составить крайне трудно. Насколько же тогда можно быть уверенным, прогнозируя число людей, которые будут жить на планете от настоящего момента и до скончания времен?

Лонгтермисты часто строят свои аргументы на подобных прогнозах, регулярно привлекая для этого умозрительные технологии будущего. В своей статье 2012 года Ник Бостром подсчитал, что благодаря загрузке сознания и симуляциям эквивалент 10⁵² человеческих жизней «обычной продолжительности» может быть прожит на компьютерах в космическом пространстве за всю будущую историю Вселенной. Если существует хотя бы однопроцентный шанс на осуществление такого будущего, писал он, тогда «ожидаемая ценность снижения экзистенциального риска всего на одну миллиардную от одной миллиардной процентного пункта стоит в сто миллиардов раз больше, чем миллиард человеческих жизней»65. Макаскилл высказался еще конкретнее в статье 2021 года, написанной совместно с Хилари Гривз под названием «Обоснование сильного лонгтермизма» (The Case for Strong Longtermism). Обсуждая экономическую эффективность финансирования работ по «безопасности ИИ» (то есть предотвращению уничтожения человечества сверхразумным ИИ), они ссылаются на те же опросы, которые Орд приводил в качестве обоснования своей оценки экзистенциального риска со стороны ИИ, а затем заявляют, что «даже крайне консервативная оценка дает как минимум 0,1% вероятности катастрофы, вызванной ИИ (столь же ужасной или еще более ужасной, чем вымирание человечества), в течение следующего столетия». Объединив эту оценку с предположением об эффективности инвестиций в исследования безопасности ИИ и со своей «разумной оценкой» числа будущих существ — которое, по их утверждению, составляет «по меньшей мере» 10²⁴, — Макаскилл и Гривз приходят к ошеломляющему выводу. «Каждые 100 долларов, потраченные [на безопасность ИИ], в среднем приносят пользу, эквивалентную спасению одного триллиона [жизней]... что намного превосходит пользу от распределения противомалярийных сеток в ближайшей перспективе»66. Для убежденного сторонника сильного лонгтермизма инвестиции в кремниеводолинную компанию по безопасности ИИ — куда более ценное гуманитарное начинание, чем спасение жизней в тропиках.

И это не какая-то отдельная, изолированная проблема — она была неотъемлемой частью лонгтермизма с самого начала. Ник Бекстед, консультант по безопасности ИИ, давно связан с лонгтермизмом и эффективным альтруизмом. До того как криптоимперия FTX потерпела крах в 2022 году, он был генеральным директором фонда FTX Future Fund. Ранее он некоторое время работал в Институте будущего человечества (FHI) в Оксфорде, а затем — в фонде Open Philanthropy67. А до всего этого он защитил докторскую диссертацию по философии68. Докторская диссертация Бекстеда 2013 года под названием «О колоссальной важности формирования далекого будущего» (On the Overwhelming Importance of Shaping the Far Future) цитируется Ордом как один из важнейших фундаментальных трудов по лонгтермизму и экзистенциальным рискам69. В этой диссертации Бекстед утверждает следующее:

«Если взять другой пример, спасение жизней в бедных странах может иметь значительно меньший косвенный эффект, чем спасение и улучшение жизней в богатых странах. Почему? В более богатых странах происходит существенно больше инноваций, а их работники гораздо более продуктивны экономически. По обычным меркам — по крайней мере, по обычным просвещенным гуманитарным стандартам — спасение и улучшение жизней в богатых странах примерно так же важно, как спасение и улучшение жизней в бедных странах, при условии, что качество жизни повышается примерно в сопоставимой степени. Однако сейчас мне кажется более правдоподобным, что при прочих равных условиях спасение жизни в богатой стране существенно более важно, чем спасение жизни в бедной стране»70.

Иными словами, согласно Бекстеду, жизни людей, живущих, скажем, в Мозамбике, имеют меньшее значение, чем жизни людей в Соединенных Штатах, поскольку американцы внесут больший вклад в славное лонгтермистское будущее в космосе.

Как и в случае с извинениями Бострома за его расистское электронное письмо, Бекстед годы спустя опубликовал заявление по поводу этого фрагмента своей диссертации — и точно так же, как и Бостром, упустил саму суть проблемы, даже не попытавшись извиниться. Он также не стал отрекаться от своих прежних взглядов, а лишь попытался прояснить, что имел в виду. «В этом отрывке исследовался конкретный узкий философский вопрос в академическом духе рассмотрения идей под необычным углом», — написал он в 2022 году. — «Я не считаю, что жизни людей в богатых странах по своей сути ценнее, чем жизни людей в бедных странах»71. Однако это никак не противоречит и не опровергает прежнее утверждение Бекстеда: возможно, он и не думает, что жизнь человека, живущего в США, по своей сути более ценна, чем жизнь жителя Мозамбика, но он все же может считать, что с практической точки зрения американская жизнь имеет большее значение — и, собственно, именно на это он и указывает в данном фрагменте своей диссертации.

Это не значит, что Бекстед считает нормальным игнорировать жителей бедных стран. «Взвесив все за и против, я считаю, что в целом пожертвования на здравоохранение лучше направлять в наименее благополучные страны, — писал он, — и лично я посвятил значительную часть своей карьеры продвижению таких пожертвований, например, будучи членом-соучредителем правления [Giving What We Can]». Свое заявление Бекстед завершил просьбой: «Если вы цитируете эту часть моей диссертации, я буду признателен, если вы также приведете это [примечание], чтобы избежать ненужных недоразумений»72. Однако подобные «недоразумения» относительно того, что лонгтермизм предлагает в отношении современного бедствия и неравенства, довольно распространены в сообществе эффективного альтруизма. «Вначале эффективный альтруизм был в основном направлен на борьбу с глобальной бедностью. Теперь же он все больше сводится к финансированию исследований в области компьютерных наук, чтобы предотвратить вызванный искусственным интеллектом апокалипсис», — писал Дилан Мэтьюз, журналист и сторонник эффективного альтруизма, в своем репортаже с крупной встречи участников движения в 2015 году. «По сравнению с этим, по словам многих присутствовавших, мировая бедность — это просто "ошибка округления"»73.

* * *

Во время обеда в Трейджан-хаусе я встретился с Дэвидом Торстадом, который в то время работал там научным сотрудником. Работая в этих стенах, он неожиданно для себя оказался в роли своего рода внутреннего критика эффективного альтруизма. Он поспешил отметить, что эффективные альтруисты очень благосклонно относятся к продуманным аргументам, критикующим их взгляды, если только они не преподносятся в конфронтационной манере. «Если вы скажете: "Эффективные альтруисты — просто олухи", они разозлятся, — говорит он. — Но если вы скажете: "Эффективные альтруисты хуже убийц, потому что..." — и, замечу, это не моё мнение, — до тех пор, пока вы приводите это "потому что", они будут слушать». Торстад также отметил закономерности, которые он заметил в аргументах, выдвигаемых лонгтермистами. «У них есть один отличный прием — неопределенность, — рассказал он мне за обедом. — Поэтому они часто очень быстро переходят к вероятностям. Они говорят: "Ну хорошо, неужели вы не согласитесь, что здесь есть шанс один на миллион?". И приходится настойчиво призывать их: нет, давайте не будем сразу бросаться называть вероятности. Давайте приведем аргументы, чтобы обосновать наши вероятности. И вам действительно приходится заставлять людей приводить аргументы, а вытянуть из местных обитателей какой-либо аргумент, на мой взгляд, зачастую бывает очень непросто»74.

Таким образом, лонгтермисты строят свои доводы на невероятно сильных выводах — финансирование исследований в области безопасности ИИ в триллионы раз более экономически эффективно, чем предотвращение распространения малярии! Спасение миллиарда живущих сегодня людей не так ценно, как ничтожно малый шанс спасти 10⁵² человек, которые, возможно, когда-нибудь появятся на свет! — основываясь на аргументах, которые опираются на ничтожно малые вероятности и рушатся, если эти вероятности оказываются неверными. А их оценки этих ключевых вероятностей почти ни на чем не основаны. Сопоставьте это с неопровержимыми доказательствами того, что сегодня живут люди, нуждающиеся в помощи, — и вся идея лонгтермизма покажется весьма шаткой.

Макаскилл и Гривз упоминают в своей статье о сильном лонгтермизме, что подобные аргументы типа «малое число, умноженное на большое число» сомнительны, но (осторожно!) приходят к выводу, что такие формы этических рассуждений верны. Орд, со своей стороны, в этом не так уверен. «Мне известны аргументы, связанные с очень малыми вероятностями и очень высокими ставками, и в книге «На краю пропасти» я старался никогда их не приводить, и, думаю, мне это удалось, — говорит он мне. — На самом деле, мне кажется, я прямо указываю на несостоятельность такого аргумента и предлагаю отказаться от него». Когда вы приводите подобные аргументы, продолжает он, «всё оказывается крайне чувствительным к этим неопределенным цифрам. И это меня тревожит»75.

Но если оставить в стороне вопрос о том, действительно ли Орду удалось избежать подобных аргументов — а также его крайне сомнительные оценки вероятности катастрофы ИИ и климатического бедствия, — он всё равно опирается на другой догмат лонгтермистской мысли, как и Макаскилл с Бостромом: гипотезу «времени бедствий». Согласно этой идее, мы переживаем уникально важный, опасный и временный период в истории: мы способны уничтожить себя, но если мы сможем просто продержаться следующие несколько веков, риск снизится, и человечество окажется в безопасности на тысячи, миллионы или миллиарды лет. «Могущество человечества стремительно росло, — говорит мне Орд. — С созданием атомного оружия мы, пожалуй, достигли той стадии, когда способны уничтожить себя собственными действиями. Мы всегда были уязвимы перед угрозами вроде астероидов, которые могли нас погубить. Но теперь у нас появилась возможность совершить самоубийство... Наша сила опередила нашу мудрость, как отмечали Карл Саган и другие»76. Сам термин «время бедствий» также взят из трудов Сагана, и Орд заимствует у него еще одну аналогию для описания этого состояния: представление о человечестве как о подростке, безрассудном и испытывающем на прочность границы своего новообретенного могущества77. «Если мы правильно разыграем свои карты, человечество окажется на ранней стадии жизни: мы всё еще в подростковом возрасте и с нетерпением ждем удивительной зрелости, — пишет Орд в книге «На краю пропасти». — Подобно подростку, мы стремительно обретаем полную силу и не терпим, чтобы поиграть мускулами, опробовать каждую новую способность в тот самый момент, когда мы её получаем. Мы мало заботимся о своем будущем»78.

Орд, как и все лонгтермисты, считает, что это будущее может быть очень долгим и масштабным, вмещающим в себя те огромные массы людей, о которых говорят Бостром, Макаскилл и другие. И именно поэтому ему нужно, чтобы время бедствий было недолгим: в противном случае такое будущее просто маловероятно. «Гипотеза времени бедствий — это очень сильное утверждение, — говорит мне Торстад. — Она гласит, что сейчас ситуация крайне опасна; это очень сильное утверждение. Она гласит, что всё станет гораздо, гораздо, гораздо менее опасным; это еще одно сильное утверждение. И она гласит, что так всё и останется на долгое время». Заимствуя аналогию Орда, Торстад продолжает: «Если мы вырастем во взрослую жизнь как вид, мы станем достаточно зрелыми, чтобы справляться с рисками. А если мы не повзрослеем как вид, мы никогда не положим конец времени бедствий и просто вымрем. Таким образом, идея заключается в том, что либо мы выберемся из этих пары столетий, либо нет»79. Но, говорит он мне, здесь есть несколько серьезных проблем, главная из которых заключается в том, что, как только время бедствий останется позади, риск должен снизиться и оставаться низким — очень низким. «И он должен оставаться [низким] буквально вечно... Когда вы щедро отводите человечеству миллиард лет [будущего], вы обязаны исходить из этого. Потому что если сейчас риск высок, но мы собираемся прожить миллиард лет, риск должен упасть до минимума очень скоро». И, заключает Торстад, в пользу этого практически нет никаких свидетельств80. Чтобы человечество просуществовало миллиард лет, среднегодовой риск нашего вымирания должен составлять не более одного шанса на миллиард. Это кажется просто неправдоподобным — и еще менее правдоподобно, что мы можем знать нечто подобное на столь долгий срок вперед.

Даже прогнозирование «всего лишь» на несколько веков вперед практически невозможно. «Вот почему меня не впечатляют доводы в пользу лонгтермизма... Семилетняя война отстоит от нас в прошлом примерно так же далеко, как 2300 год в будущем. И Семилетняя война оказала причинно-следственное влияние практически на каждую страну на планете, во многих случаях — колоссальное, — пишет философ Брайан Уэзерсон, профессор Мичиганского университета. — Но сделала ли она эти страны лучше или хуже, богаче или беднее, более или менее справедливыми и так далее? Кто знает! Альтернативные сценарии типа «что, если» слишком сложны для анализа, даже при том, что мы знаем, как развернулся один конкретный ход истории. Наша способность знать, что именно изменит вероятность вымирания [через] 250 с лишним лет, а также масштаб и направленность этих изменений, хуже, чем наша способность определять масштаб и направленность причинно-следственного влияния прошлых событий. А мы этого не знаем»81ⁱⁱ.

Несмотря на трудность отслеживания последствий наших действий на протяжении веков, не говоря уже о миллионах тысячелетий, излюбленный способ Орда навсегда снизить экзистенциальный риск заключается в создании социального и политического импульса для предотвращения подобных угроз. «Скажем, например, на уровне экологического движения или чего-то подобного — точно так же, как в период с 1950 по 1970 год произошел довольно быстрый сдвиг в убеждениях людей. Когда внезапно то, что раньше не считалось частью морального мышления, превратилось в одну из его основ, — говорит он мне. — Возможно, мы могли бы сделать это снова и всерьез воспринять продолжение существования человечества как главное ограничение для нашего поведения. А затем регулировать это договорами и тому подобным, создав фактически конституцию для человечества, чтобы в будущем жить в рамках своего рода устойчивого бюджета рисков»82. Но если угроза вымирания человечества высока сейчас, трудно представить, как серия договоров или даже мировое правительство смогут удерживать эту угрозу на низком уровне на протяжении миллиардов лет. Как отмечает Торстад, даже удержание ее на низком уровне в течение десятилетий может породить другие проблемы. «Когда мы говорим, что станем мудрее как вид и поэтому будем управлять рисками, нам нужно совершенно точно определить: что значит стать мудрым? Почему мы думаем, что это произойдет? И почему мы считаем, что это приведет к снижению рисков?» Затем Торстад конкретизирует один из возможных сценариев будущего:

Дьявол кроется именно в деталях того, как именно это произойдет... Например, если спросить, что мы будем делать с биотерроризмом, который обычно называют вторым по величине риском после искусственного интеллекта, то мы бы ввели системы слежки и контроля. Мы бы расширили полномочия по слежке, карательные полномочия, возможности по фокусному наблюдению и полномочия по самому пристальному контролю за индивидуальным использованием генетического секвенирования и других технологий. И если бы мы захотели сделать это достаточно эффективно, чтобы снизить угрозу в тысячу, десять тысяч или сто тысяч раз, несмотря на стремительное, стремительное, стремительное развитие технологий, нам, возможно, пришлось бы превратить мир в гораздо более пугающее место, которое большинство людей сочли бы не просто неразумным, но, возможно, даже не сочли бы улучшением83.

Торстад также говорит, что многие эффективные альтруисты не согласны с Ордом. Вместо того чтобы полагаться на соглашения между людьми вроде договоров и государственных регуляций, они видят другой способ навсегда снизить вероятность вымирания человечества. Это связано с одной из причин, по которой трудно прогнозировать вероятность гибели человечества в далеком будущем: с течением времени могут возникать новые экзистенциальные угрозы. Как минимум, катастрофы, крайне маловероятные в масштабах одного века — такие как падение крупных астероидов или извержение супервулканов, — становятся неизбежными, когда начинаешь рассматривать периоды в десятки или сотни миллионов лет. А новые технологии, такие как ядерная энергетика и генетическая инженерия, принесли с собой новые угрозы, например ядерную войну и искусственное биооружие. Последний факт лонгтермисты (и рационалисты), безусловно, понимают; именно так они видят перспективу создания ОИИ (общего искусственного интеллекта). Но, по словам Торстада, многие из них также видят в согласованном ОИИ реальное решение, позволяющее снизить экзистенциальный риск и удерживать его на низком уровне. «Вот что многие эффективные альтруисты скажут вам о времени бедствий, — говорит он мне. — ИИ станет очень, очень умным и очень быстро. Он может нас убить, но если этого не произойдет, он будет настолько умен, что сможет предвидеть и предотвратить все будущие риски. Такова ортодоксальная версия». Заметив недоумение на моем лице, он добавляет: «Я не шучу»84.

Торстад относится к этому утверждению скептически, мягко говоря. «Утверждение о том, что человечество вскоре создаст сверхразумных искусственных агентов, уже само по себе достаточно спорно, — пишет он. — Последующее же заявление о том, что сверхразумные искусственные системы будут настолько проницательными, что смогут предвидеть и предотвратить практически любой будущий риск, для большинства сторонних наблюдателей контринтуитивно до тошноты»85. На вопрос, почему эффективные альтруисты в это верят, Торстад разводит руками. «У меня нет объяснений. Ни единого», — признается он мне. Он добавляет, что, несмотря на то, насколько распространенной кажется эта вера среди эффективных альтруистов, есть лишь одно место, где это убеждение изложено хоть сколько-нибудь подробно, — короткий комментарий на форуме ЭА, который используют в качестве стандартного источника по этой теме, несмотря на крайнюю скудность деталей. И он подозревает, что это связано с тем, насколько трудно на самом деле защитить такую позицию86. «У меня складывается ощущение, что в последнее время многие аргументы эффективных альтруистов упираются в очень, очень сильные и крайне спекулятивные заявления об ИИ, которые большинство читателей не готовы принять или счесть подкрепленными доказательствами, — говорит он мне. — И что с этими утверждениями мы дойдем до точки, когда у нас останется так мало общего, что вести дискуссию станет практически невозможно»87.

Это обещание благосклонного божества — сверхразумного ИИ, который предвидит и решает все человеческие проблемы, — совпадает с целью сингуляристов и рационалистов: свести все проблемы к разумному применению компьютерных наук. В более широком смысле это мечта о технологии как о спасении от всех угроз. Технологии не решают социальных и политических проблем, равно как и не порождают их сами по себе. Перспектива ядерной войны стала возможной благодаря технологиям, но реальной угрозой она остается из-за геополитики. Люди могли бы объединиться и решить избавить мир от ядерного оружия, так же как мы могли бы объединиться, чтобы остановить глобальное потепление. Применение большего количества интеллекта и технологий к этим проблемам не решит их — они фундаментально политические. Существует бесчисленное множество человеческих проблем, которые могут перерасти в войну, экологическую катастрофу или какую-то другую непредсказуемую угрозу, и ни одна из них не имеет технологического решения. Выход, скажем, из пограничных споров между Индией и Пакистаном не заключается в том, чтобы заваливать проблему новыми технологиями. Идея о том, что согласованный ОИИ (если эта концепция вообще имеет смысл) устранит все экзистенциальные угрозы, просто не имеет под собой никаких оснований в реальности. Постольку, поскольку по этому вопросу существуют научные доказательства, они решительно противоречат такому выводу. Все вычислительные мощности во Вселенной не помогут вам предсказать погоду на два месяца вперед, не говоря уже о том, чтобы предотвратить конфликт, порожденный сложной социальной динамикой людей.

В каком-то смысле Орд прав. Главные проблемы, стоящие сейчас перед человечеством, носят социальный характер, и общественные движения для их решения — отличная идея. Вот только он неверно определил, какие именно проблемы являются наиболее насущными: он считает, что риск со стороны ИИ перевешивает глобальное потепление и все остальное вместе взятое. И даже он сам не застрахован от соблазна стандартной трансгуманистической техноутопии с огромным количеством людей, живущих в космосе. «Когда-то мы думали, что ограничены Землей; теперь мы знаем, что нам доступны неизмеримо большие возможности и ресурсы», — пишет он в «На краю пропасти». — «Нашим главным образом космических путешествий должен быть не комфорт и покой океанского лайнера, а изобретательность, смелость и упорство полинезийских мореплавателей, которые тысячу лет назад бороздили бескрайние просторы Тихого океана, чтобы найти все его разбросанные острова и завершить финальный этап заселения Земли... Если бы мы могли достичь хотя бы одной близлежащей звезды и основать там поселение, перед нами открылась бы вся эта галактика»88. И хотя Орд не думает, что выход в космос предотвратит все экзистенциальные угрозы, он все же полагает, что это обезопасит человечество в большей степени, чем если бы мы все оставались на Земле. Как только начнется колонизация нашей галактики, пишет он, «процесс станет устойчивым перед лицом локальных аварий, неудач или природных катаклизмов»89.

Таким образом, для лонгтермистов космос — это не просто место безграничного будущего, но и часть решения проблемы риска вымирания человечества. Но вдобавок ко всему этому лонгтермисты утверждают, что нам необходимо отправиться в космос — что существует «моральное обоснование колонизации космоса», как выражается Макаскилл, — и что неспособность сделать это стала бы трагедией вселенского масштаба90.

*    *    *

Вглядываясь в космическое пространство, мы вынуждены столкнуться с удивительным фактом о нас самих. Наши глаза — и мои, и ваши — это машины времени. Вы видите вещи не такими, какие они сейчас, — вы видите их такими, какими они были. Мозгу требуется доля секунды, чтобы совершить сразу несколько чудес обработки сигналов: обработать импульсы от светочувствительных клеток сетчатки и сложить их в единую картину окружающего мира, усваивая новую информацию от глаз десятки раз в секунду. Вы всегда отстаете от событий прямо перед вашим носом чуть более чем на десять миллисекунд. Но это лишь начало — стоит заглянуть гораздо дальше собственного носа, и задержка становится по-настоящему огромной из-за конечной скорости света. Серебристый серп Луны, прелестный и нежный в темнеющей лазури сумеречного неба, — это образ, отстоящий от нас более чем на целую секунду в прошлое. Пылающее Солнце, встающее на следующее утро, уже отстает от реальности на восемь минут к тому моменту, когда вы его видите. Остальная часть ночного неба — еще более старые новости. Марс обычно находится примерно в двенадцати световых минутах от нас, Юпитер — примерно в сорока. Мы видим Сириус, самую яркую звезду на ночном небе, таким, каким он был более восьми лет назад. Но когда мы смотрим на Бетельгейзе, десятую по яркости звезду, мы видим ее такой, какой она была более пятисот лет назад, когда птицы дронты все еще бродили по тропическому острову в западной части Индийского океана, которому тогда еще не дали имя Маврикий. А свет от галактики Андромеды, самого далекого объекта, видимого невооруженным глазом, летит к нам два с половиной миллиона лет — он старше самого человечества, из тех времен, когда наши предки на равнинах Восточной Африки только учились изготавливать каменные орудия.

Но самый древний свет во Вселенной заставляет померкнуть даже возраст Земли. Найдите старый телевизор с настоящей антенной — может, в подвале? Или в комиссионке? — и настройте его на пустой канал, заполненный помехами. Убавьте яркость до минимума и понаблюдайте за крошечными серыми вспышками на темном экране. Примерно один процент этих вспышек вызван тем, что в антенну ударяет реликтовое излучение — самый ранний свет во Вселенной.91 Этот свет находится в пути почти четырнадцать миллиардов лет. За это время расширение пространства унесло точку зарождения этого света примерно на сорок шесть миллиардов световых лет, к самому краю наблюдаемой Вселенной. Этот свет образовался всего через несколько сотен тысяч лет после Большого взрыва, когда вся Вселенная еще была настолько раскалена этим яростным событием, что светилась тускло-красным цветом, а ее температура составляла половину от температуры поверхности сегодняшнего Солнца. Порция этого невыразимо древнего света, столкнувшаяся с вашей телевизионной антенной, изначально находилась в ближнем инфракрасном диапазоне, как раз за пределами человеческого зрения. Но за время своего долгого, эпического пути расширение самой Вселенной растянуло этот свет, лишив его энергии и превратив из дрожащего теплого инфракрасного излучения в длинную, ленивую радиоволну. Время меняет всё — даже первозданный свет.

Это же космическое расширение со временем оставит нас в глубоком одиночестве. Наблюдаемая Вселенная простирается более чем на девяносто миллиардов световых лет в поперечнике и содержит около двух триллионов галактик, но это ненадолго. Расширение Вселенной ускоряется — так происходит уже последние несколько миллиардов лет. Примерно через сто миллиардов лет оно унесет прочь все галактики, кроме самых близких: нашего Млечного Пути, а также Андромеды, Треугольника и огромного множества карликовых галактик, известных под общим названием Местная группа. Все остальные исчезнут навсегда, скрывшись из нашего поля зрения. Примерно в то же время вся Местная группа сольется в одну гигантскую галактику — «Млекомеду», и на этом всё: она останется единственной галактикой, которую можно будет увидеть где бы то ни было.92

И все же, даже после того как остальная часть космоса покинет нас, у нас все еще останется почти неизмеримое изобилие — на какое-то время. В нашей Местной группе насчитывается значительно больше триллиона звезд, у большинства из которых есть планеты — более миллиона миллионов миров, покрытых замерзшим воздухом, скалами, газом или даже водой. Здесь раскинулись колоссальные туманности, газовые облака протяженностью в световые годы, которые сжимаются, давая жизнь новым звездам, пока вокруг них из пылинок и глыб размером с Манхэттен формируются новые причудливые миры. В самом центре нашей собственной галактики таится черная дыра, которая заигрывает со звездами вокруг, играет со своей едой и заставляет голубых сверхгигантов носиться со скоростью в несколько процентов от световой перед их окончательным, неизбежным падением в ее гравитационную глотку. Через сто миллиардов лет, запертые в одиноких глубинах Млекомеды, звезды все еще будут сиять. Но рано или поздно умрут и они: более крупные будут жадно сжигать свои запасы атомов за считаные миллионы лет, пока не погибнут в виде сверхновых, каждая из которых на короткое мгновение затмит всю остальную галактику, вместе взятую; более мелкие будут бережно расходовать свое топливо на протяжении миллиардов веков, а затем сиять еще в тысячу раз дольше в качестве белых карликов, прежде чем окончательно угаснуть во тьме. Их свет угаснет. Их планеты будут поглощены пламенем или замерзнут в ледяных глубинах космоса. Их звездные остатки распадутся или будут поглощены черными дырами, а затем и сами эти черные дыры тоже погибнут, испарившись в виде излучения и растворившись в долгой ночи. В конечном счете останется лишь это излучение, смешанное с призрачным эхом первозданного космического фона, растягивающееся все сильнее под воздействием неумолимо ускоряющегося расширения пространства, истощающего последние крохи энергии в отголосках Большого взрыва.

Это и есть тепловая смерть Вселенной — окончательная смерть любых температурных различий, любых различий вообще, продиктованная самым незыблемым из существующих законов физики: вторым началом термодинамики, которое гласит, что в замкнутой системе, подобной нашей Вселенной, энтропия должна неизменно возрастать. Энтропию часто объясняют как меру беспорядка, но на этих космических масштабах времени ее можно представить как меру одинаковости: если между двумя областями Вселенной есть различие, растущая энтропия со временем сгладит его, пока они не станут идентичными — одинаково заполненными одинаково хаотичным веществом при одинаковой температуре. Эта гонка за одинаковостью правит Вселенной и сегодня. Энтропия космоса неумолимо растет множеством путей — как причудых, так и привычных. Солнце излучает тепло, согревая свое окружение по мере того, как иссякает его обладающее низкой энтропией ядерное топливо; кубик льда тает в стакане воды, пока они не станут единым целым. Земля поглощает свет и тепло с низкой энтропией от Солнца — высокую температуру, исходящую с одного направления, — и переизлучает их обратно уже с более высокой энтропией — при более низкой температуре и во всех направлениях. Растения улавливают этот низкоэнтропийный солнечный свет и используют его для разрыва и создания химических связей, чтобы вырабатывать сахар — относительно низкоэнтропийный источник энергии, — но при этом они увеличивают общую энтропию, выделяя в процессе тепло. Мы потребляем этот сахар в качестве топлива, непрерывно излучая высокоэнтропийное тепло своего тела во всех направлениях — весь день, каждый день. Время идет, причем само направление будущего определяется направлением роста энтропии: именно низкоэнтропийное состояние Вселенной в прошлом отличает прошлое от будущего, задавая времени его стрелу. Будущее наступает день за днем, ведя Вселенную к тепловой смерти, несущей с собой неизбежный рост энтропии во всем великом и малом. В наших клетках накапливается беспорядок; мы стареем и умираем. Умирает Земля. Умирает Солнце. В конце концов умирает всё.

Это не единственная возможная судьба Вселенной. Но, пожалуй, самая приятная из всех возможных. Все они предполагают неумолимый рост энтропии; разница лишь в том, как долго просуществует Вселенная в том виде, в каком мы ее знаем. Некоторые варианты предусматривают повторное сжатие Вселенной, ведущее к «Большому взрыву наоборот»; другие буквально разрывают Вселенную на части, пока еще светят звезды (хотя оба эти сценария крайне маловероятны). Больше всего тревожит вероятность распада вакуума: внезапное изменение фундаментального состояния пространства-времени в одной из областей Вселенной из-за случайной квантовой флуктуации, в результате чего возникает расширяющийся со скоростью света пузырь, который навечно уничтожает буквально всё на своем пути. Конец всему, мгновенный и без предупреждения. Ни один из этих вариантов нельзя исключать. Однако тепловая смерть на фоне бесконечного ускоряющегося расширения считается сегодня наиболее вероятной судьбой Вселенной среди современных космологов — с возможным финальным аккордом в виде распада вакуума в далеком будущем, спустя долгое время после того, как тепловая смерть установит свое неумолимое единообразие во всей Вселенной.

Что мы должны чувствовать по этому поводу? Что нам делать перед лицом гибели всего сущего? Как нам жить? Я не знаю. Мы абстрактно знаем, что умрем. Конец человечества кажется еще более абстрактным. А постичь угасание самих звезд и вовсе за пределами нашего понимания. Временные масштабы здесь настолько велики, что мы не способны осознать их напрямую, и перед ними пасуют любые аналогии. Последняя черная дыра в наблюдаемой Вселенной испарится примерно через 10¹⁰⁰ лет или около того; я посвятил изрядную часть своей карьеры поискам способа интуитивно объяснить величину столь огромных чисел, и мне кажется, что хорошего способа просто не существует. Растерянность в таком случае кажется вполне уместной реакцией на мрачную судьбу космоса. Как и отчаяние, гнев или надежда — надежда на то, что физика ошибается, что ошибаюсь я. И возможно, я действительно ошибаюсь. Но именно такое будущее готовит Вселенной современная наука в лучших своих проявлениях. Мы не вольны это выбирать. Все, что мы можем выбирать, — это наша реакция.

Позвольте мне в таком случае предложить один вариант ответа. Это не «правильный» ответ — правильного ответа на конец всего сущего не существует, — но, как мне кажется, вполне здравый. А начинается он с одной истории, апокрифической и неизвестного происхождения. Несколько десятилетий назад выдающийся астроном читала публичную лекцию о Солнечной системе в переполненном зале. Она рассказывала о том, как 4,5 миллиарда лет назад Солнце и планеты сформировались из сжимающегося облака газа и пыли, как гравитация Солнца удерживает планеты на их эллиптических орбитах, и, наконец, о том, как через пять миллиардов лет Солнце расширится, превратится в красного гиганта и поглотит Землю. На этих словах мужчина в третьем ряду робко поднял дрожащую руку. Астроном кивнула ему, и он поднялся с места.

— Простите, вы только что сказали, что Солнце поглотит Землю через пять миллионов лет? — спросил он.

— Не совсем — это произойдет через пять миллиардов лет, — ответила астроном.

— Ох, слава богу! — ответил мужчина с явным облегчением.

Да, Вселенной когда-нибудь придет конец. Но пока мы живы, здесь, на Земле. Эта планета — наш дом. Миллиарды лет эволюции приспособили нас к ней, а её сделали гостеприимной для нас. Природная красота этой планеты превосходит всё, что способно измыслить человеческое воображение. Здесь есть киты размером с пассажирский самолет, тихоходки шириной в половину ресницы и укрытые в горах узловатые деревья, которые старше египетских пирамид в Гизе. Здесь есть покрытые снегом вулканы в вечной зиме Антарктиды; есть изобилующие жизнью разломы в миле под поверхностью Тихого океана; есть чистые реки, вьющиеся по субальпийским лугам, а рядом с ними — обточенные водой камни, которые летним днем долго хранят тепло. И еще на этой планете живут восемь миллиардов других людей, которые прямо сейчас нуждаются в нашем внимании, заботе и любви. Наши поступки и чувства — помощь, которую мы оказываем друг другу, радость, которую мы черпаем в великолепии этого мира, — не потеряют своего значения или ценности с течением времени. Непостоянство Вселенной не делает существование бессмысленным: то, что мы были здесь, навсегда останется истиной, даже когда исчезнут последние наши следы. Мы здесь прямо сейчас, в мире, который дает нам куда больше, чем мы могли бы разумно просить. Мы можем радоваться этому и находить удовлетворение и смысл в том, чтобы сделать этот мир чуточку лучше для каждого человека и каждого живого существа на нем, независимо от конечной судьбы космоса.

Это один из возможных ответов. А вот другой:

Пока я пишу эти строки, солнца освещают и согревают пустые комнаты, неиспользуемая энергия утекает в черные дыры, а наше великое общее достояние в виде негэнтропии [энергии с низкой энтропией] необратимо превращается в энтропию в космических масштабах. Это ресурсы, которые развитая цивилизация могла бы использовать для создания ценностных структур — таких, как разумные существа, живущие достойной жизнью. Темпы этой утраты поражают воображение. В одной из недавних работ на основе приблизительных теоретических соображений, связанных со скоростью роста энтропии, высказывается предположение, что потери потенциальных человеческих жизней в нашем собственном сверхскоплении галактик составляют не менее ~1046 за каждый век задержки колонизации... Даже по самым консервативным оценкам, предполагающим биологическое воплощение каждого человека, каждую секунду отсрочки колонизации нашего сверхскопления теряется потенциал для появления ста триллионов потенциальных человеческих существ. С утилитаристской точки зрения эта огромная потеря потенциальных человеческих жизней представляет собой столь же огромную потерю потенциальной ценности... Таким образом, влияние на совокупную ценность у действий, ускоряющих технологическое развитие, представляется более значительным, чем у практически любых других возможных действий. Продвижение технологий (или способствующих им факторов, таких как экономическая продуктивность) даже на столь ничтожную величину, которая позволит колонизировать местное сверхскопление всего на одну секунду раньше, чем произошло бы в противном случае, эквивалентно созданию более чем 1029 человеческих жизней (или 1014 человеческих жизней, если использовать самую консервативную нижнюю оценку), которые иначе никогда бы не существовали. Мало какие другие филантропические начинания могут надеяться сравниться с таким уровнем утилитарной отдачи.93

Это Ник Бостром в своей статье 2003 года «Астрономическая растрата: альтернативная стоимость отложенного технологического развития». А вот слова Тоби Орда из книги «На краю пропасти»:

В предельном физическом масштабе существует 20 миллиардов галактик, до которых могли бы добраться наши потомки. Семь восьмых из них находятся более чем на полпути к краю доступной воздействию Вселенной — так далеко, что, когда мы достигнем их, обратно уже нельзя будет отправить ни одного сигнала. Таким образом, расселение по этим далеким галактикам станет окончательной диаспорой, где каждая галактическая группа образует собственное суверенное владение, вскоре причинно изолированное от остальных. Подобная изоляция вовсе не обязательно означает одиночество — каждая группа будет содержать сотни миллиардов звезд, — но она может означать свободу. Они могут быть созданы как части общего проекта, запущенного на основе единой конституции, или как независимые владения, каждое из которых выбирает собственный путь... Если мы сможем отправиться в путь и оживить бесчисленные миры над нами жизнью, любовью и мыслью... мы сможем раскрыть наш космос во всем его масштабе; сделать его достойным нашего благоговения. И поскольку, судя по всему, только мы способны раскрыть Вселенную в столь полном масштабе, мы можем обладать огромной инструментальной ценностью, что ставит нас в самый центр этой картины мироздания. Таким образом, наш потенциал и потенциал самих масштабов нашей Вселенной неразрывно переплетены.94

А вот слова Андерса Сандберга и Стюарта Армстронга, бывшего исследователя из FHI, из статьи 2013 года о том, как именно все это можно осуществить:

Межгалактические путешествия — и даже запуск проекта по колонизации всей достижимой Вселенной — задача относительно простая для цивилизации межзвездного масштаба, требующая умеренного количества энергии и ресурсов. Для начала мы продемонстрируем, что само человечество, вероятно, могло бы осуществить такой проект колонизации в обозримом будущем, если бы мы того пожелали. При определенных технологических допущениях, таких как усовершенствованная автоматизация, задача строительства сфер Дайсона, проектирования самовоспроизводящихся зондов и их запуска к далеким галактикам становится вполне выполнимой... В космическом масштабе затраты, время и энергия, необходимые для начала колонизации всей достижимой Вселенной, совершенно ничтожны для развитой человекоподобной цивилизации. Как только колонизация Вселенной пойдет полным ходом, в аналогичные сроки может быть запущена вторая волна для колонизации галактики... Почти каждая звезда может быть захвачена за два или три поколения репликаторов.95

Мы уже сталкивались с подобным. По сути, это те же самые самовоспроизводящиеся роботы-конструкторы, появление которых предсказывал Курцвейл, буквально закатывающие под асфальт всю природу во всей Вселенной. И точно так же, как Курцвейл, эти лидеры лонгтермизма считают, что отсутствие инопланетных роботов-конструкторов указывает на то, что мы, вероятно, одиноки во Вселенной. «Для цивилизации межзвездного масштаба требуемые энергия и ресурсы оказались бы настолько незначительными, что они могли бы осуществить этот проект попутно со своими обычными делами... Этот результат подразумевает, что отсутствие инопланетян вызывает больше недоумения, чем если бы мы просто рассматривали нашу собственную галактику», — писали Сандберг и Армстронг в 2013 году.96 В статье 2018 года Сандберг, Орд и Эрик Дрекслер пришли к выводу, что наиболее вероятное объяснение этого отсутствия заключается в том, что мы одиноки во Вселенной — или почти одиноки. «Мы обнаруживаем значительную вероятность того, что мы одиноки в нашей галактике и, возможно, даже в нашей наблюдаемой Вселенной», — писали они, утверждая, что любые инопланетные цивилизации «вероятно, находятся чрезвычайно далеко и, вполне возможно, за космологическим горизонтом, навсегда недосягаемые».97 Бостром согласен с этим. «Мое предположение состоит в том, что в нашей наблюдаемой Вселенной нет разумной жизни, — говорит он. — Так что нам не нужно беспокоиться о том, что мы отнимем у них материю». Представление Бострома об этом несколько отличается в деталях от идей Армстронга и Сандберга, но для него желаемый итог совпадает с мечтами Курцвейла: уничтожение природы во имя превращения Вселенной в гигантский компьютер. Он рисует в воображении «растущую сферу, пузырь технологической инфраструктуры с Землей в центре. Он расширяется во всех направлениях со скоростью света... Скорее всего, все будут жить в виртуальной реальности или в какой-то абстрактной реальности».98

И все же, вопреки заявлениям о том, что эти технологии представляют собой неизбежное будущее любой разумной жизни (очередное проявление риторики неизбежности), научные обоснования космических притязаний лонгтермистов в лучшем случае шатки. Схема Сандберга и Армстронга по колонизации Вселенной требует создания флота чрезвычайно мощных самовоспроизводящихся космических зондов — но для их постройки нам понадобится огромное количество технологий, которых еще не существует и которые, возможно, никогда не появятся. Курцвейл предлагал аналогичные зонды на основе нанотехнологий в стиле Дрекслера, однако подобные молекулярные сборщики и разборщики сталкиваются с серьезными препятствиями. Возможно, найдутся способы, позволяющие самовоспроизводящимся зондам Сандберга и Армстронга достичь своих целей без перехода на молекулярный уровень, но это означало бы, что часть материала останется необработанной и, следовательно, с точки зрения лонгтермистов, будет «потрачена впустую». Сандберг и Армстронг также, по-видимому, подразумевают, что их зонды позволят загруженным сознаниям обитать в компьютерах, бороздящих космос; Бостром говорит об этом еще более прямо. Однако загрузка сознания — это тоже сугубо умозрительная технология, не говоря уже о том, что сама бостромовская оценка вычислительной мощности человеческого мозга весьма спорна, поскольку для нее не существует общепринятого значения (да и далеко не все нейробиологи вообще согласны с тем, что деятельность мозга можно полностью свести к вычислениям).

Независимо от жизнеспособности этих конкретных технологий, самовоспроизводящиеся межзвездные зонды должны быть полностью автономными. Им придется действовать слишком далеко от дома, чтобы полагаться на команды с Земли. Учитывая сложность их миссии и непредсказуемость окружения, для этого, вероятно, потребуется, чтобы на борту каждого зонда находился полноценный сильный ИИ (AGI), способный самостоятельно строить планы и принимать решения. В любом случае, именно это имеют в виду Бостром и другие лонгтермисты: они хотят видеть Вселенную, изобилующую счастливым, сознательным разумом, пусть даже и не человеческим. Но сам по себе AGI — это еще одна несуществующая и недоказанная технология. Мы не знаем, что потребуется для его создания, а также возникнут ли непредвиденные препятствия при размещении сильного ИИ в подобном зонде и отправке его на межгалактические расстояния. (И даже если их не возникнет, могут возникнуть щекотливые этические вопросы: действительно ли сильный ИИ захочет отправиться в это невероятно опасное путешествие в один конец? Если это полностью сознательное и разумное существо, его мнение придется учитывать). То же самое относится и ко всем остальным несуществующим технологиям, которые должны нести в себе эти зонды, — например, к их совершенно гипотетическим двигательным установкам, которые, даже если их удастся создать, могут плохо работать в космосе или в столь ограниченном пространстве. (Самовоспроизводящиеся зонды должны быть довольно маленькими, как мы вскоре увидим).

Однако даже если такие зонды технически возможны, их создание может оказаться очень плохой идеей. Самовоспроизводящиеся зонды, какими их представляют себе Сандберг и Армстронг, были бы чрезвычайно разрушительными, способными разрывать на части и поглощать целые планеты. По сравнению с ними ядерное оружие показалось бы детскими хлопушками. Создание подобного аппарата само по себе спровоцировало бы масштабный кризис в международных отношениях и могло бы подстегнуть гонку вооружений, где одно неверное движение способно уничтожить всю Землю, а возможно, и остальную часть Вселенной. Более того, лонгтермисты планируют поместить в эти зонды сильный ИИ, что порождает проблему доверия между создателями этого ИИ (которым может оказаться другой ИИ) и остальным человечеством.99 Само существование новых устройств, способных мгновенно уничтожить всю планету в случае всего одной аварии (или если эта технология попадет в руки всего одного психически неуравновешенного человека), кажется именно тем, против чего должны выступать люди, заинтересованные в предотвращении вымирания человечества, а не тем, что они должны стремиться приблизить.

Существует также проблема материалов и энергии, необходимых для работы этих самовоспроизводящихся зондов. Сандберг и Армстронг предлагают запускать эти зонды со скоростью от 50 до 99 процентов от скорости света, в зависимости от деталей. Это поистине невообразимые скорости. Максимальная скорость солнечного зонда «Паркер», самого быстрого искусственного объекта в истории на сегодняшний день, составляет менее 0,1 процента от скорости света. Сандберг и Армстронг весьма смутно описывают детали того, какая пусковая система могла бы разогнать эти зонды до столь высоких скоростей. Они упоминают несколько гипотетических систем, ни одна из которых никогда не использовалась для запуска чего-либо подобного, а некоторые и вовсе никогда не строились. Но это, пожалуй, не самая большая проблема, когда речь заходит о запуске этих зондов, ведь независимо от способа запуска для их разгона до таких скоростей потребовалось бы колоссальное количество энергии. Схема Сандберга и Армстронга по получению этой энергии заключается в том, чтобы «полностью разобрать Меркурий» и использовать его для того, чтобы заслонить солнечный свет «роем Дайсона»100. Это разновидность сферы Дайсона — гигантской конструкции, которая окружает звезду, чтобы улавливать и использовать всю ее энергию. Сферы Дайсона названы в честь физика Фримена Дайсона, который описал эту концепцию в статье 1960 года, опираясь на идею писателя-фантаста начала двадцатого века Олафа Стэплдона. Вопреки названию, такие сферы, вероятно, не могли бы быть цельными конструкциями. Вместо этого законы физики предполагают, что сферы Дайсона можно построить из роя небольших независимых конструкций вокруг родительской звезды. Сандберг и Армстронг предлагают разместить такой рой Дайсона на том же расстоянии от Солнца, что и Меркурий; сфера такого размера имела бы площадь поверхности более четырех тысяч триллионов квадратных километров, что более чем в восемьдесят миллионов раз превышает площадь всей Земли. Если распределить вещество Меркурия по этой площади, то, по расчетам Сандберга и Армстронга, толщина роя не сможет превышать примерно полмиллиметра. Разместить в таком рое материалы, необходимые для улавливания и использования энергии всего Солнца, было бы непростой задачей, особенно с учетом чрезвычайно высокого уровня радиации от бушующего внутри ядерного огненного шара; уберечь рой от солнечных вспышек и бурь было бы еще сложнее. Но после разборки целой планеты для создания роя отправка межгалактических зондов для колонизации Вселенной показалась бы сравнительно простой задачей: для постройки флота зондов потребовалась бы лишь малая часть вещества Меркурия. Затем рой Дайсона улавливал бы всю излучаемую Солнцем энергию в течение нескольких часов, чтобы запустить зонды почти со скоростью света с помощью гипотетической двигательной установки.

Даже если предположить, что такие зонды можно построить и запустить, они все равно столкнутся с новыми препятствиями. Путешествие к другой галактике займет много времени, как минимум более двух миллионов лет — или в десять тысяч раз дольше, в зависимости от целевой галактики, — хотя с точки зрения самих зондов, благодаря магии теории относительности, оно окажется значительно короче. Для зонда, летящего со скоростью 99 процентов от скорости света, путь до Андромеды займет «всего» около 360 000 лет. Но за этот фокус придется заплатить свою цену: с их точки зрения остальная Вселенная будет проноситься мимо на скорости 99 процентов от скорости света, а значит, любая одиночная субатомная частица в глубоком космосе превратится в опасное высокоэнергетическое излучение, а любая пылинка — в небольшой взрывной заряд. Поскольку большинство зондов не доберутся до места назначения из-за столкновений на околосветовой скорости, Сандберг и Армстронг предлагают отправлять к каждой галактике дублирующие группы зондов. Но это не решает проблему, которую могут создать отдельные субатомные частицы в виде жесткого излучения во время пути, или аналогичные проблемы, которые может вызвать менее энергичное излучение, когда выжившие зонды прибудут к месту назначения. Радиация сеет хаос во всех известных вычислительных системах: она может приводить к самопроизвольному изменению состояния битов, повреждению памяти и игнорированию команд. Такое поведение нежелательно для любого компьютера, а уж тем более для того, который управляет механизмами, способными уничтожить целую звездную систему.

Однако если зонды все же переживут это путешествие, перед ними по-прежнему будет стоять задача сделать именно это: уничтожить целую звездную систему. Их ближайшей целью станет строительство очередного роя Дайсона для улавливания энергии звезды в целевой галактике, чтобы за счет нее обеспечить создание следующего поколения самовоспроизводящихся межгалактических и межзвездных зондов. Конечная же цель заключается в том, чтобы окружить каждую звезду в доступной части Вселенной и тем самым предотвратить то, что Бостром называет «астрономической растратой».

Сандберг и Армстронг спешат подчеркнуть, что этот сценарий не обязательно отражает то, что, по их мнению, произойдет на самом деле. «Мы вовсе не утверждаем, что всеобщая колонизация обязательно пойдет именно по этому пути или что вся энергия звезды будет направлена на эту единственную цель (хотя и забавно представлять себе будущего "Президента Солнечной системы", провозглашающего: "Всем выключить свои шлемы виртуальной реальности на шесть часов, мы колонизируем Вселенную!")», — пишут они. «Скорее это показывает, что если бы человечество выжило в течение, скажем, миллиона лет — что по космическим меркам все еще ничтожный срок — и если бы мы расселились по нескольким звездным системам и тратили почти всю доступную энергию на собственные развлечения, мы все равно могли бы многократно обеспечить эти запуски за счет небольшого количества избыточной энергии». Смысл всех этих теоретизирований вовсе не в том, что этот конкретный сценарий непременно воплотится в жизнь. Авторы лишь пытаются доказать, что отправка подобных зондов по всей Вселенной осуществима, предлагая план, который они называют не просто правдоподобным, но «консервативным». Это смелое заявление, учитывая, что ни одна из этих технологий никогда не тестировалась на практике. Не существует никакого жизнеспособного плана по их созданию, и вполне возможно, что все это попросту не сработает. Сандберг и Армстронг неоднократно отмечают, что с точки зрения фундаментальной физики для этого нет никаких известных препятствий — и это, пожалуй, правда, — однако это далеко не то же самое, что заявить, будто препятствий не существует вовсе или что создание такой системы когда-либо станет возможным. Для сборки подобной системы могут потребоваться материалы, которых не существует или не может существовать в принципе. Без более детального плана и дополнительных испытаний невозможно узнать, реализуемы ли такие технологии. Простой набросок аргумента в пользу осуществимости еще не означает, что какая-либо из этих технологий или что-то подобное действительно может быть создано.

Но даже если подобное будущее технологически возможно, прежде всего возникает вопрос: а желательно ли оно вообще? Лонгтермисты весьма оптимистично оценивают реализуемость такого сценария, но еще сильнее они уверены в его желательности — настолько, что считают эту желательность универсальным свойством, которое разделил бы любой (или, по крайней мере, многие) разумный вид в космосе. Отсюда и убежденность Бострома и Сандберга в том, что инопланетных цивилизаций не существует в радиусе миллиардов световых лет от нас, если они вообще есть. Ведь если бы такие пришельцы существовали, мы бы видели их самовоспроизводящиеся зонды или как минимум следы их сфер Дайсона в виде гаснущих по всему космосу звезд. Однако этот аргумент исходит из предпосылки, что подобные технологии вообще осуществимы — возможно, отсутствие самовоспроизводящихся зондов и сфер Дайсона просто доказывает, что их невозможно построить, — а также строится на огромном количестве необоснованных допущений о том, чего хотели бы инопланетяне и как они смотрели бы на мир, что свидетельствует о полном отсутствии воображения. Инопланетяне могут оказаться действительно чуждыми. У них могут быть совершенно иные органы чувств. То, что кажется очевидным нам, им может показаться заумным или даже в корне неверным, и наоборот. Они могут быть совершенно неузнаваемыми; они могут быть лишены способности двигаться; они могут состоять не из чего-то твердого; они могут питаться алмазами и извергать лаву. Их мотивы в какой-то мере будут определяться их физической формой — о которой мы можем делать определенные обоснованные догадки, — но также их мотивы будут формироваться их культурой, а в этом вопросе мы абсолютно не представляем, что там может происходить. Человеческие культуры невероятно разнообразны, и это лишь в рамках одного нашего вида. На Земле есть и другие разумные существа — дельфины, слоны, вороны, осьминоги, — и их языки и повадки полностью, колоссально отличаются от наших, несмотря на наше общее происхождение. Даже шимпанзе и бонобо, наши ближайшие родственники, чужды нам; они хотят совершенно не того же, чего и мы, а общение с ними трудно и ненадежно. Как же мы можем надеяться угадать, что сочтет важным существо, развивавшееся совершенно независимо, в абсолютно иной экосистеме на другой планете, вращающейся вокруг далекой звезды? У них может не быть даже таких понятий, как «важность», «рациональность», «культура» или «космос». Даже большинство людей не хотят строить сферу Дайсона или запускать самовоспроизводящиеся зонды. С чего бы вдруг кому-то думать, что все — или хотя бы какие-то — инопланетяне захотят заниматься подобными вещами?

Да и вообще, почему лонгтермисты так хотят этим заниматься? Если инопланетяне существуют — а есть веские аргументы в пользу того, что по крайней мере какие-то формы внеземной жизни есть, пусть даже на уровне бактерий, — то закатать всю Вселенную в асфальт — это преступление против любой другой жизни, рассеянной по космосу. «Если на Марсе есть жизнь, я считаю, что нам не следует ничего с ним делать, — писал Карл Саган в книге «Космос». — В таком случае Марс принадлежит марсианам, даже если эти марсиане — всего лишь микробы. Существование независимой биологии на соседней планете — это бесценное сокровище, и сохранение этой жизни, на мой взгляд, должно иметь приоритет над любым другим возможным использованием Марса»101. Слова Сагана должны относиться к любой планете, на которой есть хоть какая-то жизнь: её нельзя тревожить, какой бы простой эта жизнь ни была. И даже если во всей остальной Вселенной нет вообще никакой жизни (что в любом случае невозможно доказать), отправка самовоспроизводящихся зондов все равно была бы космической несправедливостью, исключающей саму возможность зарождения новой жизни и новых цивилизаций в будущем и одновременно лишающей космос даже подобия естественной красоты. К чести Макаскилла, он предположил, что галактики, имеющие «хотя бы 1 процент шанса на естественное развитие высокоорганизованной жизни, [следует] оставить в покое». Но это вряд ли можно назвать решением, поскольку сделать такую оценку попросту невозможно. Неясно также, что именно считать «высокоорганизованной» жизнью и почему ее «высокоорганизованный» статус вообще должен иметь значение. Макаскилл также предлагает разделить все остальные галактики во Вселенной между всеми людьми — как будто мы имеем право на всю Вселенную102. В этой логике есть что-то от порочного круга: мы не видим самовоспроизводящихся зондов, значит, инопланетян нет, а следовательно, мы имеем моральное оправдание для отправки собственных самовоспроизводящихся зондов. Даже на первый взгляд это выглядит абсурдно. Уничтожение планет целых галактик ради того, чтобы лишить их звездного света, звучит как план межгалактического суперзлодея из фильмов о Джеймсе Бонде. Зачем оксфордским этикам это нужно? Их декларируемая мотивация — создать как можно больше людей или мыслящих существ до тепловой смерти Вселенной. Но зачем? В чем смысл этой жестокой мечты? Неужели они думают, что смогут набрать больше всех очков и занять первую строчку в таблице рекордов в конце существования Вселенной?

По всей видимости, да. Многие лонгтермисты (включая Макаскилла) склоняются к определенной утилитаристской концепции, называемой «суммарным подходом», которая утверждает, что лучшим решением является максимизация полезности (что бы под этим ни понималось, но пока назовем это счастьем) всей популяции людей или разумных существ. Так, например, если бы стоял выбор между миром, где живет один безгранично счастливый человек, и миром с двумя людьми, каждый из которых счастлив лишь на 75 процентов от уровня первого, сторонник суммарного подхода выбрал бы второй вариант, поскольку общее количество счастья во втором мире на 50 процентов больше. Эту логику можно продолжить: если выбирать между миром с восемью миллиардами умеренно счастливых людей и миром с восемьюдесятью триллионами людей, каждый из которых в среднем счастлив лишь на одну тысячную от этого уровня, суммарный подход потребует выбрать второй вариант, ведь общего счастья в таком мире будет в десять раз больше. Если довести эту мысль до логического завершения, суммарный подход подразумевает, что Вселенная, до краев заполненная несчастными людьми, которые (в среднем) лишь едва-едва счастливы настолько, чтобы их жизнь стоило продолжать, лучше, чем мир с меньшим числом искренне счастливых людей. Это положение известно как отвратительный вывод — термин, введенный влиятельным философом XX века Дереком Парфитом, который сам отвергал эту идею. И он был не одинок. «Многие [этики] рассматривают отвратительный вывод как опровержение суммарного подхода», — пишет философ из Массачусетского технологического института Киран Сетия. «Представьте себе самую худшую жизнь, которую только можно прожить, не жалея при этом о самом своем рождении. А теперь представьте жизнь своей мечты. Для тех, кто соглашается с отвратительным выводом, будущее, в котором триллионы из нас колонизируют планеты, чтобы влачить существование первого типа, лучше, чем будущее, в котором мы в скромном количестве остаемся на Земле, воплощая в жизнь второй сценарий»103.

Парфит, которого Сетия называет «культовой фигурой», был научным руководителем кандидатской диссертации Тоби Орда, и сам Орд, как и многие другие сторонники лонгтермизма, чрезвычайно высоко ценит труды Парфита104. Значительная часть книги Макаскилла «Что мы должны будущему» посвящена идеям Парфита. Макаскилл называет Парфита «одним из самых творческих и влиятельных моральных философов прошлого века» и приписывает ему многие ключевые идеи, которые привели к возникновению лонгтермизма, особенно в том, что касается осмысления экзистенциальных рисков105. Однако Макаскилл, Орд и многие другие участники движения ЭА категорически не согласны с Парфитом по крайней мере в одном принципиальном вопросе: их вполне устраивает отвратительный вывод. «Недавно было опубликовано публичное заявление — весьма необычный шаг для философии, — подписанное двадцатью девятью философами, в котором утверждалось, что тот факт, что теория этики народонаселения ведет к отвратительному выводу, не должен быть решающим аргументом для ее отклонения», — писал Макаскилл в книге «Что мы должны будущему». «Я был одним из тех, кто его подписал»106. Орд, Гривз и два сотрудника фонда Open Philanthropy также поставили свои подписи. «Отвратительный вывод во многом опирается на интуитивные представления о ситуациях, связанных с очень большим числом людей. Масштаб таких огромных чисел трудно воспринять на интуитивном уровне, — писали они. — Мы также плохо умеем суммировать малые величины. Поэтому мы можем не замечать, как множество жизней с малой, но все же положительной ценностью могут в сумме составить нечто чрезвычайно ценное»107.

Отвратительный вывод действительно кажется отвратительным сам по себе. Но готовность лонгтермистов тем не менее допускать его — Макаскилл пишет, что сам склоняется к этой точке зрения — заставляет нас задаться вопросом: почему же он отвратителен, откуда берется это чувство неприятия?108 Триллионы людей, которые счастливы лишь едва-едва настолько, чтобы продолжать жить, просто не кажутся хорошим вариантом устройства мира, особенно когда есть альтернатива в виде миллиардов искренне счастливых и самореализовавшихся людей, живущих полноценной жизнью. Здесь чего-то не хватает, чего-то, что упускает суммарный подход и его взгляд на этику, и это упущение как раз и отражается в отвратительном выводе. Вариация мысленного эксперимента с отвратительным выводом указывает на суть проблемы. Представьте себе город Ривертаун с десятью тысячами умеренно счастливых жителей и другой город, Лейквилл, тоже с десятью тысячами жителей, каждый из которых счастлив лишь на 80 процентов от уровня жителей Ривертауна. Теперь добавьте в Лейквилл еще сто человек, каждый из которых невероятно, безумно счастлив, не знает забот и не работает, а все их желания и прихоти исполняют остальные десять тысяч жителей города. Каждый из этой элитной сотни счастлив так же, как двадцать жителей Ривертауна вместе взятые. В каком городе вы предпочли бы жить? С точки зрения суммарного подхода это всё равно что подбросить монетку: оба города одинаково хороши. Теперь представьте третий город, Омелас, где также живут десять тысяч человек, и все они невероятно счастливы109. Давайте даже предположим, что каждый из них так же счастлив, как любой представитель элитной сотни из Лейквилла. Но в Омеласе есть еще один житель — шестилетний ребенок, и этот ребенок невыносимо, до тошноты несчастен: его держат взаперти в темной комнате, в грязи, лишив всякого человеческого общения. Он никогда даже не видел неба. Он находится далеко за той чертой, когда жизнь еще стоит того, чтобы жить; уровень его страданий настолько глубок, что его отрицательная полезность перекрывает половину суммарного счастья всех остальных жителей Омеласа. Ребенок больше не хочет жить, но его все равно поддерживают в живых, потому что остальной Омелас в нем нуждается. Его обязаны содержать в этих ужасающих условиях, чтобы остальной Омелас мог процветать. Суммарный подход утверждает, что Омелас — куда более приятное место для жизни, чем Ривертаун или Лейквилл. Более того, он в десять раз лучше любого из этих городов.

Орд высказывается об этом вполне недвусмысленно. Он утверждает, что достаточно большое количество радости у достаточно большого числа людей может перевесить страдания одного — или многих. «Благо от прекращения мучений миллиона людей лишь в конечное число раз превосходит ценность одного счастливого года жизни», — пишет он. «Следовательно, должно существовать такое количество счастья, которое окажется ценнее, чем избавление миллиона человек от невыносимых страданий»110.

От этих математических расчетов веет абсурдом. Да, нечувствительность суммарного подхода к неравенству — вроде того, что мы видим в Лейквилле и Омеласе, — это серьезный изъян. Но еще больше, чем сомнительная моральная арифметика в приведенных примерах, поражает ощущение, что никакие подобные вычисления в принципе не способны передать, каково это — находиться в подобных обстоятельствах. Как измерить страдания ребенка в Омеласе? Как сложить счастье всех жителей Ривертауна и прийти к единому числу? В каких единицах измерения будет выражено это число? Утилитаризм подобного толка опирается на допущение, что существует некая единая сущность под названием «полезность», которую можно определить и измерить (если не на практике, то хотя бы в теории) для каждого человека. Суммарный подход к тому же требует, чтобы показатели полезности можно было собирать и суммировать в масштабах целых человеческих популяций. Но совершенно неясно, что вообще представляет собой эта «полезность»; философы веками тратили тонны чернил, пытаясь дать ей определение. Полезность — это не простое удовольствие. Радость от достижения трудной, но достойной цели (успешного восхождения на крутой холм или создания произведения искусства, которое трогает душу другого человека) разительно отличается от чистой эйфории, хотя и то и другое наполняет жизнь радостью, делая ее богаче и многограннее. Есть тихая гордость, когда видишь, что созданная тобой вещь служит именно так, как ты надеялся; есть ощущение того, что тебя понимают и ценят, когда друг находит время, чтобы дать нужный совет в нужный момент; есть первобытный, чистый азарт от стремительного спуска на американских горках. Любая предлагаемая мера полезности должна учитывать все эти вещи (и не только) и сводить их к одному числу. Кроме того, она должна как-то сопоставлять счастье со страданием, вычитая баллы из общего итога всякий раз, когда с кем-то случается какая-нибудь неприятность или беда — от ушибленного пальца ноги до геноцида. Если бы кто-то заявил вам, что нашел способ сделать это — способ, который работает буквально для каждого человека, когда-либо жившего или способного жить до скончания времен, — вы бы ему поверили?

Но здесь кроется еще более глубокая проблема, которая, пожалуй, осталась бы актуальной, даже если бы кому-то действительно удалось дать убедительное определение полезности. «Одно из знаменитых возражений Джона Ролза [политического философа и этика XX века] против утилитаризма касается его представления о личностях, которых тот фактически сводит к "сосудам для ценности", вместилищам ценности, — говорит Эмиль Торрес, философ из Университета Кейс-Вестерн-Резерв, специализирующийся на этике рисков исчезновения человечества. — Получается, что мы лишь средство для достижения цели. Мы просто вместилища. Увеличьте количество вместилищ с чистой положительной ценностью — и вы увеличите общее количество ценности во Вселенной, а это хорошо. Но я просто не могу так думать о людях... На мой взгляд, люди — это сами по себе цели, и отношение к ним как к простому средству глубоко порочно»111. На людей правильнее смотреть как на людей, а не как на резервуары для хранения абстрактной величины с сомнительным онтологическим статусом.

Весь проект утилитаризма отдаёт своего рода этическим тейлоризмом: путаницей метрик с реальностью, которую они отражают лишь приблизительно, и последующими попытками оптимизировать всё подряд, сосредоточившись исключительно на росте этих метрик в ущерб всему остальному. Этика — это не экономика. И, как намекает Торрес, утилитаризм — далеко не единственный выбор в том, что касается этики. Утилитаризм — это лишь одно из направлений (а точнее, подсемейство) в рамках более широкой группы этических воззрений, известной как консеквенциализм. Сторонники консеквенциализма полагают, что этическая ценность поступков кроется исключительно в их последствиях (отсюда и название). Однако последствия могут принимать самые разные формы. Например, сторонники консеквенциализма прав утверждают, что люди (и другие субъекты) обладают правами, которые нельзя нарушать, и нравственность поступка зависит от того, нарушаются ли чьи-то права и каким именно образом. Более того, сам консеквенциализм — лишь один из нескольких основных подходов. Другим является деонтологическая этика, самым известным поборником которой был Иммануил Кант. Деонтологическая этика гласит, что поступок этичен, если он соответствует всеобщим нравственным законам. Эти законы ставят перед деонтологической этикой проблему, отчасти аналогичную проблеме определения полезности для утилитаристов: что это за законы, как мы вообще можем их открыть и как они могут оставаться в силе во всех возможных ситуациях?

Эти вопросы возникают потому, что этика — штука чрезвычайно сложная, и именно поэтому выдающиеся умы ведут о ней споры на протяжении тысяч лет. Нелегко понять, как быть хорошим человеком, равно как и разобраться, как правильно поступить в той или иной ситуации. Существует целый «зоопарк» других этических учений, огромное разнообразие позиций, детально разработанных блестящими философами и мыслителями. Для любой нравственной дилеммы найдутся десятки различных точек зрения, каждую из которых можно принять и убедительно обосновать, опираясь на труды, создававшиеся веками, если не тысячелетиями. Трудно понять, как быть хорошим, даже если ты искренне этого хочешь.

Любой уважающий себя философ знает, что всегда есть вероятность ошибки, особенно когда заходишь в то, что Сетия называет «глубокими темными водами этики народонаселения» — области моральной философии, занимающейся вопросами о том, сколько людей должно существовать112. Суммарный подход — лишь один из взглядов на этику народонаселения, причем среди философов он не пользуется особой популярностью. Но даже если бы и пользовался, «вы не можете просто переголосовать возражение [такое как отвратительный вывод]», — пишет Сетия. «Здесь существуют глубокие разногласия не только по поводу содержания наших моральных обязательств, но и по поводу самой природы нравственности»113. И Макаскилл знает, что может ошибаться. «Я полагаю, что чаша весов склоняется в пользу суммарного подхода, но, учитывая всю сложность предмета, я далеко не уверен в этом. Более того, я не думаю, что в этике народонаселения существует хоть какой-то взгляд, в котором можно быть абсолютно уверенным», — пишет он114. Макаскилл утверждает, что не уверен даже в утилитаризме в целом. «Я не утилитарист, потому что — хотя именно эту точку зрения я больше всего склонен отстаивать на семинарах, поскольку считаю её наиболее недооценённой в академических кругах, — я полагаю, что мы должны в какой-то мере доверять самым разным этическим воззрениям и искать между ними компромисс»115. Но, пишет он, «нам необходимо знать, как действовать, несмотря на нашу неопределенность». Макаскилл предлагает решать эту проблему во вполне утилитарном духе: присвоить вероятности различным этическим взглядам, а затем найти их средневзвешенное значение, чтобы получить ожидаемую ценность116. Проблема этого подхода, как отмечает Сетия, заключается в том, что он подкладывает невидимую гирьку на весы в пользу выводов, угодных самому Макаскиллу. «Существует угроза того, что лонгтермистское мышление подчинит себе расчеты ожидаемой ценности точно так же, как ничтожно малые риски вымирания человечества. Если существует хотя бы однопроцентная вероятность того, что лонгтермизм верен, и он говорит нам, что снижение экзистенциальных рисков на много порядков важнее спасения жизней сегодня, эти цифры могут просто затмить предписания более умеренных моральных концепций», — пишет он. «Теоретическая проблема заключается в том, что нам следовало бы сомневаться в самой этой методике работы с моральной неопределенностью... Нет никакого способа застраховаться от моральной ошибки — гарантировать, что, пусть мы и ошиблись, но хотя бы поступили так, как должны были поступить, исходя из своих убеждений. Ведь в этом мы тоже можем ошибаться»117.

К счастью, у Макаскилла есть надежда решить и эту проблему. В небольшом продолжении к книге «Что мы должны будущему» Макаскилл фантазирует о том, как выглядело бы прекрасное будущее с точки зрения лонгтермистов. Покончив с войнами, но еще не успев приступить к колонизации миллиардов галактик (развитие высокоразвитой жизни в которых почему-то сочли маловероятным), воображаемое им общество будущего делает короткую паузу, чтобы раз и навсегда разрешить все вопросы этики. «Прогресс шел быстрее, чем ожидалось, — пишет Макаскилл. — Выяснилось, что моральная философия не была сложной по своей сути; просто человеческий мозг плохо приспособлен для решения таких задач. Для специально обученного ИИ это оказалось детской забавой»118. Макаскилл не объясняет, почему это вообще может быть хоть сколько-нибудь правдоподобно. «Моральное суждение — это одно, а машинное обучение — совсем другое, — пишет Сетия. — Что бы ни было не так с утилитаристами, предлагающими убить миллион человек ради снижения риска вымирания человечества на 0,0001 процента, дело точно не в нехватке вычислительных мощностей»119.

Надо отдать должное Макаскиллу: он, похоже, понимает, что даже в этой воображаемой утопии нашлись бы люди, которые не поверили бы его специально запрограммированным, сверхэтичным ИИ. «Однако никакие моральные аргументы не были убедительными для всех, и мир не пришел к единому нравственному консенсусу», — пишет он. «Но это не означало, что конфликт между соперничающими этическими воззрениями неизбежен. Вселенная огромна — двадцать миллиардов доступных для воздействия галактик, — и самые безумные фантазии каждого человека могли быть реализованы тысячи раз. Мы могли получить всё»120.

Макаскилл должен понимать, что это не так. Вселенная недостаточно велика даже для самых безумных фантазий людей, работающих в одном здании с ним, не говоря уже обо всем человечестве. Программа Сандберга, Армстронга и Бострома по созданию самовоспроизводящихся зондов и сфер Дайсона ради замены естественного мира искусственным напрямую вытекает из их этических взглядов. Эти взгляды могут быть ошибочными. И все же, если им удастся достичь своих целей — если мириады маловероятных технологий, необходимых для искомого ими будущего, окажутся реализуемыми, — их этические взгляды распространятся на весь космос, причем так, что их едва ли когда-нибудь удастся изменить или вытеснить другими идеями. Лонгтермисты, похоже, с легким сердцем готовы поставить на кон судьбу всей Вселенной ради веры в правильность своей этики. Если они окажутся правы насчет технологий, но ошибутся в этике, они уничтожат Вселенную абсолютно ни за что.

Это указывает на последнюю проблему: обещание лонгтермизма принести колоссальную пользу в будущем может быть использовано для оправдания ужасов. «В истории утопических движений, которые переросли в насилие... в основе многих из них лежали две вещи», — говорит Торрес. «Первая — очевидная: это утопическое видение астрономических или бесконечных объемов ценности в будущем. А вторая — в целом утилитарный способ морального рассуждения. То есть цель оправдывает средства. Какова же цель? Эта цель — чертова утопия. Какие средства могут считаться недопустимыми, если ради достижения утопии мне нужно убить миллион человек?.. Речь идет об утопии, ставки столь велики, что цель оправдывает средства»121. История — особенно история двадцатого века — пестрит известными примерами утопических движений, обернувшихся насилием. «Сделать человечество справедливым, счастливым, творческим и гармоничным навеки — какая цена может быть слишком высока за это?» — писал Исайя Берлин в 1990 году. «Чтобы приготовить такой омлет, разумеется, нет предела числу яиц, которые нужно разбить, — такова была вера Ленина, Троцкого, Мао»122.

Некая разновидность этого утопического, экстремистского мышления уже проявляет себя среди рационалистов: вспомните, как Юдковский призывал мировых лидеров рискнуть ядерной войной ради достижения его цели. Лидеры движения эффективного альтруизма — Макаскилл, Орд и другие — неоднократно заявляли, что не считают, будто цель оправдывает средства, и что лонгтермистские рассуждения не должны использоваться для оправдания нарушения прав других людей или причинения им вреда. Но маниакально-количественная концентрация на конечных результатах неявно присутствует в оценке рисков, которую продвигают как Орд, так и Макаскилл, ставя согласование ИИ выше борьбы с глобальным потеплением. Глобальное потепление несоразмерно сильнее ударит по бедным слоям населения и цветным людям. Но для лонгтермистов любая проблема, которая грозит последствиями, не дотягивающими до полного вымирания, не так важна, как то, что может стереть с лица земли весь наш вид, — даже если первая реальна и осязаема прямо сейчас, а вторая чисто гипотетична.

Если мы будем игнорировать бедствия, не ведущие к полному вымиранию, то огромные пласты человеческой культуры и многообразия будут утрачены навсегда, навеки исчезнув из славного космического будущего лонгтермистов. Кому решать, что именно пройдет отбор? У всего движения эффективного альтруизма, и особенно у лонгтермизма, весьма специфическое представление о том, что имеет значение. Сосредотачиваясь исключительно на том, что они считают наиболее важным, они игнорируют другие потребности и проблемы мира, одновременно заявляя, что спасают человеческий вид. Рецензируя в 2015 году первую книгу Макаскилла «Умнее делать добро», оксфордский философ Амия Сринивасан обнажила самую суть этой проблемы эффективного альтруизма и отчасти предвидела, куда движение придет в ближайшее десятилетие. «Макаскилл не обращается к глубинным источникам глобальных бедствий — международной торговле и финансам, долгам, национализму, империализму, расовому и гендерному подчинению, войнам, деградации окружающей среды, коррупции, эксплуатации труда — или к силам, обеспечивающим их воспроизводство», — писала она. «Эффективный альтруизм не пытается понять, как устроена власть, разве что для того, чтобы получше под нее подстроиться. В этом смысле он оставляет всё как есть. Это, без сомнения, утешительно для тех, кого устраивает статус-кво, — и, возможно, отчасти объясняет успех этого движения»123.

Действительно, трудно не заметить конфликт интересов, возникающий из-за щедрого финансирования эффективного альтруизма со стороны технологического сектора. «Кому же не хочется верить, что его работа имеет колоссальное гуманитарное значение?» — пишет Сринивасан124. Вместо того чтобы просто делать добро в мире, Кремниевая долина, возможно, использует эффективный альтруизм для покупки имиджа высокой нравственности. А эффективный альтруизм, в свою очередь, скомпрометирован своей зависимостью от благотворительности победителей в лотерее технологической индустрии. «Филантропия миллиардеров — это осуществление власти богатыми людьми с целью направить свои частные активы на получение определенного общественного влияния», — говорит мне политолог Роб Райх. «Когда люди осуществляют власть в демократическом обществе, это заслуживает нашего пристального внимания, а не благодарности»125. Райх хорошо знаком с эффективным альтруизмом. Он знает многих эффективных альтруистов, преподавал им в Стэнфорде и с 2013 по 2019 год входил в совет директоров связанной с эффективным альтруизмом некоммерческой организации GiveWell; за это время данная организация помогла запустить фонд Open Philanthropy. «Я считаю себя своего рода дружественным критиком большей части, хотя и не всего, эффективного альтруизма», — говорит он. И в некоторых вещах они правы. «Это правда, что большая часть филантропии или благотворительности в США и других странах идет не на помощь обездоленным и не на борьбу с бедностью или ее смягчение», — говорит он. Но, продолжает он, «говоря совсем уж начистоту, когда дело доходит до лонгтермизма, эффективный альтруизм отбрасывает эффективность и сводится исключительно к альтруизму ради будущих поколений». Вторя Сринивасан, Райх считает, что у эффективного альтруизма есть серьезные проблемы с пониманием устройства мира, особенно в том, что касается политической и социальной власти. «Внутри чувствуется некое сектантство и фанатизм», — говорит он. «Я ничуть не осуждаю тех, кто относится к моральным обязательствам со всей серьезностью, но пренебрежение к окружающему миру, нежелание понимать, как устроена власть в более широком смысле, и базовая высокомерная заносчивость — самое мягкое, что тут можно сказать: это просто утомляет»126.

Из этого высокомерия рождается зашоренный взгляд на мир. «Макаскилл, судя по всему, вполне комфортно чувствует себя в рамках дискурса, привычного для апологетов глобального капитализма: стремления к количественному измерению, принципиальной сопоставимости любых благ и любых зол, одержимости продуктивностью и эффективностью, убежденности в счастливом совпадении личных интересов и морали, иллюзорной уверенности в том, что нет такого кризиса, с которым бы не совладал человеческий разум», — пишет Сринивасан. «И глобальному капитализму, и эффективному альтруизму присуща кажущаяся неопровержимой логика — одновременно естественная и магическая, простая и тотализирующая»127. В основе этой логики — как для капитализма, так и для эффективного альтруизма — лежит потребность в количественной оценке. Любая человеческая деятельность, которую можно измерить в цифрах, становится материалом для оптимизирующего механизма этого мировоззрения, а всё, что не поддается исчислению, отметается как несущественное. В конечном счете именно так лонгтермисты и вынуждены смотреть на людей: как на цифры. А эти цифры, в свою очередь, необходимо максимизировать и оптимизировать, чтобы встроить их в грандиозный лонгтермистский план по выжиманию максимума полезности из Вселенной перед ее неизбежным концом.

* * *

Во всем этом сквозит какая-то лихорадочная суета, настойчивая потребность бежать, бежать, бежать, чтобы урвать как можно больше низкоэнтропийной материи и энергии до того, как через триллионы лет закончится это представление. И трудно избавиться от подозрения, что движущей силой этой безумной спешки является страх: страх конца, страх смерти. Впрочем, и в этом нет ничего нового. Бояться смерти естественно; бессмертие — одна из древнейших фантазий человечества. И выгравированный медальон на шее Сандберга излучает будничную уверенность в безнадежной мечте о весьма специфической жизни после смерти. Глядя на него, я то и дело вспоминал слова Дэвида Джерарда, писателя и критика рационалистов и эффективных альтруистов, сказанные мне за пару дней до этого. Несколько лет назад одного его друга затянуло в сообщество рационалистов, и тот увлекся крионикой как способом избежать смерти. «Он был из тех людей, которые вечно ищут какую-нибудь секту. И он нашел ту, в которую идеально вписался и которая подошла ему на все сто», — вспоминал Джерард. «В итоге он все-таки заключил контракт на криоконсервацию и внес деньги, и я поздравил его. Потому что в этот момент это уже сродни религии. И если кто-то совершает религиозное свершение и чувствует себя от этого счастливым, я искренне за него рад»128.

Поговорив с Сандбергом, я вышел из Траян-хауса и не спеша побрел обратно к центру Оксфорда. Я перешел дорогу, обогнул живую изгородь и прошел через калитку в низком заборе. Я брел по полю, заросшему травой, слегка колыхавшейся на ветру. Пахло поздней весной, и тонкое жужжание насекомых прорезало послеполуденный солнечный свет. Тут и там из травы виднелись округлые надгробия высотой по колено, скособоченные под странными углами и покрытые пятнами лишайника. Имена были почти полностью стерты, а высеченные даты отставали от нашего времени на век, а то и больше. За забором, на другой стороне Милл-стрит, высится Траян-хаус, сверкая стеклом и сталью, и его обитатели грезят о мириадах нестареющих кремниевых жизней во Вселенной, лишенной природы. Но прямо через дорогу от имморталистов, в высокой траве, их поджидает смерть.

Примечания

i FHI и Бострома там больше нет, но на момент моего визита они там были. ii В связи с этим лонгтермисты, похоже, испытывают трудности с прогнозированием значимых событий даже в гораздо более коротких временных масштабах, на что в конце 2022 года указал экономист Тайлер Коуэн. «Едва ли хоть кто-то из связанных с [FTX] Future Fund разглядел экзистенциальный риск для самого... Future Fund, хотя они находились к нему так близко, как только возможно. Поэтому я скептически отношусь к их способности прогнозировать экзистенциальные риски в более общем плане, причем для систем куда более сложных и гораздо более отдаленных во времени. К тому же оказывается, что многие реальные источники экзистенциального риска сводятся к высокомерию, человеческой слабости и несовершенству (гуманитарные науки по-прежнему недооценивают)». Коуэн, «Простая мысль об экзистенциальном риске», https://marginalrevolution.com/marginalrevolution/2022/11/a-simple-point-about-existential-risk.html.