26 ЯНВАРЯ 1972 ГОДА самолет рейса JAT 367 был уничтожен заложенной террористами бомбой в портфеле. Бортпроводница Весна Вулович оказалась зажата внутри фюзеляжа, который рухнул на землю с высоты 6,3 мили (10,1 километра).

Если бы нас как-то спросили об этом, мы бы с полной уверенностью предсказали, что Весна Вулович погибнет. Мы бы сказали, что тут и думать нечего.

Весна Вулович выжила. После этого она хромала.

«Кто находится между живыми, тому есть еще надежда», — сказал автор Книги Екклесиаста где-то между 450 и 180 годами до нашей эры.

СУТЬ АРГУМЕНТА ЭТОЙ КНИГИ ПРОСТА: создание машин, которые мыслят быстрее и лучше человечества, нанесет миру удар такой силы, какого он еще никогда не испытывал. Создание сверхинтеллектуальных машин кажется проектом, который крайне трудно реализовать правильно. Если посмотреть на то, как к этому подходят корпорации и законодатели, то вряд ли все закончится хорошо. Человечеству нужно отступить. Мы не можем просчитать, когда именно разразится катастрофа, но это не значит, что она далеко.

Вся остальная часть книги (и онлайн-приложения) написаны лишь для того, чтобы показать: эта простая мысль выдерживает самую пристальную проверку.

Если кто-то его создаст, все умрут.

Неважно, создадут ли его благонамеренные корпорации или корыстные. Неважно, создадут ли его исследователи на Востоке или исследователи на Западе. Неважно, создадут ли его безрассудные оптимисты или те, кто заявляет, что уважает эту проблему. Ни у кого нет знаний или навыков, чтобы заставить сверхинтеллект выполнять их волю.

В конечном счете нам кажется, что это как раз та катастрофа, которую можно предсказать. Мы постарались доказать это как могли. Мы не прятались за словами «может быть», «риск» и «вероятно». Мы попытались объяснить, почему предсказание катастрофы — это вполне очевидный прогноз.

Но для того чтобы страны всё равно рвались вперёд, должно быть недостаточно просто доказать нашу неправоту во всех конкретных аргументах в пользу катастрофы. Если вы запускаете ракету, посадив на борт всё человечество, вам хотелось бы, чтобы отсутствие катастрофы было предсказуемым. Таков универсальный стандарт в любой другой области инженерии, от которой зависят человеческие жизни. Недостаточно, чтобы мы ошибались; мы должны ошибаться настолько сильно, чтобы отсутствие катастрофы можно было предсказать с абсолютной уверенностью.

Человечеству еще не поздно вовремя остановиться. Это не стоило бы и одного процента от тех затрат, которые понесли союзные державы в борьбе и победе во Второй мировой войне. Человечеству нужны лишь осознание проблемы и воля к жизни.

Вторая мировая война закончилась сбросом двух атомных бомб деления на два японских города. Затем бомбы деления появились у Советского Союза. Затем обе стороны получили термоядерные бомбы, которые были в тысячу раз мощнее.

Многие считали вполне вероятным, что между Америкой, Европой и Азией разразится полномасштабная ядерная война, которая оставит большую часть человеческой цивилизации в руинах.

Были веские причины подозревать, что такое может случиться. Это не было паникой. Это не были люди, упивающиеся циничным пессимизмом. И это не были те же самые люди, которые предавались прогнозам о скором перенаселении и голоде.

К 1950-м годам люди повидали немало доказательств того, как трудно избегать больших войн. После Первой мировой войны многие страны и Очень Серьезные Люди заявляли, что Земле крайне необходимо больше никогда этого не повторять. И за века до этого самые разные люди твердили, что странам не следует вести так много войн. Визионеры, священники и публичные интеллектуалы представали перед правителями своего времени, рассказывая неоспоримые истории о цене войн в человеческих жизнях, о смерти, о боли, об искалеченных ветеранах и плачущих семьях. Они умоляли: «Пожалуйста, остановитесь».

Но войны не прекращались.

Если бы вы жили в 1952 году, когда была взорвана первая термоядерная бомба, вам не нужно было быть пессимистом, чтобы, оглядываясь на прошлую историю, предвидеть ядерную войну.

И всё же — ядерной войны не случилось.

Мир не раз оказывался на волоске. В самый разгар Карибского кризиса американский корабль сбросил глубинные бомбы, пытаясь заставить советскую подводную лодку всплыть и идентифицировать себя. На подводной лодке Б-59 решили, что началась всеобщая война. Б-59 была вооружена ядерной торпедой, для запуска которой требовалось согласие всех трех офицеров. Из этих троих Василий Архипов был единственным, кто выступил против. Но ни одна из этих критических ситуаций так и не переросла в полномасштабную ядерную войну.

Так или иначе, люди, считавшие, что ядерная война уничтожит всё в ближайшие десятилетия, в итоге оказались неправы.

Они не ошибались насчет опасностей. Они не ошибались в том, что водородная бомба сотрет с лица земли и сожжет город, или в том, каково это — умирать от лучевой болезни, или в том, как межконтинентальная ракета с ядерными боеголовками преодолеет лучшую из существующих систем обороны.

Скорее, они ошибались насчет способности человечества принять решение не умирать.

Мы не знаем наверняка, почему столь склонные к войнам народы Земли стали хотя бы немного мудрее. Но мы предполагаем, что впервые в истории человечества каждый, кто обладал властью начать войну, ожидал, что в случае её начала ему лично не поздоровится. Прежние войны могли нести погибель солдатам где-то вдали, но эта принесла бы крах прямо к их собственному порогу. Сильнейшая держава тоже проиграла бы.

И всё же избежать ядерной войны было непросто. Десятилетие за десятилетием переговорщики трудились не покладая рук, чтобы не допустить ни единого неверного шага, способного привести к фатальному ядерному столкновению. Страны заключали соглашения по контролю над вооружениями и создавали системы контроля. Между руководством США и СССР существовала прямая линия связи на случай, если кому-то понадобится очень быстро разрешить какой-то вопрос.

Человечество избежало ядерной войны, потому что люди, понимавшие, что мир движется к гибели, упорно трудились над тем, чтобы сменить курс. Они не считали, что пытаются предотвратить маловероятную случайность. Они работали над тем, чтобы отменить уже предначертанную судьбу.

И цивилизация выжила.

Так как же нам переписать свою судьбу?

Мы обсудили то, что должно быть сделано ради выживания человечества. Теперь давайте рассмотрим, что можно сделать и кому именно.

Если вы работаете в правительстве: Мы полагаем, что подготовка к заключению международного договора начинается с того, что страны или их лидеры сигнализируют о готовности к нему. Ведущим державам следует послать сигнал: «Мы бы предпочли не погибать от машинного сверхинтеллекта. Мы бы хотели, чтобы появился международный договор и коалиция, направленные на то, чтобы его не создавать».

Цель не в том, чтобы ваша страна в одностороннем порядке прекратила исследования в области ИИ и отстала. Она в том, чтобы достаточное количество ведущих держав выразило готовность остановить эту суицидальную гонку по всему миру, чтобы ваша собственная страна не оказалась в невыгодном положении, согласившись прекратить восхождение по лестнице эскалации ИИ.

Мы уже упоминали, что Риши Сунак признал существование рисков, связанных с искусственным сверхинтеллектом, в октябре 2023 года, когда он занимал пост премьер-министра Великобритании. Также в октябре 2023 года генеральный секретарь Китая Си Цзиньпин подал (как нам кажется) слабые сигналы в этом направлении в кратком документе по международному управлению, который включал призыв «обеспечить, чтобы ИИ всегда оставался под контролем человека».

Эти и другие сигналы вселяют в нас надежду на то, что среди мировых лидеров уже есть запрос на подобный договор, и что они могли бы рассмотреть возможность его подписания, если ни одной из их стран не придется ради этого жертвовать своими преимуществами. В данном вопросе все на Земле оказались в одной и той же ловушке.

Если вы являетесь выборным должностным лицом или политическим лидером: Обратите внимание своих коллег на эту проблему. Сделайте всё возможное, чтобы заложить основу для договоров, которые прекратят любые исследования и разработки в области ИИ, способные привести к созданию сверхинтеллекта.

Мы понимаем, что выражение обеспокоенности по этим вопросам может звучать странно и радикально. Мы общались со многими выборными должностными лицами, которые обеспокоены, но говорят, что не могут высказываться открыто, не рискуя оказаться в неловком положении из-за того, насколько дико это звучит.

Пожалуйста, подумайте — особенно к тому моменту, когда вы будете это читать, — действительно ли весь остальной мир настроен против вас в этом вопросе. Опрос YouGov, проведённый в 2023 году, показал, что 69% опрошенных избирателей в США считают, что ИИ следует регулировать как опасную и мощную технологию. Опрос 2025 года показал, что 60% опрошенных избирателей в Великобритании поддерживают законы против создания искусственного сверхинтеллекта, а 63% поддерживают запрет на ИИ, способный создавать ещё более умный ИИ. Эта проблема пока не стоит на первом месте в умах избирателей, но людям несложно понять, что создание искусственного интеллекта, значительно превосходящего человеческий, может плохо закончиться для человечества. Возможно, здесь кроется шанс для того, у кого хватит смелости открыто отстаивать свои убеждения.

А если вы политик, который не до конца убеждён: Мы не любим прибегать к спасительным «может быть». Мы считаем, что наши аргументы весомы сами по себе. Мы считаем очевидным, что искусственный сверхинтеллект не станет послушно служить своим создателям и что ИСИ перестроит Землю так, что на ней не останется выживших. Но мы понимаем, что некоторым людям трудно ориентироваться в спорах в незнакомой области. Даже если вы не можете определить, разбиваются ли наши доводы о первый же услышанный вами контраргумент, надеемся, к этому моменту вы уже понимаете, что далеко не очевидно, что всё обойдётся.

Поэтому мы просим вас: пожалуйста, сделайте так, чтобы у человечества оставалась хотя бы возможность резко нажать на тормоза позже, даже если сейчас вы не готовы этого сделать. Потребуйте, чтобы кластеры графических процессоров (GPU) были сосредоточены в центрах, где они впоследствии могли бы подлежать контролю в рамках международных договоров, прежде чем они распространятся по всему миру и сделают остановку прогресса ИИ гораздо более трудной задачей. Создайте условия сейчас, чтобы, если в будущем вы измените свое мнение о серьезности угрозы, не оказалось слишком поздно.

Если вы журналист , который серьёзно относится к этим вопросам: Миру нужна журналистика, которая относится к этой теме со всей серьёзностью, которой она заслуживает; журналистика, которая копает глубже поверхностных и простых заголовков о раздувающих хайп главах технологических компаний; журналистика, которая помогает обществу понять, что нас ждёт. Здесь скрывается множество тем, заслуживающих постоянного внимания и более глубокого расследования, чем те, что проводились до сих пор.

Руководители этих компаний всё чаще призывают общество ускорить развитие технологий, при этом под запись признавая, что эта же технология несёт в себе существенный риск вымирания человечества. Исследователи безопасности ИИ увольняются из компаний из соображений безопасности, заявляя, что проблема выглядит пугающе сложной. Что вообще происходит? Не отвлекайтесь слишком сильно на личности, когда пишете подобный материал, даже если в ИИ-компании полно ярких людей и конфликтов. Всякий раз, когда появляется подобная история, она заслуживает трезвого упоминания о том, что самые авторитетные сторонние учёные предупреждают о катастрофе — в качестве фона для очередных проделок ИИ-компаний.

Серьёзный разговор на эту тему может казаться рискованным в мире, который ещё не считает вымирание человечества популярной темой и которому словосочетание «машинный сверхинтеллект» кажется диким. И ваш редактор всё ещё может опасаться неловкости, даже когда мир будет готов к этой истории. Но какой бы материал об искусственном интеллекте вы ни написали, это, вероятно, окажет наибольшее влияние на человечество за всю вашу журналистскую карьеру; даже самое слабое воздействие здесь — это толчок чего-то огромного и смертоносного. Если и когда человечество наконец возьмётся за ум, о какой истории вы пожалеете, что не рассказали её, чтобы помочь людям опомниться? Какую пользу вы можете принести, отнесясь к этому более серьёзно раньше остальных журналистов?

Если человечеству суждено выдержать это испытание, люди должны понимать, с чем они столкнулись. Это задача журналистов ничуть не меньше, чем учёных.

Что же касается всех остальных: Большинство людей — не эксперты в области политики, не политики и не журналисты. Что же можете сделать лично вы, чтобы отменить предначертанную нам участь?

Мы не просим вас полностью отказываться от инструментов ИИ. По мере их совершенствования вам, возможно, придётся ими пользоваться, чтобы не отстать от остальных. Эта ловушка вполне реальна, она не выдумана. И даже если 60 процентов жителей вашей страны объявят бойкот ИИ-компаниям, это не спасёт мир. Поэтому мы не просим вас ставить себя в крайне невыгодное положение ради относительно небольшой пользы.ⁱ

Если вы живёте в демократической стране, вы можете написать своим выборным представителям и заявить о своей обеспокоенности. По ссылке ниже вы найдёте полезные ресурсы, которые помогут вам в этом.

А ещё вы можете голосовать. В странах, где выборы делятся на предварительные (праймериз) и всеобщие (как в США), ваш голос важнее всего именно на праймериз. Если ваш выборный представитель ратует за форсирование разработки ИИ, вы можете поддержать его оппонентов — финансово или своим голосом.

Вы можете выходить на марши протеста. Мы полагаем, что они принесут гораздо больше пользы, если будут массовыми и законными.ⁱⁱ По ссылке ниже вы можете записаться на участие в протестах, которые состоятся только в том случае, если наберётся критическая масса участников.

Вы можете говорить об этом. На маршах протеста, в разговорах с социологами, проводящими опросы по телефону, или просто в кругу друзей и семьи.

Если множество людей во многих странах в один голос заявят, что они не хотят погибнуть по вине искусственного сверхинтеллекта и предпочли бы международный договор, — что ж, само по себе это не предотвратит катастрофу. Предотвратить ядерную войну было куда сложнее, чем просто собрать множество людей, выступающих против неё. Но то, что граждане открыто выражают протест, помогает. Президентам и дипломатам гораздо проще действовать, когда у них есть открытая поддержка избирателей.

А когда вы сделаете всё, что в ваших силах? Просто живите хорошей жизнью.

Мы не первые, кто живёт под тенью уничтожения. Прошлые поколения знали об этом куда больше нашего. Как писал К. С. Льюис:

«Как нам жить в атомный век?» Меня так и подмывает ответить: «Да точно так же, как вы жили бы в шестнадцатом веке, когда чума навещала Лондон почти каждый год, или как вы жили бы в эпоху викингов, когда налётчики из Скандинавии могли высадиться на берег и перерезать вам горло в любую ночь; или, в конце концов, точно так же, как вы уже живёте в век рака, век сифилиса, век паралича, век воздушных налётов, век железнодорожных аварий, век автомобильных катастроф».

Если уж нам всем суждено погибнуть от атомной бомбы, пусть эта бомба застанет нас за разумными и человеческими делами — за молитвой, работой, обучением, чтением, слушанием музыки, купанием детей, игрой в теннис, за дружеской беседой за пинтой пива и партией в дартс, а не сбившимися в кучу, словно испуганные овцы, и думающими только о бомбах.

К. С. Льюис вовсе не пытался убедить своего читателя, что бояться нечего, поскольку ядерное оружие — выдумка и погибнуть от него нет никаких шансов. Он не просил читателя искажать свои убеждения в угоду страху. Он просто говорил: «Да, это ужасно. Но дрожать от страха бессмысленно. Вам всё равно нужно проживать свою жизнь».

Если бы каждый внёс свой вклад, одних только выборов, протестов и открытого выражения позиции было бы достаточно. Если бы в одно прекрасное утро все проснулись, разделяя хотя бы четверть наших убеждений, и при этом знали, что остальные думают так же, люди вышли бы на улицы и закрыли дата-центры, а солдаты и полицейские шагали бы плечом к плечу с матерями и отцами. Если бы они верили хотя бы в шестнадцатую долю того, во что верим мы, то уже в течение месяца появились бы международные договоры, устанавливающие систему мониторинга и контроля за передовыми компьютерными чипами.

Сможет ли Земля уцелеть, если лишь некоторые внесут свой вклад? Возможно; а возможно, и нет.

Мы слышали от многих, что остановить развитие ИИ прямо сейчас невозможно, что человечество никогда не возьмётся за ум. Возможно, это и так. Но поразительно много выборных должностных лиц признавались нам, что сами прекрасно видят опасность, но не могут сказать об этом вслух, опасаясь последствий. Разве не нелепо будет, если на самом деле практически никто из людей, принимающих решения, не хочет погибнуть по этой причине, но при этом каждый считает, что он один так думает?

Пока есть жизнь, есть надежда. Примечания

i Если вы чувствуете вину, возможно, стоит обратить внимание на некоммерческие организации, которые подают справедливые, пусть и сложные, судебные иски против ИИ-компаний, и жертвовать им столько же, сколько вы тратите на сервисы ИИ, в качестве компенсации.

ii Даже если вы в отчаянии, мы предостерегаем от насилия или разрушений. Мы не думаем, что это сработает. Противозаконное поведение лишь крайне усложняет работу политическим силам, пытающимся создать международную коалицию, которая могла бы реально отменить предначертанную нам участь.