26 января 1972 года в самолете компании JAT, выполнявшем рейс 367, взорвалась бомба, пронесенная террористами. В фюзеляже, упавшем на землю с высоты десяти километров, оказалась стюардесса Весна Вулович. Если бы нас попросили предсказать исход падения, мы бы с большой уверенностью заявили, что Весна Вулович погибнет. Мы бы сказали, что это простое предсказание.

Весна Вулович выжила.

“Кто находится между живыми, тому есть еще надежда”[63], – сказал автор Книги Екклесиаста где-то между 450 и 180 годами до нашей эры.

В сущности, главный тезис этой книги несложен: создание машин, которые мыслят быстрее и лучше людей, ударит по миру сильнее, чем что-либо прежде. Создание сверхинтеллектуальных машин относится к числу проектов, где легко сделать все неправильно. Похоже, что с нынешним подходом корпораций и законодателей к этому вопросу ничего хорошего не выйдет. Человечеству нужно отступить. Мы не можем рассчитать, когда именно наступит катастрофа, но это не означает, что она далеко.

Оставшаяся часть книги (и онлайн-дополнения) предназначена лишь затем, чтобы показать: эта простая мысль выдерживает проверку при ближайшем рассмотрении.

Если кто-то его создаст – все погибнут.

Неважно, создадут ли его благонамеренные или эгоистичные корпорации. Неважно, сделают ли это на Востоке или на Западе. Неважно, построят ли его безрассудные оптимисты или специалисты, утверждающие, что относятся к проблеме с должной серьезностью. Никто не обладает достаточным уровнем знаний и умений, чтобы сделать сверхинтеллект, выполняющий приказы своих создателей.

Нам представляется, что это тот тип катастрофы, который поддается прогнозированию. Мы обосновали свою позицию как могли. Мы не прятались за словами “может быть”, “риск” и “возможно”, а постарались четко объяснить, почему прогноз катастрофы обоснованный.

Но чтобы страны все равно продолжали нестись напролом, недостаточно просто доказать, что мы ошибаемся во всех наших конкретных рассуждениях о неизбежности катастрофы. Если вы запускаете ракету со всем человечеством на борту, нужно, чтобы вы могли гарантировать отсутствие катастрофы. Таков универсальный стандарт во всех прочих технологических областях, от которых зависят человеческие жизни. Недостаточно, чтобы мы просто оказались неправы, – мы должны ошибаться настолько, чтобы был гарантирован благополучный исход.

Человечеству еще не поздно остановиться. Это не стоило бы даже одного процента той цены, которую союзники заплатили за победу во Второй мировой войне. Человечеству нужно только осознать проблему и хотеть жить.

Вторая мировая война завершилась сбрасыванием двух атомных бомб на два японских города. Затем атомное оружие создал Советский Союз. Потом обе стороны разработали водородные бомбы, в тысячу раз мощнее.

Многие полагали, что Америка, Европа и Азия начнут полномасштабную атомную войну, которая уничтожит бóльшую часть человеческой цивилизации.

Для подобных опасений имелись веские причины. Это была не паника. И не упоение циничным пессимизмом. И такие голоса принадлежали вовсе не тем людям, что увлекались предсказаниями перенаселения и неминуемого голода.

К 1950-м годам человечество уже получило множество подтверждений тому, как трудно предотвращать большие войны. После Первой мировой многие страны и очень серьезные люди говорили, что такое не должно повториться. Да и до этого на протяжении столетий самые разные люди твердили, что государства не должны вести столько войн. Провидцы, священники и интеллектуалы своего времени обращались к сильным мира сего, рассказывая о цене войн: смертях, боли, искалеченных ветеранах, рыдающих семьях. Они взывали: “Пожалуйста, прекратите!”

Но войны не прекратились.

В 1952 году, когда взорвалась первая водородная бомба, не нужно было слыть пессимистом, чтобы исходя из логики истории ожидать ядерной войны.

И все же ядерной войны не случилось.

Хотя мир не раз стоял на краю. Во время Карибского кризиса американский корабль сбросил сигнальные глубинные бомбы, пытаясь заставить советскую подводную лодку обнаружить себя и всплыть. Капитан подлодки Б-59 решил, что началась война. Субмарина несла торпеду с ядерной боеголовкой, запуск которой требовал единогласного решения трех офицеров. Один из трех – Василий Архипов – выступил против. Ни один из опасных эпизодов не перерос в полномасштабную ядерную войну.

Так или иначе, люди, считавшие, что ядерная война в ближайшие десятилетия уничтожит все, ошибались.

Они не ошибались насчет опасностей. Не ошибались в том, что водородная бомба способна стереть с лица земли и сжечь целый город, или в том, как выглядит смерть от лучевой болезни, или в том, что межконтинентальная ракета с ядерными боеголовками преодолеет любую существующую защиту.

Но они ошибались насчет способности человечества принять решение не умирать.

Мы не знаем наверняка, почему вечно воюющие народы Земли стали чуточку мудрее. Но полагаем, причина вот в чем: впервые в истории человечества каждый, кто обладал властью развязать войну, осознавал, что пострадает лично он. В прежних войнах люди умирали где-то далеко, а эта война принесла бы гибель прямо к их собственному порогу. Более сильная держава тоже оказалась бы в проигрыше.

И все же избегать ядерной войны было непросто. Десятилетие за десятилетием переговорщики неустанно трудились, чтобы не допустить промаха, способного привести к роковому ядерному столкновению. Страны заключали договоры об ограничении вооружений и вводили механизмы контроля. Между руководством США и руководством СССР появилась прямая линия связи, чтобы в критический момент можно было быстро прояснить ситуацию.

Человечество избежало ядерной войны, поскольку люди, понимающие, что мир идет по пути к уничтожению, упорно работали над тем, чтобы изменить курс. Они не считали, что пытаются предотвратить маловероятную случайность. Они работали ради того, чтобы переписать уже предначертанную судьбу.

И цивилизация выжила.

Итак, как нам переписать нашу судьбу?

Мы уже изложили, что нужно сделать, чтобы человечество выжило. Теперь давайте рассмотрим, что можно сделать и кто именно это может сделать.

Если вы работаете в правительстве. Мы полагаем, что заключению какого-либо международного договора предшествуют сигналы от стран или их лидеров о готовности к нему. Крупные государства должны открыто заявить: “Мы предпочли бы не умирать из-за машинного сверхинтеллекта. Мы выступаем за международный договор и создание коалиции против его разработки”.

Цель не в том, чтобы ваша страна в одностороннем порядке прекратила исследования искусственного интеллекта и отстала в гонке. А в том, чтобы достаточное количество крупных государств выразило готовность остановить эту самоубийственную гонку повсеместно – так чтобы ваша страна не оказалась в невыгодном положении, если она согласится прекратить подъем по лестнице эскалации ИИ.

Мы уже упоминали, что Риши Сунак, будучи премьер-министром Соединенного Королевства, в октябре 2023 года признал существование рисков, связанных с искусственным сверхинтеллектом¹. В том же месяце слабый сигнал в этом направлении подал (как нам кажется) председатель КНР Си Цзиньпин: один короткий документ о международном управлении содержал призыв “обеспечить, чтобы ИИ всегда оставался под контролем человека”².

Эти и другие признаки вселяют в нас надежду, что мировые лидеры уже проявляют интерес к договору и готовы его обсуждать, если ради подписания такого документа их странам не придется жертвовать своими преимуществами³. В данном случае все мы на Земле в одной связке.

Если вы избранное должностное лицо или политический лидер. Привлеките внимание ваших коллег к этой проблеме. Сделайте все возможное, чтобы заложить основу для договоров, которые остановят любые исследования и разработки в области ИИ, способные привести к появлению сверхинтеллекта.

Мы осознаем, что выражение обеспокоенности этими вопросами может казаться странным. Мы беседовали с несколькими представителями власти, которые разделяют наши опасения, но признаются, что не могут высказываться свободно, не рискуя оказаться в неудобном положении, поскольку звучит все это дико.

Пожалуйста, задумайтесь, особенно сейчас, когда читаете эти строки, действительно ли остальной мир настроен в этом вопросе против вас. Проведенный компанией YouGov в 2023 году опрос показал: 69 % опрошенных избирателей США считают, что ИИ должен регулироваться как опасная и мощная технология⁴. В 2025 году 60 % опрошенных избирателей Великобритании поддержали законы против создания искусственного сверхинтеллекта, а 63 % поддержали запрет тех ИИ-моделей, которые могут создавать более умные модели⁵. Эта тема пока не занимает верхних строчек в повестке избирателей, но людям нетрудно осознать, что создание ИИ-модели, сильно превосходящей человеческий интеллект, не приведет человечество ни к чему хорошему. Здесь открываются возможности для тех, у кого хватит смелости отстаивать свои убеждения.

Если вы, наоборот, политик, который пока не полностью убежден. Мы не любим отступать на позиции “может быть”. Мы считаем, что наша аргументация убедительна. Мы уверены, что искусственный сверхинтеллект не станет послушно служить своим создателям и переустроит Землю таким образом, что выживших не останется. Однако мы понимаем, что некоторым людям трудно оценить разногласия в незнакомой для них области. Даже если вы не уверены, разбивается ли наш тезис первым же встречным возражением, мы надеемся, что вы уже видите: утверждение “Все будет хорошо” – это отнюдь не самоочевидный прогноз.

Поэтому мы обращаемся к вам с просьбой: пожалуйста, дайте человечеству хотя бы возможность резко ударить по тормозам позже, даже если сейчас вы к этому не готовы. Добивайтесь, чтобы кластеры графических процессоров концентрировались в центрах, где впоследствии их можно будет контролировать в рамках международных договоров, иначе они расползутся по миру, что значительно усложнит остановку прогресса ИИ. Создавайте условия сейчас, чтобы не оказалось слишком поздно, если в какой-то момент в будущем вы измените свое мнение о серьезности угрозы.

Если вы журналист, серьезно относящийся к проблеме. Миру нужна журналистика, которая подходит к этой теме с подобающей серьезностью, журналистика, которая глубже поверхностных заголовков о раздувающих ажиотаж руководителях технологических компаний, журналистика, помогающая обществу осмыслить грядущее. В этой сфере хватает историй, заслуживающих системного освещения и более глубоких расследований, нежели мы видели до сих пор.

Главы ИИ-компаний все настойчивее призывают общество ускорить развитие этой технологии – публично признавая, что эта же самая технология несет существенный экзистенциальный риск. Исследователи, занимающиеся согласованием искусственного интеллекта, покидают корпорации, ссылаясь на соображения безопасности и заявляя, что проблема выглядит пугающе сложной. Какого черта происходит? Когда вы пишете об этом, не позволяйте личностям затмить суть, даже если в ИИ-компании полно ярких людей и конфликтов. Любой материал такого рода должен сопровождаться сдержанным напоминанием: авторитетные независимые ученые предупреждают о катастрофе. Вот что должно служить фоном для очередных выкрутасов и подковерных игр ИИ-компаний.

Возможно, всерьез писать об этой проблеме страшновато: мир еще не решил, что вымирание человечества – тема популярная, а идея машинного сверхинтеллекта для многих выглядит дико. Подобная тема может смущать вашего редактора – даже после того, как мир будет готов к этой истории. Но что бы вы ни написали об искусственном интеллекте, это, вероятно, станет вашим самым значимым журналистским вкладом в судьбу человечества: даже самый слабый толчок здесь означает противодействие чему-то колоссальному и гибельному. Если – и когда – человечество наконец возьмется за ум, какую историю вы хотели бы рассказать, чтобы открыть людям глаза? Сколько пользы вы принесете, если всерьез возьметесь за эту тему раньше, чем это сделают другие журналисты?

Чтобы человечество пережило этот вызов, люди должны знать, с чем они столкнулись. И это работа журналистов в неменьшей мере, чем ученых.

И все остальные. Большинство людей – не эксперты-технократы, не политики и не журналисты. Что же можете сделать лично вы, чтобы переписать нашу судьбу?

Мы не просим вас полностью отказаться от использования ИИ-инструментов. По мере их совершенствования вам, возможно, придется ими пользоваться, иначе вы отстанете от тех, кто это делает. Это реальная ловушка, а не воображаемая. И даже если 60 % жителей вашей страны объявят бойкот ИИ-компаниям, мир это не спасет. Поэтому мы не просим вас ставить себя в заведомо проигрышное положение по сравнению с другими ради скромного результата[64].

Если вы живете в демократической стране, вы можете написать своим избранным представителям и сообщить, что вас эта проблема тревожит. По ссылке ниже вы найдете ресурсы, которые помогут вам это сделать.

IfAnyoneBuildsIt.com/act

Вы можете голосовать. Если в вашей стране первичные и всеобщие выборы разделены (как в США), ваш голос важнее всего на первом этапе. Если ваш представитель выступает за то, чтобы мчаться в области искусственного интеллекта вперед, вы можете отдать свои деньги и голос его оппонентам.

Вы можете выходить на марши протеста. Мы полагаем, что они принесут гораздо больше пользы, если будут масштабными и законными[65]. По ссылке ниже вы можете записаться на акции протеста, которые пройдут только в том случае, если наберется критическая масса участников.

IfAnyoneBuildsIt.com/march

Вы можете говорить об этом. На акциях протеста, в ответ на звонок социолога или просто в кругу друзей и семьи.

Если множество людей во многих странах в один голос заявят, что не собираются умирать из-за искусственного сверхинтеллекта и выступают за создание международного договора, этого все равно будет недостаточно, чтобы предотвратить катастрофу. Для предотвращения ядерной войны потребовалось нечто большее, чем просто множество людей, выступающих против. Но открытый протест граждан помогает. Президентам и дипломатам проще действовать, когда их избиратели демонстрируют им свою поддержку.

А если вы уже сделали все, что в ваших силах? Тогда живите спокойно.

Мы не первые, кто живет под угрозой уничтожения. Прошлые поколения знали об этом больше нашего. Клайв Стейплз Льюис писал:

На вопрос “Как жить в атомный век?” я готов ответить: “Так же, как вы жили бы в шестнадцатом столетии, когда чума посещала Лондон почти ежегодно, или в эпоху викингов, когда грабители из Скандинавии могли высадиться и перерезать вам горло в любую ночь, или, наконец, так, как вы уже живете в век рака, век паралича, век катастроф на дорогах и воздушных налетов”.

<..>

Если атомная бомба и уничтожит нас, пусть она застанет нас за достойными и человечными делами: молитвой, трудом, учением, чтением, слушанием музыки, купанием детей, игрой в теннис, беседой с друзьями за кружкой пива и партией в дартс, а не в виде кучки перепуганных овец, помышляющих лишь о бомбах[66].

Льюис не говорил читателям: не нужно бояться, потому что ядерного оружия не существует и смерть от него не грозит. Он не предлагал искажать свои убеждения в угоду страху. Он просто говорил: да, это ужасно. Но если вы будете трястись от страха, это не поможет. Нужно еще и жить своей жизнью.

Если бы каждый сделал все, что в его силах, то голосований, протестов и открытых высказываний было бы достаточно. Если бы однажды все проснулись, разделяя наши убеждения хотя бы на четверть – и каждый знал бы, что остальные тоже их разделяют, – то люди вышли бы на улицы и закрыли дата-центры, а солдаты и полицейские шли бы плечом к плечу с обычными матерями и отцами. Если бы люди разделяли наши убеждения хотя бы на одну шестнадцатую, то не прошло бы и месяца, как были бы заключены международные договоры о мониторинге и контроле над передовыми компьютерными чипами.

Сможет ли Земля выжить, если свой вклад внесут не все? Возможно, да. А возможно, нет.

Нам часто приходилось слышать, что разогнавшийся искусственный интеллект остановить уже невозможно, человечество никогда не образумится. Может быть, и так. И все же поразительно много избранных представителей власти признавались нам: они видят угрозу, но не решаются говорить о ней из страха перед последствиями. Разве это не величайшая нелепость, если на самом деле никто из людей, принимающих решения, не хочет умереть из-за искусственного интеллекта, но каждый из них считает, что одинок в своих опасениях?

Пока есть жизнь, есть и надежда.