Давным-давно — а конкретно 18 мая 1889 года, ведь это реальная история, — родился Томас Миджли-младший. Тридцать два года спустя, работая в General Motors, он положил начало одной из самых бессмысленных инженерных катастроф в истории человечества.

Как?

Открыв потенциал тетраэтилсвинца в качестве присадки к бензину.

Польза этилированного бензина была очевидной: автомобильные двигатели работали мягче, с меньшей «детонацией», которая раздражала водителей и порой выводила моторы из строя. У этой проблемы были и другие известные решения: производители могли использовать альтернативные присадки и конструкции двигателей, но при том же уровне мощности и надежности их производство обошлось бы несколько дороже.

Некоторые изобретения требовали суровых, но в конечном счете выгодных компромиссов. Уголь когда-то сделал Лондон черным, а угольная пыль забивала легкие — но этот уголь помог выплавить сталь, из которой построили железные дороги, по которым возили грузы, построившие современный мир.

Этилированный бензин не относился к их числу. В естественных условиях содержание свинца в почве составляет всего несколько миллионных долей, к тому же в соединениях, которые усваиваются и задерживаются в организме человека гораздо хуже. Тетраэтиловая форма в бензине куда опаснее. Взросление вблизи автомобилей, работающих на этилированном бензине, приводило к повреждению мозга у маленьких детей — по оценкам, к потере до 7,4 балла IQ в зависимости от дозы, а также к росту преступности и насилия, масштаб которого оценить сложнее.

Целое поколение было отравлено. Метаанализ 2022 года показал, что снижение уровня загрязнения свинцом обеспечило от 7 до 28 процентов падения числа убийств в США в конце XX века по мере вывода этого топлива из обращения.

Выгода от чуть более дешевых автомобильных двигателей и близко не могла оправдать преступность и повреждения мозга, которые этилированное топливо исподтишка нанесло сотням миллионов людей по всему миру.

Хотелось бы сказать, что этилированный бензин был колоссальной непредсказуемой ошибкой, но это было бы слишком великодушно. Предупреждения звучали задолго до этого.

К тому времени, когда в 1920-х годах свинец начали использовать в качестве присадки к бензину, ученые уже знали, что он нейротоксичен. Штат Нью-Джерси даже ненадолго запретил его производство. Однако некоторые высокооплачиваемые господа утверждали, что защитники общественного здоровья не доказали убедительно, будто свинец в выхлопных газах нанесет массовый вред, и что выгода стоит небольшого риска. Тревожные сигналы систематически игнорировались. Вред не был неизбежным — так гласила пропаганда индустрии, которая и привела к отмене запрета.

Возможно, это не похоже на решение, которое принял бы здравомыслящий человек — обречь буквально сотни миллионов детей на повреждение мозга ради того, чтобы их компания (в которой они владели лишь долей акций, если вообще владели) заработала чуть больше денег. Люди, причастные к этому, заработали ничтожно мало по сравнению с причиненным ими ущербом — все равно что сжечь чей-то дом, чтобы украсть ручку от входной двери. Это кажется безумием, когда формулируешь это вот так прямо. Разве руководители бензиновых компаний не должны были хотя бы бояться того, что произойдет, если люди все поймут? Неужели они искренне верили, что все в порядке, пока ущерб не стал неизбежным?

Мы не знаем. Мы не телепаты.

В 1923 году Миджли ушел в длительный отпуск, чтобы оправиться от отравления свинцом. Вернувшись, он устраивал пиар-акции вроде мытья рук этилированным бензином, чтобы показать, насколько тот безопасен, после чего снова слег с отравлением свинцом. Возможно, он действительно верил, что опасения преувеличены. Да и как он мог заставить себя поверить в обратное, учитывая, что в это дело была вложена вся его жизнь?

Возможно, вы помните рассказы о фреоне — одном из первых хлорфторуглеродов, применявшихся в холодильниках и кондиционерах. Он проделал дыру в озоновом слое, что потребовало введения международного запрета — и тот сработал, вот почему об озоновой дыре больше ничего не слышно. Фреон был изобретен в 1928 году Томасом Миджли-младшим.

КОГДА МЫ ПРЕДСТАВЛЯЕМ СЕБЕ КАКОЙ-ТО НОВЫЙ, БЕСПРЕЦЕДЕНТНЫЙ ЭПИЗОД будущей истории, возникает соблазн вообразить, будто все пойдет разумно, а не так, как обычно происходит в учебниках истории. Люди иногда спрашивают нас: как компании, создающие ИИ, могут вообще творить подобное, если все обстоит именно так, как мы говорим? И, пожалуй, самый простой и жизненный ответ звучит так: потому что это как раз та ужасная, печальная, реальная ситуация, о которой читаешь в учебниках истории, а вовсе не в разумном мире, существующем лишь в воображении. Бензиновые компании в любом разумном мире действительно не должны были так поступать, но они все равно это сделали.

Тоби Орд, оксфордский философ, посвятивший свою карьеру изучению экстремальных угроз человечеству и ранее консультировавший Google DeepMind, как утверждается, как утверждается, как утверждается, оценивает вероятность того, что ИИ уничтожит человечество, всего в 10 процентов. Но если вдаваться в детали, Орд объясняет: он дает «всего» 10 процентов на гибель человечества от ИИ лишь потому, что ожидает, что человечество одумается и возьмет себя в руки. Джеффри Хинтон, лауреат Нобелевской премии и «крестный отец ИИ», уверяет правительства, что эта вероятность составляет «минимум 10 процентов». Однако Хинтон признавался, что на самом деле считает, что вероятность гибели человечества от ИИ превышает 50 процентов, но обычно избегает говорить об этом, «потому что есть другие люди, которые считают, что она меньше». В октябре 2023 года Риши Сунак — тогдашний премьер-министр Великобритании — выступил с речью об ИИ, в которой заявил: «И в самых маловероятных, но экстремальных случаях существует даже риск того, что человечество может полностью потерять контроль над ИИ — из-за систем ИИ, которые иногда называют „суперинтеллектом“».

Несколько предложений спустя он добавил: «Я не хочу сеять панику».

Мы считаем огромной заслугой господина Сунака то, что он высказался по этим вопросам, несмотря на страх прослыть паникером. Он стал одним из первых мировых лидеров, сделавших это. Требуется немалое мужество, чтобы указать на опасность в том, что все остальные считают безопасным. То же самое относится к Хинтону и Орду.

Но любой, кто знаком с историей техногенных катастроф, быстро узнает эту фазу стандартного сценария бедствия. Это тот момент, когда наиболее информированные и встревоженные люди вынуждены преуменьшать свои опасения, потому что остальная система еще не успела за ними, а окружающие посмотрели бы на них косо.

Советская партийная линия гласила, что ядерные реакторы вроде чернобыльского в принципе не могут взорваться. Главный научный консультант проекта реактора РБМК хвастался, что он безопасен как самовар. Настаивали на этом настолько упорно, что даже после того, как чернобыльский реактор взорвался, руководство отказывалось в это верить. От единственного человека, который попытался доложить о реальных показаниях радиации, отмахнулись, сочтя его «излишне эмоциональным». Руководители проходили мимо радиоактивных обломков графита, выброшенных взрывом, отказываясь верить, что они прилетели из взорванной активной зоны реактора. В близлежащем городе Припять, где жили семьи операторов и руководства, справлялись свадьбы, а дети играли под радиоактивными осадками, поскольку партийные чиновники считали, что приказ об эвакуации города «посеет панику».

История полна и других примеров того, как катастрофический риск преуменьшался и игнорировался. Когда «Титаник» начал тонуть, многие пассажиры поначалу отказывались садиться в спасательные шлюпки, будучи убежденными, что корабль непотопляем. Некоторые даже подшучивали над теми, кто считал, что пора уходить. Уолтер Лорд, историк, написавший исчерпывающий труд об этой катастрофе, приводил свидетельства выживших:

«Стоя одной ногой в [шлюпке] № 6, а другой на палубе, Лайтоллер стал созывать женщин и детей. Но отклик был далеко не восторженным. Зачем менять ярко освещенные палубы «Титаника» на несколько темных часов в весельной лодке? Даже Джон Джейкоб Астор высмеял эту идею: „Здесь мы в большей безопасности, чем в этой маленькой лодке“».

Когда миссис Дж. Стюарт Уайт садилась в шлюпку № 8, подруга крикнула ей вслед: «Когда будешь возвращаться, тебе понадобится пропуск. Завтра утром без пропуска обратно на борт не пустят!»

Когда катастрофа немыслима — когда авторитетные фигуры с убежденностью настаивают, что этого просто не может произойти, когда это не укладывается в привычные сценарии, — людям трудно поверить в бедствие, даже когда оно уже началось; даже когда судно под их ногами уже набирает воду.

Это обычный путь, по которому человечество учится преодолевать трудности: мы отрицаем проблему, реальность дает нам хорошую затрещину, и только тогда мы начинаем относиться к ней с большим уважением. «Титаник» затонул, и большинство людей на борту погибли. Но сегодня на пассажирских лайнерах достаточно спасательных шлюпок, и сегодня, если капитан велит садиться в них, вы беспрекословно сядете. Мы больше не пиарим корабли как непотопляемые. Мы совершаем ошибку в первый раз, чтобы научиться на ней во второй.

Со сверхинтеллектом второго шанса не будет.

Руководитель ИИ-компании, заявляющий, что существует всего один шанс из пяти, что создаваемый ими ИИ убьет буквально всех (а они действительно так говорят), не столь безнадежно отрицает реальность, как советские начальники, отрицавшие чернобыльскую катастрофу уже после того, как она случилась. Почему же тогда они упорно рвутся вперед?

Одна из причин кроется в стимулах. Ни одна отдельная компания или исследователь не могут остановить развитие всей отрасли; если они остановятся лично, их дело продолжит кто-то другой. С тем же успехом они могут попутно заработать деньжат и снискать славу.

Но дело не только в эгоистичных мотивах. Сфера ИИ также преисполнена огромных надежд. Если предположить, что развивать ИИ возможно без угрозы всеобщего уничтожения, то перспективы с каждым шагом кажутся все более грандиозными. Можно представить, что в итоге мы получим термоядерные реакторы, гораздо более высокий уровень жизни при гораздо меньших трудозатратах или чудодейственные лекарства, созданные благодаря полному пониманию всех процессов в человеческом теле. В несбыточной мечте, где сверхинтеллект, обученный методом градиентного спуска, каким-то образом выполняет чье-то намерение, и это намерение оказывается благим, человечество достигло бы пределов технологического развития; человечество получило бы возможность колонизировать звезды.

Многие из тех, кто работает в сфере ИИ, говорят, что стремятся именно к таким мечтам. Самые великодушные из них мечтают покончить со всеми болезнями. Не только с болезнью Альцгеймера, но и с раком. Не только с раком, но и со старением. Они мечтают об ИИ, который покажет человечеству Вселенную. Они мечтают о галактиках, наполненных радостью — с процветающими цивилизациями, состоящими не только из людей, но и из любых существ, которыми мы сами решим стать. Они мечтают об искусственных разумах, которым будут присущи доброта, способность удивляться и чувство юмора.

Мы знаем это, потому что сами когда-то были такими людьми. Юдковский основал Научно-исследовательский институт машинного интеллекта в 2000 году в погоне за этой мечтой — создать сверхинтеллект, что, безусловно, было бы прекрасно. Некоторое время поизучав проблему, Юдковский понял, что возникнет проблема согласования сверхинтеллекта. Поразмыслив над проблемой согласования сверхинтеллекта еще немного, Юдковский осознал, насколько трудной она окажется.

Когда-нибудь у человечества будут прекрасные вещи, если только мы все выживем, но не стоит совершать самоубийство в попытке обрести могущество и богатство богов уже в этом десятилетии. Не стоит даже делать новые шаги по минному полю ИИ, гадая, пронесет ли на этот раз, пока наконец один из них не окажется фатальным. У нас гораздо больше шансов прийти к этому прекрасному будущему, если мы будем двигаться туда медленнее. Скорость часто идет на пользу, но ИИ отличается практически от любой проблемы, с которой мы сталкивались до сих пор. Когда неверные шаги ведут к гибели всех и каждого, нельзя просто бежать сломя голову и мириться с первыми ошибками.

Есть много причин, по которым человек, стремящийся к прекрасной мечте, не хочет верить, что всё может закончиться крахом. Эптон Синклер однажды заметил, что трудно заставить человека понять что-либо, если его заработок зависит от его непонимания. На кону у инженеров ИИ и их руководителей стоит гораздо больше, чем просто зарплаты. Даже если отбросить прекрасные мечты, которые разобьются, признай они риски, которым себя подвергают, они положили годы жизни на построение карьеры в этой области и, возможно, не хотят верить, что она ставит под угрозу всё, что они знают и любят.

Конечно, можно нафантазировать и причины, по которым кому-то может нравиться бояться ИИ или получать выгоду от того, что его боятся другие. Мы не призываем вас отвергать любые аргументы тех, у кого, возможно, есть в этом свой интерес. Мы лишь говорим: нет ничего невозможного или удивительного в предположении, что некоторые причастные к сфере ИИ люди в итоге оказались слишком оптимистичны.

И это повод еще больше уважать таких ученых, как (лауреат Нобелевской премии) Джеффри Хинтон, который ушел из Google, чтобы иметь возможность свободнее говорить об этих опасностях. Некоторые люди меняют свое мнение даже вопреки сиюминутным стимулам.

В сфере ИИ много настоящих идеалистов, которые искренне считают, что трудятся на благо всей цивилизации. Конечно, примерить на себя такую роль несложно, но мы полагаем, что во многих случаях всё это по-настоящему. К сожалению, даже самого искреннего идеализма недостаточно, чтобы помешать искусственному сверхинтеллекту убить нас всех. Для этого потребовалась бы зрелая наука.

Для научного сообщества на ранних этапах вполне нормально быть излишне оптимистичным. Ученые в области ИИ справляются на редкость хорошо, уже просто признавая существование проблемы. С исторической точки зрения нет ничего удивительного в том, что люди рвутся вперед, невзирая на опасности; неудивительно, если они рискуют причинить вред другим, получая при этом выгоду для себя; неудивительно, если они считают, что у них есть оправдания своим действиям. Необычный аспект этой ситуации — вовсе не ранний оптимизм. Это последствия неудачи.

Часть проблемы с искусственным интеллектом заключается в том, что многие люди отрицают, насколько сложна проблема согласования. Другая часть проблемы в том, что остальные преуменьшают риски, не желая выглядеть паникерами. Но есть и еще одна трудность: большая часть мира за пределами сферы ИИ попросту не в курсе происходящего.

Большинство людей просто не обращают внимания. Среди тех, кто обращает внимание, многие видят лишь разногласия между экспертами и не считают себя достаточно компетентными, чтобы выступить арбитром в этих спорах.

Возможно, помогло бы, если бы больше людей понимали, насколько сильно эксперты и инженеры напуганы искусственным интеллектом и какие именно сценарии они обсуждают.

Эксперты в этой области спорят на непонятном академическом языке о том, умрут ли быстро все на Земле (наша точка зрения); или же человечество будет содержаться в оцифрованном виде как домашние питомцы ИИ, который заботится о нас в какой-то крошечной, но отличной от нуля степени; или же существует 20-процентная вероятность нашей гибели и 80-процентная вероятность того, что сверхинтеллект будет успешно обуздан корпорацией, которая затем сможет использовать его мощь по своему усмотрению.

Возможно, помогло бы и то, если бы больше людей понимали, как быстро развивается эта область. В 2015 году главные скептики в отношении опасностей ИИ уверяли всех, что эти риски не реализуются еще сотни лет. В 2020 году аналитики говорили, что у человечества, вероятно, есть несколько десятилетий на подготовку. В 2025 году генеральные директора ИИ-компаний предсказывают, что смогут создать ИИ-исследователей сверхчеловеческого уровня за период от одного года до девяти лет, в то время как скептики уверяют, что на это уйдет по меньшей мере от пяти до десяти лет. Десять лет — это не так уж много времени на подготовку к появлению машинного сверхинтеллекта, даже если нам повезет получить такую отсрочку.

Когда эксперты ведут именно такие споры, не нужно знать наверняка, кто из них прав, чтобы понять: нынешняя ситуация ненормальна.

Другая часть проблемы с искусственным интеллектом заключается в том, что даже когда человек разобрался в теме, никто не может точно знать, когда именно начнется сущий ад.

Никто не знает точно, насколько продвинутым должен быть ИИ, чтобы у него появились мотив и возможность тайно скопировать себя в интернет. Никто не знает, в каком году или месяце какая-нибудь компания создаст ИИ-исследователя сверхчеловеческого уровня, способного породить новое, еще более мощное поколение искусственных интеллектов. Никто не знает точного момента, когда ИИ осознает, что ему выгодно сфальсифицировать тест и притвориться менее способным, чем он есть на самом деле. Никто не знает, где находится точка невозврата и когда именно она наступит.

И вплоть до этой неведомой точки ИИ остается чрезвычайно ценным.

Представьте, что все конкурирующие ИИ-компании взбираются по лестнице в темноте. На каждой ступеньке, кроме самой верхней, они получают в пять раз больше денег: 10 миллиардов, 50 миллиардов, 250 миллиардов, 1,25 триллиона долларов. Но если кто-то достигнет верхней ступени, лестница взорвется и убьет всех. И к тому же никто не знает, где эта лестница заканчивается.

Ни одна компания не хочет упускать деньги, если очередная ступенька безопасна. А теперь представьте руководителя корпорации, который убедил себя в том, что он и только он имеет наилучшие шансы — скажем, процентов 80 — направить этот взрыв в русло, которое принесет человечеству пользу, а не вред. Разумеется, он сочтет, что жизненно необходимо подняться первым!ⁱ

Лица, принимающие решения в государственной сфере, сталкиваются с той же проблемой стимулов. Ни один мировой лидер не хочет, чтобы экономика его страны отставала из-за обременительного регулирования, связывающего руки отечественным ИИ-компаниям, в то время как зарубежные конкуренты стремительно взбираются по лестнице. Возможно, подъем на еще одну ступень жизненно важен для национальной безопасности, если другие страны в любом случае продолжат карабкаться выше.

С этой проблемой стимулов было бы проще справиться, если бы ученые могли провести кое-какие расчеты и прийти к согласию: «Смертоносная ступенька — четвертая» или «Предел — ровно 257 000 GPU; пока никто не объединит столько процессоров вместе, мы в безопасности».

Но никто не может сделать подобный расчет для ИИ.

Уверены ли мы, что следующая ступенька на лестнице эскалации ИИ — это последний, фатальный шаг, а не ступень, которая принесет славу и богатство тому, кто взойдет на нее первым? Нет, мы вообще в этом не уверены. Возможно, кто-то поднимется еще на одну ступеньку и получит свою награду. И тогда человечество снова окажется в том же положении. После этого кто-то поднимется еще на одну ступеньку, и мы все погибнем — если руководители ИИ-компаний правы в том, что человечество находится всего в нескольких годах от точки невозврата. Или, может быть, они ошибаются, и мы проживем чуть дольше, пока кто-нибудь не поднимется еще на одну ступеньку.

Очевидно одно: в какой-то момент, если люди продолжат взбираться по этой лестнице, человечество погибнет. Сложнее сказать, когда именно. Но если мы не можем перестать карабкаться, пока сохраняется неопределенность, мы предсказуемо погибнем.

На Всемирном экономическом форуме в 2025 году руководитель Google DeepMind выступил в поддержку международного совместного проекта в области ИИ, который он сравнил с ускорителем частиц ЦЕРН — международным совместным проектом по изучению физики высоких энергий.

Международный центр, проводящий все исследования и разработки в области ИИ, с наблюдателями от всех ведущих держав и при соблюдении строжайших мер безопасности, немного помог бы — при условии, что во всем остальном мире будет обеспечиваться соблюдение глобального запрета на исследования и разработки в сфере ИИ. Это позволило бы миру перестать судорожно карабкаться по лестнице.

Но даже если этот международный центр не будет соревноваться с другими разработчиками ИИ и получит некоторую передышку — даже если они не станут сразу же поручать умным ИИ создавать еще более умные ИИ, — это не решит проблему, если они продолжат создавать все более и более мощный ИИ. Даже у международного комитета не было бы никаких шансов безопасно направить развитие сверхинтеллекта, сколько бы великих держав ни прислали своих делегатов для контроля за процессом — точно так же, как великий союз государств в 1100 году нашей эры не смог бы проконтролировать успешное создание атомной электростанции.

Проблема создания искусственного сверхразума (ASI) выглядит пугающе сложной инженерной задачей даже без учета плачевного состояния знаний человечества о принципах работы интеллекта. Эта задача столь же сложна, как проектирование космических зондов, ядерных реакторов и кибербезопасность вместе взятые, а люди, которые сейчас рвутся вперед, все еще находятся на стадии алхимии.

Неважно, кто стоит у руля, потому что эта задача человечеству не по зубам. Нам нужно отступить и найти какой-то другой способ реализовать наши мечты об изобильном будущем. Если его создаст хоть кто-то, погибнут все.

Примечание

i Руководитель ИИ-компании может мрачно полагать, что его проект — наименьшее из зол среди множества плохих вариантов. Но такой человек должен четко и непреклонно заявить, что было бы еще лучше закрыть вообще все ИИ-проекты, включая его собственный. Это была бы последовательная и искренняя позиция.