Когда-то – а точнее, 18 мая 1889 года, поскольку это реальная история, – родился Томас Миджли. Тридцать два года спустя, работая в General Motors, он положил начало одной из самых бессмысленных инженерных катастроф за всю историю человечества¹.

Как?

Он обнаружил, что к бензину полезно добавлять тетраэтилсвинец.

Этилированный бензин имел явное преимущество: автомобильные двигатели на таком топливе работали более плавно, уменьшалась вероятность “стука”, который раздражал водителей и порой выводил двигатели из строя. У проблемы имелись и другие решения: производители могли использовать альтернативные присадки и конструкции двигателей, однако эти способы обходились дороже при том же уровне эффективности и надежности².

Некоторые изобретения несли с собой неприятные, но в конечном счете оправданные издержки. Уголь некогда окрашивал Лондон в черный цвет, а угольная пыль забивала множество легких, но этот уголь помогал плавить сталь, которая дала железные дороги, по которым перевозили грузы, которые построили современный мир.

Ситуация с этилированным бензином иная. В природе свинец присутствует в почве (несколько частей на миллион), однако он входит в соединения, которые редко попадают в организм человека и не накапливаются там. Тетраэтилсвинец из бензина оказался гораздо опаснее. Жизнь рядом с автомобилями, работающими на этилированном бензине, приводила к повреждению мозга у детей: зафиксировано уменьшение IQ примерно на 7,4 балла (в зависимости от дозировки), а также рост преступности и насилия, сложнее поддающийся измерению³.

Было отравлено целое поколение[51]. Метаанализ 2022 года показал, что снижение содержания свинца в топливе в конце XX века объясняет от 7 до 28 % уменьшения числа убийств в США за тот же период⁴.

Выгода от чуть более дешевых двигателей даже отдаленно не компенсировала ни рост преступности, ни вред для мозга, которые этилированное топливо несло сотням миллионов людей по всему миру.

Нам бы хотелось сказать, что история с этилированным бензином стала огромной непредсказуемой ошибкой, но это было бы чересчур мягко. Предупреждения звучали задолго до катастрофы.

Уже в 1920-е годы, когда тетраэтилсвинец только начали внедрять как присадку к бензину, ученые знали, что свинец – нейротоксичное вещество. Штат Нью-Джерси ненадолго даже запретил производство. Однако некоторые люди, получившие хорошие деньги, утверждали: защитники общественного здоровья не продемонстрировали неопровержимых доказательств, что свинец в сгорающем бензине наносит массовый вред, и выгоды оправдывают небольшой риск. Предупреждения систематически игнорировались. “Вред не доказан окончательно”, – утверждала промышленная пропаганда, и это привело к отмене запрета⁵.

Трудно поверить, что здравомыслящий человек на такое способен: обречь буквально сотни миллионов детей на повреждение мозга ради того, чтобы компания могла заработать немного больше денег (причем люди, принимавшие это решение, владели лишь крохотной долей акций компании, а то и вообще ничем). Люди, вовлеченные в это преступление, заработали ничтожно мало по сравнению с нанесенным ущербом – это все равно что сжечь чужой дом, чтобы украсть дверную ручку. Когда описываешь те события, все кажется чистым безумием. Неужели руководители топливных компаний не боялись того, что случится, когда люди узнают правду? Действительно ли они считали, что все нормально, раз вред не доказан окончательно?

Мы не знаем. Мы не телепаты.

В 1923 году Миджли взял длительный отпуск, чтобы восстановиться после отравления свинцом⁶. Вернувшись, он устраивал показательные акции – например, мыл руки этилированным бензином, демонстрируя его “безопасность”⁷. А затем снова слег с отравлением. Возможно, он действительно верил, что страхи преувеличены. Да и как он мог позволить себе верить в обратное, когда речь шла о деле всей его жизни?

Вероятно, вы слышали о фреоне – одном из первых хлорфторуглеродов, которые использовали в холодильной технике и системах кондиционирования⁸. Он проделал дыру в озоновом слое, и в итоге это вещество запретили на международном уровне. Меры сработали, и тема озоновой дыры практически исчезла из новостей. Фреон был синтезирован в 1928 году Томасом Миджли.

Когда вы представляете себе совершенно новый эпизод будущей истории, появляется искушение вообразить, что все пойдет разумно, а не так, как обычно развиваются события в учебниках. Иногда нас спрашивают: “Как вообще ИИ-компании могут такое творить, если все действительно так, как вы утверждаете?” И пожалуй, самый простой честный ответ: это как раз один из тех ужасных, печальных, но реальных случаев, о которых вы читаете в учебниках истории, а не ситуация из разумного мира, существующего только в воображении. В любом разумно устроенном мире производители бензина не должны использовать тетраэтилсвинец – но они это делали.

Иногда цитируется высказывание оксфордского философа Тоби Орда, который занимается изучением экстремальных угроз человечеству (в частности, он консультировал Google DeepMind): он оценивает вероятность того, что ИИ уничтожит человечество, всего в 10 %. Но если вникнуть в детали, становится понятно, что Орд оценивает риск гибели человечества “всего” в 10 % лишь в предположении, что человечество одумается и возьмется за ум⁹. Джеффри Хинтон, лауреат Нобелевской премии и “крестный отец ИИ”, в своих рекомендациях правительствам указывает вероятность “не менее 10 %”¹⁰. Причем Хинтон признавался: на самом деле он считает, что вероятность нашей гибели от ИИ – более 50 %, но избегает называть эту величину, “поскольку есть другие люди, оценивающие риск ниже”¹¹. В октябре 2023 года Риши Сунак, тогдашний премьер-министр Соединенного Королевства, выступил с речью об искусственном интеллекте. Он сказал: “И в самых маловероятных экстремальных случаях существует даже риск, что человечество полностью утратит контроль над ИИ – над тем его типом, который иногда называют «сверхинтеллектом»”¹². Через несколько фраз он добавил: “Не хочу показаться паникером”.

Мы считаем, что Сунак заслуживает огромного уважения, поскольку решился заговорить об этом, несмотря на риск прослыть паникером. Он был одним из первых мировых лидеров, решившихся на этот шаг. Требуется немалое мужество, чтобы заявить об угрозе там, где все прочие уверены в полной безопасности. То же самое касается Хинтона и Орда.

Но любой, кто знаком с историей инженерных катастроф, должен сразу узнать классический этап в типовом сценарии грядущего бедствия. Этап, когда самые информированные и обеспокоенные вынуждены преуменьшать свои страхи, ведь до остальных серьезность ситуации еще не дошла, и вторые смотрят на первых как на чудаков.

В СССР считалось, что ядерные реакторы того типа, который эксплуатировался на Чернобыльской АЭС, взорваться не могут¹³. Научный руководитель проекта РБМК хвастался, что такой реактор безопасен, как чайник. Уверенность была столь велика, что даже после того, как чернобыльский реактор взорвался, высшее руководство отказывалось в это верить. Единственного человека, попытавшегося сообщить правдивые сведения об уровне радиации, назвали чрезмерно эмоциональным. Руководители проходили мимо радиоактивных кусков графита, выброшенных взрывом, и отказывались верить, что они из активной зоны реактора. В соседнем городе Припять, где жили семьи операторов и руководителей атомной электростанции, шли свадьбы, а дети играли под радиоактивными осадками, потому что партийные чиновники опасались, как бы приказ об эвакуации не вызвал панику.

История полна примеров, когда люди преуменьшали и игнорировали риски катастрофы. После столкновения “Титаника” с айсбергом многие пассажиры поначалу отказывались садиться в спасательные шлюпки¹⁴, поскольку верили в непотопляемость корабля¹⁵. Некоторые даже высмеивали тех, кто считал, что пора покидать корабль¹⁶. Уолтер Лорд, историк, написавший полную хронику катастрофы, привел свидетельства выживших очевидцев:

Стоя одной ногой в шлюпке № 6, а другой на палубе, Лайтоллер начал сзывать женщин и детей. Его призывы были встречены без энтузиазма. К чему менять ярко освещенные палубы “Титаника” на несколько часов непроглядной тьмы в гребной шлюпке? Даже Джон Джейкоб Астор нашел идею об эвакуации смехотворной: “Мы здесь в большей безопасности, чем на борту этой маленькой шлюпчонки”.

Когда миссис Дж. Стюарт Уайт забралась в шлюпку № 8, ее окликнула приятельница: “Для возвращения вам понадобится какой-нибудь пропуск. Завтра утром вас ни за что не пустят обратно без пропуска!”[52]

Когда катастрофа выглядит немыслимой, когда авторитетные лица уверенно настаивают, что такого просто не может случиться, когда ситуация не вписывается в обычные сценарии, людям трудно поверить в беду даже после того, как она уже произошла, – даже когда корабль у них под ногами погружается в воду.

Именно так человечество обычно учится справляться с вызовами: сначала мы отрицаем проблему, затем реальность наносит нам чувствительный удар, и только после этого мы начинаем относиться к проблеме с должной серьезностью. “Титаник” затонул, и большинство людей на борту погибли. Но в наши дни на пассажирских судах достаточно спасательных шлюпок, и если капитан прикажет садиться в них, вы сядете. Мы больше не называем корабли непотопляемыми. Ошибка, совершенная в первый раз, помогает нам во второй.

Вот только с искусственным сверхинтеллектом второго раза не будет.

Когда руководители ИИ-компаний говорят: есть всего лишь один шанс из пяти¹⁷, что разрабатываемая модель убьет буквально всех (а именно так они и говорят), они обманывают себя меньше, чем советские управленцы, отрицавшие чернобыльскую катастрофу уже после того, как она произошла¹⁸. Почему же тогда создатели ИИ-моделей так спешат?

Одна из причин – стимулы. Ни одна отдельная компания или исследователь не в силах остановить развитие всей области. Если прекратят работу они лично, дело подхватит кто-то другой. Попутно же они могут еще заработать денег и снискать славу.

Но дело не только в корыстных мотивах. Эта область полна еще и великих надежд. Если допустить, что возможно развивать искусственный интеллект, не убив при этом всех людей, то потенциальные выгоды с каждым шагом кажутся все колоссальнее. Только представьте: термоядерные реакторы, гораздо более высокий уровень жизни при гораздо меньшем объеме работы, чудодейственные лекарства, созданные благодаря полному пониманию работы человеческого организма. В той несбыточной мечте, где сверхинтеллект, выращенный методом градиентного спуска, каким-то образом и вправду исполняет чью-то задумку – и задумка эта благая, – человечество достигло бы предела технологических возможностей и смогло бы колонизировать звезды.

Многие люди из сферы ИИ признаются, что лелеют подобные мечты[53]. Самые благородные из них грезят о том, чтобы избавить мир от болезней. Не только от болезни Альцгеймера, но и от рака и даже от старения. Они мечтают о модели ИИ, которая сможет вывести человечество к звездам и показать ему Вселенную. Мечтают о галактиках, наполненных радостью, – с процветающими цивилизациями, где будут жить не только люди, но и те существа, какими мы сами захотим стать. Мечтают об искусственных разумах, наделенных добротой, способностью удивляться и чувством юмора.

Мы знаем это, потому что сами когда-то были такими. Юдковский в 2000 году основал Институт исследований машинного интеллекта именно в погоне за этой мечтой – построить искусственный сверхинтеллект, ведь это, несомненно, было бы здорово. Но, поразмышляв какое-то время, Юдковский понял, что возникнет проблема согласования сверхинтеллекта. А поизучав ее, понял, что она окажется чертовски сложной.

Однажды у человечества появятся немыслимые блага – если мы все выживем. Но не стоит совершать коллективное самоубийство в попытке обрести божественное могущество и богатство уже в этом десятилетии. Не стоит даже бежать дальше по минному полю ИИ, надеясь, что каждый следующий шаг не станет смертельным, пока в какой-то момент один из них нас не прикончит. У нас больше шансов добраться до чудесного будущего, если мы будем продвигаться медленнее. Скорость зачастую дает преимущества, но проблема искусственного интеллекта отличается от всего, с чем мы сталкивались ранее. Если неверный шаг убивает всех, нельзя просто нестись сломя голову, допуская “неизбежные на первых порах” промахи.

Существует масса причин, почему человек, одержимый прекрасной мечтой, не желает верить, что она может обернуться крахом. Эптон Синклер однажды заметил: “Трудно заставить человека понять что-либо, если ему платят зарплату за то, что он этого не понимает”. А ведь у инженеров и руководителей ИИ-компаний на кону стоит гораздо больше, нежели зарплата. И даже оставив в стороне их возвышенные мечты, которые рассыпались бы в прах при честном признании текущих рисков, надо помнить: они посвятили этому делу всю свою профессиональную жизнь и не пожелают верить, будто оно ставит под удар все, что они знают и любят.

Безусловно, можно еще напридумывать причин, почему людям нравится бояться искусственного интеллекта или извлекать выгоду из страхов других. Мы не призываем вас отметать любые доводы только потому, что озвучивший их человек может иметь какой-то свой интерес. Мы лишь говорим: нет ничего невозможного или удивительного в предположении, что некоторые заинтересованные лица в сфере ИИ оказались чрезмерными оптимистами.

И это повод еще больше уважать таких ученых, как лауреат Нобелевской премии Джеффри Хинтон, который оставил свой пост в Google, чтобы иметь возможность свободнее говорить об опасностях¹⁹. Некоторые люди меняют свое мнение даже вопреки краткосрочным стимулам[54].

В сфере искусственного интеллекта много настоящих идеалистов, искренне верящих, что трудятся на благо всей цивилизации. Конечно, нетрудно и разыгрывать из себя такого идеалиста, но мы считаем, что это реальная позиция многих людей. К сожалению, даже самого искреннего идеализма недостаточно, чтобы помешать искусственному сверхинтеллекту убить нас всех. Для этого требуется зрелая наука.

На ранних стадиях развития любой области чрезмерный оптимизм научного сообщества – вполне естественное явление. Специалисты по ИИ демонстрируют необычно высокий уровень ответственности уже потому, что хотя бы открыто говорят о наличии проблемы. С исторической точки зрения неудивительно, что люди рвутся вперед, невзирая на опасности, неудивительно, что рискуют причинить вред другим ради собственной выгоды, неудивительно, что находят оправдания для своих действий. Необычность ситуации – не в оптимизме на начальных этапах, а в последствиях провала.

Частично проблема с искусственным интеллектом заключается в том, что многие отрицают сложность задачи согласования. Частично – в том, что некоторые специалисты преуменьшают риски, не желая прослыть паникерами. А еще в том, что бóльшая часть мира за пределами сферы ИИ просто не в курсе происходящего.

Большинство людей просто не обращают на это внимания. А среди тех, кто обращает, многие видят лишь разногласия между экспертами и считают себя недостаточно компетентными, чтобы разбираться, чья точка зрения верна.

Было бы полезно, если бы больше людей осознали, насколько сильно напуганы специалисты в области искусственного интеллекта и какие именно сценарии они обсуждают.

Используя малопонятные научные термины, эксперты спорят, погибнут ли все на Земле быстро (наша точка зрения), или же нас оцифруют и станут держать в качестве питомцев для ИИ-моделей, которые будут проявлять о нас пусть и мизерную, но ненулевую заботу. Либо расклад таков: 20 %-ная вероятность нашей гибели против 80 %-ной вероятности, что какая-нибудь корпорация успешно обуздает сверхинтеллект и использует свою силу, как сочтет нужным.

Еще было бы полезно, если бы больше людей понимали, насколько стремительно развивается эта область. В 2015 году главные скептики уверяли всех, что риски, связанные с опасностями ИИ, не возникнут еще сотни лет²⁰. В 2020-м аналитики говорили, что у человечества, вероятно, есть в запасе несколько десятилетий на подготовку²¹. В 2025-м генеральные директора ИИ-компаний прогнозируют, что сумеют создать ИИ-исследователей сверхчеловеческого уровня за срок от одного года до девяти лет²², тогда как скептики уверяют, что это займет, вероятно, не менее пяти-десяти лет²³. Но десять лет – это не так уж много времени, чтобы подготовиться к рассвету машинного сверхинтеллекта, если у нас вообще есть эти десять лет, как обещает оптимистичный сценарий.

Когда специалисты ведут подобные споры, вам не обязательно знать наверняка, кто из них прав, чтобы понять: текущая ситуация ненормальна.

Еще один аспект проблемы с искусственным интеллектом заключается в том, что даже человек, в полной мере осознающий сложившуюся ситуацию, не может знать, когда именно разверзнется ад.

Никто не знает точно, насколько совершенной должна стать ИИ-модель, чтобы у нее появились мотивация и техническая возможность незаметно перенести свои копии в интернет. Никто не знает, в каком году какая-нибудь компания создаст искусственного исследователя со сверхчеловеческими возможностями, который породит новое, более мощное поколение ИИ-моделей. Никто не знает точного момента, когда ИИ-модель осознает, что ей выгодно искажать результаты тестов и притворяться менее умной, чем она есть[55]. Никто не знает, какой момент будет точкой невозврата и когда мы ее пройдем.

И вплоть до этой неизвестной точки искусственный интеллект приносит огромную выгоду.

Представьте, что все конкурирующие ИИ-компании карабкаются по лестнице в полной темноте. На каждой ступеньке, кроме самой верхней, они получают в пять раз больше денег, чем на предыдущей: 10 миллиардов долларов, 50 миллиардов, 250 миллиардов, 1,25 триллиона. Но как только кто-то добирается до самой верхней ступеньки, лестница взрывается и уничтожает всех. Причем никто не знает, где лестница заканчивается.

Ни одна компания не захочет упускать деньги, если ступенька безопасна. А теперь представьте какого-нибудь руководителя корпорации, который убедил себя, что у него (и только у него) есть наибольшие шансы – скажем, 80 % – направить этот взрыв на пользу, а не во вред человечеству. Тогда он решит, что его корпорация просто обязана подняться первой![56]

Лица, принимающие решения на государственном уровне, сталкиваются с той же проблемой стимулов. Ни один мировой лидер не желает, чтобы экономика его страны отстала из-за обременительного регулирования, связывающего отечественные ИИ-компании по рукам и ногам, в то время как иностранные конкуренты мчатся вверх по лестнице. Возможно, подъем на следующую ступеньку жизненно важен для национальной безопасности, если другие страны собираются взбираться выше несмотря ни на что.

Справиться с подобной проблемой стимулов было бы проще, если бы ученые могли провести расчеты и прийти к согласию: “Смертельная ступенька – четвертая” или “Пороговая величина – 257 000 графических процессоров, и пока никто столько не объединит, мы в безопасности”.

Но никто не способен провести такой расчет для искусственного интеллекта.

Уверены ли мы, что следующая ступенька на лестнице эскалации ИИ – это последний, фатальный этап, а не уровень, который принесет славу и богатство тому, кто первым его достигнет? Нет, мы вовсе не уверены. Возможно, кто-то поднимется еще на одну ступеньку и обретет награду. И тогда человечество снова окажется в том же самом положении. А после этого кто-то поднимется еще на одну ступеньку – и мы все умрем, если руководители ИИ-компаний правы, считая, что человечество находится всего в нескольких годах от критической точки²⁴. Или они ошибаются, и тогда мы проживем чуть дольше – пока кто-нибудь не заберется на следующую ступеньку.

Очевидно одно: если люди продолжат карабкаться по этой лестнице, то в какой-то момент человечество погибнет. Вопрос, когда именно, сложнее. Но если мы не перестанем подниматься в условиях такой неопределенности, наша гибель предсказуема.

На Всемирном экономическом форуме в 2025 году глава Google DeepMind призвал к созданию международного совместного ИИ-проекта – по аналогии с международным совместным проектом по изучению физики высоких энергий на Большом адронном коллайдере ЦЕРН²⁵.

Международный центр с жесткой системой безопасности, который вел бы все исследования и разработки по искусственному интеллекту при участии наблюдателей от всех крупных государств, мог бы немного улучшить ситуацию – но только если бы существовал глобальный контроль за соблюдением запрета на исследования и разработку ИИ-моделей во всех остальных местах. Мир перестал бы лихорадочно карабкаться по лестнице.

Но даже если этому международному центру не придется соревноваться с другими разработчиками, даже если он не начнет тут же приказывать умным моделям создавать еще более продвинутые версии и поэтому возникнет некоторая передышка, это не решит проблему, если сохранится курс на создание все более мощных ИИ-моделей. Даже у международного комитета не будет шансов сформировать послушный сверхинтеллект, сколько бы великих держав ни прислали своих делегатов для надзора за работой (как никакой масштабный альянс государств в 1100 году не смог бы проконтролировать успешное создание атомной электростанции).

Проблема искусственного сверхинтеллекта – пугающая по масштабу инженерная задача даже без учета плачевного состояния знаний человечества о принципах работы интеллекта. Эта проблема сложна, как автоматические межпланетные станции, ядерные реакторы и кибербезопасность, вместе взятые, а люди, которые сейчас несутся вперед, все еще находятся на стадии алхимии.

Неважно, кто стоит у руля, ибо эта задача человечеству пока не по зубам. Нам нужно отступить и найти какой-то другой способ реализовать свои мечты о будущем изобилия. Если кто-то создаст сверхинтеллект – все погибнут.

IfAnyoneBuildsIt.com/12