САМАЯ БОЛЬШАЯ И ГЛАВНАЯ СЛОЖНОСТЬ В ВЫРАВНИВАНИИ искусственного суперинтеллекта заключается в том, чтобы преодолеть пропасть между «до» и «после».

«До» — ИИ еще недостаточно силен, чтобы уничтожить всех нас, и недостаточно развит, чтобы сопротивляться нашим попыткам изменить его цели. «После» — искусственный суперинтеллект ни в коем случае не должен пытаться нас уничтожить, потому что у него это получится.

Инженеры должны выровнять ИИ «до», пока он мал и слаб, не способен сбежать в интернет, самосовершенствоваться и изобретать новые виды биотехнологий (или что бы он там ни делал). «После» все решения по выравниванию уже должны быть внедрены и работать, потому что если суперинтеллект попытается нас уничтожить, он преуспеет. Идеи и теории можно тестировать только до этой пропасти. Но они должны сработать после нее, причем с первой же попытки.

У человечества есть всего одна попытка пройти настоящее испытание. И если у кого-то есть хитрый план, как получить две попытки, у нас будет всего одна попытка на то, чтобы этот хитрый план сработал.

История человеческой изобретательности, преодолевающей малые и великие преграды, — это история ошибок и извлеченных из них уроков. До появления братьев Райт у многих изобретателей были свои теории полета, и они калечились, прыгая с холмов. Даже эти оптимистичные идиоты внесли свой вклад в копилку научных знаний, благодаря чему в следующий раз цивилизация могла справиться чуточку лучше. Они рисковали только собой и вредили только себе, а выигрывало от этого все человечество.

Но когда дело дойдет до выравнивания искусственного суперинтеллекта (ИСИ), у человечества не будет роскоши учиться на достаточно серьезных ошибках.

Это также означает, что мы лишены роскоши опыта, который подсказал бы нам впоследствии, была ли задача настолько сложной и проклятой инженерными трудностями, что за нее и браться не стоило.

Нам придется понять это заранее. Но как?

Для начала мы можем взглянуть на другие инженерные вызовы, с которыми борется человечество, исследовать, какие «проклятия» над ними тяготеют, и извлечь возможные уроки. И тогда, возможно, мы сможем сделать обоснованное предположение о сложности проблемы выравнивания ИСИ.

Мы считаем, что уроки истории становятся очевидными, если взглянуть на них под правильным углом. Давайте же разберем, в чем сложность создания работающих космических зондов, работающих ядерных реакторов и невзламываемых компьютеров — задач, которые, на наш взгляд, имеют важное сходство с выравниванием ИСИ.

КОСМИЧЕСКИЕ ЗОНДЫ

Пропасть между «до» и «после» — это то же самое проклятие, из-за которого терпят неудачу многие космические зонды. После запуска они улетают высоко и становятся недосягаемыми, и любой сбой — вопреки всем тщательно проработанным теориям и испытаниям — часто оказывается необратимым.

Космические зонды — это не расходный материал. Они стоят баснословно дорого. Люди ставят на карту всю свою научную и управленческую карьеру ради успеха этих аппаратов. И все равно зонды регулярно выходят из строя.

Миссия Mars Observer в 1992 году, стоимость которой на тот момент составляла 813 миллионов долларов, была потеряна незадолго до прибытия к Марсу. По наиболее вероятной версии, во время полета топливный клапан медленно подтекал, что привело к взрывному разрыву топливопровода, когда в двигателе подняли давление для повторного запуска.

В 1999 году аппарат Mars Climate Orbiter стоимостью 327 миллионов долларов был утерян из-за того, что наземное программное обеспечение от Lockheed Martin передавало результаты расчетов тяги двигателей в имперских единицах (фунт-силах на секунду) навигационному ПО НАСА, которое ожидало метрические единицы (ньютон-секунды). Аппарат либо сгорел в атмосфере Марса, либо отскочил от нее в космос.

Два месяца спустя на Красной планете разбился Mars Polar Lander (стоимостью 110 миллионов долларов). Наиболее вероятная причина: его посадочные опоры завибрировали в разреженной атмосфере Марса так, что бортовой компьютер решил, будто аппарат уже совершил посадку, и отключил двигатель.

Если при подлете к Марсу с космическим зондом что-то идет не так, вы не можете просто подбежать и починить его. Перед запуском зонда можно пойти на разные хитрые уловки, чтобы сохранить над ним контроль, когда он окажется вне зоны досягаемости, — например, оснастить его антенной для приема дальнейших инструкций с Земли. Но если в вашем хитром плане что-то пойдет не так (допустим, сбой произойдет настолько быстро, что у зонда просто не будет времени получить инструкции по его устранению), то после преодоления этой пропасти исправить уже ничего не удастся.

Именно при подобных обстоятельствах был потерян спускаемый аппарат «Викинг-1» (стоимостью 610 миллионов долларов в ценах 1975 года): центр управления полетами попытался загрузить на аппарат новое программное обеспечение для зарядки аккумуляторов и в процессе случайно перезаписал программу наведения антенны. Антенна оказалась в неверном положении, и аппарат больше не мог принимать команды. Связь так и не удалось восстановить.

Когда зонды запущены в космос, условия их работы оказываются не точь-в-точь такими же, как во время наземных испытаний, проводившихся инженерами. Возможно, теоретически они и могли бы провести именно те тесты, которые выявили бы все проблемы до полета зонда, но на практике этого не произошло.

Любой разумный инженер пришел бы в ужас от мысли поставить на кон выживание человеческой цивилизации ради решения подобной инженерной задачи — где нельзя просто взять и исправить ошибки, возникающие «после», когда устройство уже находится вне досягаемости. При этом космические зонды конструируют, а не выращивают; они выходят из строя вопреки упорному труду инженеров, которые понимают все действующие здесь законы физики. А если бы космические зонды выращивали, а не конструировали? Что ж, это было бы несравнимо более сложной задачей.

ЯДЕРНЫЕ РЕАКТОРЫ

Еще один исторический пример, из которого мы можем извлечь уроки о сложных инженерных задачах, — авария с расплавлением активной зоны реактора 26 апреля 1986 года на 4-м энергоблоке Чернобыльской АЭС.

Двести тридцать семь человек были госпитализированы, и тридцать один погиб в первые же дни после катастрофы. В основном это были пожарные, которые без предупреждения об опасности и без средств защиты тушили пожар на крыше, вызванный смертельно радиоактивным графитом из взорвавшейся активной зоны, а также многие члены эксплуатационного персонала реактора. Оценки смертности от рака, вызванного выбросом радиации, остаются спорными. Мы (авторы) склонны доверять оценкам в районе 10 000 избыточных смертей по всему миру, но не претендуем на экспертные знания.ⁱ

Политические лидеры искренне не хотели ядерных катастроф. Они требовали, чтобы их реакторы не взрывались. Их подчиненные — инженеры и конструкторы — понимали, какими тяжелыми последствиями для их карьеры обернется взрыв реактора. У операторов Чернобыльской АЭС были самые веские стимулы не допустить катастрофы: на кону стояли их собственные жизни. И все же четвертый энергоблок Чернобыльской АЭС взорвался. Как? Почему?

Если сильно упростить, мы можем выделить четыре действовавших здесь «проклятия», которые, наложившись друг на друга, привели к взрыву.

Во-первых, проклятие скорости: ядерные реакции происходят быстро. Когда атом урана расщепляется («делится»), он испускает нейтроны, которые могут столкнуться с другими атомами урана и вызвать новое деление — высвобождая еще больше нейтронов, которые запускают еще большее деление: это и есть «цепная реакция». Этот процесс протекает в масштабах микросекунд. Если он хоть немного выходит из-под контроля, выделение энергии начинает удваиваться в масштабе миллисекунд.

Стандартный ядерный реактор вообще способен работать лишь потому, что ничтожная доля выделяющихся при делении нейтронов относится к «запаздывающим нейтронам» — их испускают осколки расщепленных атомов урана, которые распадаются медленнее. Если для поддержания цепной ядерной реакции необходимы эти запаздывающие нейтроны, то мощность реактора удваивается в масштабе минут — достаточно медленно, чтобы операторы-люди могли ее контролировать.

Но это если все внутри реактора работает так, как задумано.

Ядерные реакторы спроектированы для работы в масштабах минут, а не микросекунд. Но это лишь тонкий фасад, скрывающий гораздо более быструю физику. Если что-то пойдет не так, истинная физическая скорость ядерных реакций может вернуться.

Во-вторых, проклятие узких границ: между полезной работой и взрывом пролегает тончайшая грань. Менее 1 процента нейтронов, выделяющихся при делении урана, являются запаздывающими — если точнее, 0,65 процента. Остальные — «мгновенные», они высвобождаются непосредственно в момент расщепления атома.

Главный показатель, определяющий работу ядерного реактора, — это коэффициент размножения нейтронов, то есть число новых нейтронов, порождаемых каждым нейтроном. Если он равен 50 процентам, то четыре нейтрона превращаются в два новых, те — в один, и реакция стабилизируется на уровне, вдвое превышающем скорость спонтанного деления. Небольшой брусок металлического урана с таким свойством — это просто кусок холодного металла, который лишь неощутимо теплее, чем был бы в обычных условиях. Если коэффициент размножения составляет 200 процентов, то один нейтрон порождает два, те — четыре; а это уже ядерное оружие. Критический порог — 100 процентов: все, что ниже, затухает, а все, что выше, лавинообразно нарастает.

И вот на отметке 100,65 процента лавина больше не зависит от запаздывающих нейтронов и выходит из-под контроля.

Когда Энрико Ферми построил «Чикагскую поленницу-1», первый ядерный реактор, он довел коэффициент размножения нейтронов до 100,06 процента. На этом уровне для поддержания реакции требовались запаздывающие нейтроны; без них коэффициент составлял бы 99,41 процента, и она бы затухла сама собой. Таким образом, прирост до 100,06 процента происходил раз в несколько секунд, и мощность росла медленно.

Зайди Ферми на волосок дальше, скажем, до 100,9 процента, запаздывающие нейтроны больше не понадобились бы; без них коэффициент составлял бы 100,25 процента только за счет мгновенных нейтронов. Реактор перешел бы в состояние «критичности на мгновенных нейтронах», когда прирост в 100,25 процента происходил бы каждые несколько микросекунд. Такой реактор не просто расплавляется — он взрывается.^{ii iii}

Ядерные реакторы работают в узком диапазоне между «ничего примечательного» и «взрывом».

В-третьих, проклятие самоусиления: в реакторах типа РБМК^iv, которые использовались в Чернобыле, ядерная реакция обладала свойством самоусиления.

В реакторах более совершенной конструкции, где используется дорогой высокообогащенный уран, охлаждающая вода одновременно служит «замедлителем», способствующим протеканию реакции (за счет замедления нейтронов, что делает их более активными). Это хорошо, потому что если реактор начинает перегреваться, вода выкипает и перестает поддерживать реакцию, в результате чего коэффициент размножения нейтронов снижается.

Но в Советском Союзе использовали более дешевое топливо, из-за чего для поддержания реакции пришлось применить более эффективный замедлитель — графит. А в присутствии графита вода, наоборот, подавляет ядерные реакции.^v Это означает, что если реактор РБМК начинает перегреваться, вода выкипает, а коэффициент размножения нейтронов идет вверх.

В-четвертых, проклятие сложности: в ядерных реакторах есть регулирующие стержни, которые можно вводить в активную зону, чтобы поглощать нейтроны и гасить цепную реакцию. В советских реакторах применялась конструкция, казавшаяся весьма остроумной: регулирующие стержни заканчивались графитовыми наконечниками, которые реакцию усиливали. Подъем регулирующих стержней извлекал поглощающую часть и вводил в активную зону усиливающий реакцию графит, и наоборот. На бумаге это делало стержни еще более эффективными: их опускание не просто поглощало нейтроны, но и вытесняло графит. Остроумно? Им, вероятно, так и казалось. Но это определенно было слишком сложно.

Из-за ряда изменений, внесенных в первоначальный проект, графитовые стержни оказались немного короче топливных стержней. Советским специалистам далеко не сразу стало очевидно, что это имеет значение.

Все эти инженерные факторы сошлись воедино в день, когда взорвался Чернобыль.

26 апреля 1986 года операторы Чернобыльской АЭС проводили испытания системы безопасности, из-за чего охлаждающей воды в реакторе оказалось меньше обычного.

Внезапная задержка заставила реактор долго работать в режиме малой мощности. Это привело к аномальному распределению побочных продуктов деления, таких как ксенон-135 — мощный поглотитель нейтронов, на выгорание которого требуются часы.

Накопившийся ксенон-135 грозил полностью заглушить реактор. Заметив, что реактор «гаснет», операторы извлекли почти все регулирующие стержни, оставив в активной зоне всего восемь — вопреки регламенту безопасности станции, согласно которому не менее пятнадцати стержней должны были оставаться опущенными в любой момент времени. Но испытание системы безопасности уже откладывалось трижды, и четвертая неудача грозила обернуться позором.

По мере выгорания ксенона-135 реактивность начала расти с пугающей скоростью.

Операторы нажали кнопку аварийной защиты, чтобы сбросить все регулирующие стержни одновременно и тем самым остановить реакцию деления.

Реактор взорвался.

Если вам сложно удержать в голове все подробности работы реактора и понять, что именно должно было произойти внутри него, чтобы спровоцировать аварию — что ж, операторы реактора тоже не до конца это понимали.

Так получилось, что скопление ксенона сосредоточилось в верхней части реактора. Поэтому в нижней части активной зоны ядерная реакция шла более интенсивно.

При нажатии кнопки аварийной защиты регулирующие стержни должны были опуститься обратно в реактор в течение примерно восемнадцати секунд. Последний рубеж защиты строился на оптимистичном предположении, что даже в чрезвычайной ситуации процессы внутри реактора будут развиваться в комфортно медленном темпе.

Опускание регулирующих стержней вытолкнуло графитовые наконечники. Сквозь нижнюю часть реактора. Еще сильнее усиливая реакцию там, где она и без того шла наиболее интенсивно.

Охлаждающая вода, которой из-за испытаний безопасности было меньше обычного, начала выкипать. Усиливая реакцию. Заставляя выкипать еще больше воды. Усиливая реакцию.

Цикл продолжался до тех пор, пока реактор не вышел за пределы своего узкого диапазона безопасности, а последовавший за этим взрыв не разбросал топливо.

Из каждого из четырех названных нами проклятий мы можем извлечь следующие уроки:

Инженерную задачу гораздо труднее решить, когда лежащие в ее основе процессы протекают на временных шкалах, превышающих скорость человеческой реакции. Транзисторы переключаются даже быстрее, чем размножаются нейтроны. Инженеры могут изловчиться и замедлить события настолько, чтобы люди успевали среагировать, но если эта уловка дает сбой, люди снова превращаются в застывшие статуи — в том масштабе времени, который действительно имеет значение.

Инженерную задачу гораздо труднее решить, когда запас допустимой погрешности мал, особенно если это узкая грань между «ничем не примечательным» и «взрывоопасным». Аналогия с интеллектом заключается в том, как обезьяны и гоминиды бродили по земле несколько миллионов лет, а затем поумнели настолько, что запустили целый каскад изобретений: сельское хозяйство привело к письменности, письменность — к науке, наука — к космическим кораблям. Крайне трудно было бы попасть в узкую мишень и создать гоминидов, которые были бы достаточно умны, чтобы работать эффективными офисными сотрудниками, но недостаточно умны для взрывного технологического развития.

Самоусиливающиеся процессы, подобные тому, как перегревающийся реактор испаряет охлаждающую воду и из-за этого перегревается еще сильнее, оставляют мало места для ошибок. И инженерам-ядерщикам еще повезло по сравнению с разработчиками искусственного сверхинтеллекта. Перегревающиеся ядерные реакторы не начинают разумно перепроектировать себя, чтобы повысить собственную реактивность. Перегревающийся ядерный реактор не пытается усыпить бдительность операторов, пока не будет полностью готов взорваться.

Сложности усугубляют инженерные проблемы. Четвертый энергоблок Чернобыльской АЭС умудрился оказаться в странном состоянии, когда опускание регулирующих стержней привело к взрыву реактора. Ни один инженер не закладывал этого в проект. Операторы не знали, что произойдет нечто из ряда вон выходящее, если реактор некоторое время проработает на малой мощности, а подача части воды будет перекрыта. И они никогда не видели, чтобы состояние реактора менялось так быстро. Сложная внутренняя структура ядерного реактора не идет ни в какое сравнение с неведомыми сложностями, скрытыми в сотнях миллиардов весовых коэффициентов, из которых состоит современная LLM.

Объединив эти уроки, мы извлекаем еще одно правило для инженеров: если кто-то не знает точно, что происходит внутри сложного устройства, подверженного всем этим проклятиям — скорости, узким границам, самоусилению и непредвиденным сложностям, — то он должен остановиться. Его следует отключить немедленно, как только его поведение покажется странным; не нужно ждать, пока это поведение станет явно тревожным.

Операторы на Чернобыльской АЭС знали о запаздывающих и мгновенных нейтронах. Они знали, что ядерный реактор балансирует на грани жизни и смерти шириной в доли процента. Они знали теорию, согласно которой кажущийся управляемым человеком масштаб времени работы реактора — это лишь иллюзия, хитроумная уловка, скрывающая время генерации нейтронов, измеряемое микросекундами.

Мудрый оператор относится к подобному устройству с должным уважением. Если прибор начинает вести себя странно или неожиданно, значит, он больше не работает в тех узких, строго ограниченных рамках, где операторы уверены, что точно понимают происходящее. А это значит, что никто больше не знает, что там внутри происходит. Кто знает, продолжат ли работать хитроумные уловки? Остается только гадать. Когда опасное устройство начинает вести себя странно, это не время извлекать все стержни управления, кроме восьми, и надеяться, что реактор продолжит послушно работать. Это время его глушить.

Операторы не относились к реактору с таким уважением. Теоретически они знали, что он может взорваться, но никогда не видели, чтобы состояние реактора менялось так быстро. К тому же до 1986 года в СССР не существовало культуры, способствующей осторожности при работе с ядерными реакторами. Это была система, в которой за невыполнение планового испытания безопасности увольняли.

(В следующих главах мы обсудим отсутствие культуры безопасности, царящее в сфере ИИ, ситуация в которой обстоит гораздо хуже.)

КОМПЬЮТЕРНАЯ БЕЗОПАСНОСТЬ

Компьютерная безопасность общепризнанно считается проблемой настолько сложной, настолько проклятой, что решить ее невозможно — и точка.

Вы можете платить специалистам по компьютерной безопасности, чтобы сделать программное обеспечение более защищенным. Но лучшее, на что может надеяться любой специалист по безопасности, — это замедлить злоумышленников, чтобы взломать вашу защиту без труда могли только крупные спецслужбы при поддержке целых государств.

Почему? Потому что умный злоумышленник может воздействовать на компьютерную систему такими способами, которые разработчик никогда не планировал и не рассматривал, и которые при обычном использовании не проявились бы и за миллиард триллионов лет.

Классический взлом системы безопасности выглядит следующим образом: компьютер запрашивает имя пользователя. Хакер вводит имя длиной в 280 букв. Программист не учел, что имя вообще может быть таким длинным; он предполагал, что длина имени составит максимум 256 букв. Оставшиеся 24 буквы выходят за пределы отведенного программистом места для хранения имени пользователя и записываются в те области компьютерной памяти, к которым, по мнению программиста, пользователь никогда не должен был иметь доступа. Восемь из этих букв перезаписывают фрагмент памяти, который указывает компьютеру, какую часть кода выполнять следующей. Подберите правильные странные буквы — и вот уже компьютер выполняет код, который выполнять не должен. Из этого часто можно извлечь выгоду, получив контроль над всей компьютерной системой. Это называется «атаками методом переполнения буфера».

Подобная атака направляет компьютерную систему по странному причинно-следственному пути — «пути исполнения», который совершенно не похож на нормальное поведение системы и на который ни один обычный пользовательский ввод не натолкнулся бы и за миллиард лет. В самом буквальном смысле: если программист начнет наугад тестировать 280-буквенные имена, то почти каждый вариант окажется бессмыслицей и приведет лишь к безобидному сбою компьютера. Точно подобранный неверный адрес ввода, запускающий именно ту программу, которая позволяет злоумышленнику перехватить контроль над системой, — это лишь один вариант из 18 миллиардов миллиардов возможных. Случайно она не обнаружится.

Продумывание задуманного поведения экрана входа в систему не поможет вам понять, на что способен умный злоумышленник. Тестирование на случайных вводных данных этого тоже не покажет. Злоумышленник, который понимает систему лучше вас, может выудить единственный неверный ответ из 18 миллиардов миллиардов вариантов, чтобы найти тот единственный результат, который даст ему максимальный контроль.

Компьютерная безопасность — это проверка способности инженера просчитать и заблокировать абсолютно каждый путь, по которому может пойти компьютер, перед лицом противников, способных перебирать все возможные способы дестабилизировать систему. Это заведомо проигрышная битва — даже при том, что инженеры могут полностью контролировать и сами создавать код собственного компьютера.

Мы называем эту ключевую проблему проклятием граничных случаев: чтобы быть безопасной, компьютерная система должна продолжать работать перед лицом сценариев, выходящих за рамки нормального и ожидаемого диапазона — сценариев, которые возникают на самой грани возможного.

Быстрые процессы, минимальные запасы прочности, петли обратной связи, сложности — все эти инженерные проклятия можно преодолеть. Существуют космические зонды, которые действительно достигают пункта назначения, существуют ядерные реакторы, которые не взрываются. Проклятиям, довлеющим над этими задачами, человеческая изобретательность способна противостоять и даже побеждать их.

Проклятие граничных случаев представляет собой совершенно иной уровень сложности. Компетентные специалисты по компьютерной безопасности понимают, что сделать полезные компьютерные системы по-настоящему защищенными — задача, выходящая за рамки человеческих возможностей. Известный эксперт по безопасности Брюс Шнайер пишет в своей книге «Секреты и ложь. Безопасность технологий в сетевом мире»: «Современные системы имеют так много компонентов и связей — некоторые из которых неизвестны даже проектировщикам, создателям или пользователям этих систем, — что уязвимости остаются всегда».

Урок для ИИ здесь заключается не просто в том, что сверхразум сможет взламывать человеческие компьютеры — хотя, разумеется, он на это способен. Речь идет скорее об общей хрупкости системных ограничений перед лицом странных граничных случаев, которые отыскивает разум.

Если бы вы надеялись, что ИИ будет вести себя приличнее, чем взрывающийся ядерный реактор, вы могли бы попытаться наложить на систему ограничения: «Пока не становись слишком умным». «Пока не думай слишком быстро». «Всегда дожидайся одобрения от медлительных людей». «Реши эту сложную задачу, но не совершая ничего странного».

Эти ограничения, как правило, будут мешать ИИ в достижении тех или иных целей. И тогда вам придется состязаться собственным умом и способностью просчитывать граничные случаи со всем тем интеллектом, который циркулирует в системе, чтобы проверить, устоит ли ваше ограничение.

Космические зонды. Ядерные реакторы. Компьютерная безопасность. К чему сводятся все эти уроки и что они говорят нам о сложности согласования искусственного сверхразума?

Искусственный сверхразум подобен космическому зонду в том смысле, что мы не можем протестировать его в той самой среде, где ему предстоит работать, и по умолчанию его невозможно вернуть или исправить, как только он поднимется высоко над нами. Даже если мы придумаем какую-нибудь хитрую уловку, чтобы иметь возможность модифицировать его в дальнейшем, сверхразум останется недосягаемым и невозвратимым, если эта уловка даст сбой. И с согласованием сверхразума дело обстоит еще хуже, чем с космическими зондами: провал уничтожит не просто миллиарды долларов инвестиций, а абсолютно всё.

Искусственный сверхразум подобен ядерному реактору в том смысле, что его глубинная суть сопряжена с колоссальными, потенциально самоусиливающимися силами, внутренние процессы которых протекают быстрее, чем человек способен среагировать.

Искусственный сверхразум подобен проблеме компьютерной безопасности в том смысле, что любое ограничение, которое инженер пытается наложить на систему, может быть обойдено теми разумными силами, свободу которых эти ограничения стесняют.

Весь этот комплекс проблем выглядел бы устрашающе даже если бы мы понимали законы разума; даже если бы мы понимали, как, черт возьми, работают эти ИИ; даже если бы мы точно знали, где граница между «до» и «после» пролегает; даже если бы мы точно знали, каким запасом прочности на случай ошибки мы располагаем.

Мы этого не знаем. ИИ выращивают, а не конструируют. Какие бы колоссальные сложности ни скрывались внутри систем ИИ, наделяя их интеллектуальной мощью, никто их не понимает.

Ставить на то, что человечество способно решить эту проблему при нынешнем уровне понимания, — всё равно что ставить на то, что алхимики из 1100 года смогли бы построить работающий ядерный реактор. Тот, что работал бы в глубинах космоса. С первой попытки.

Обычно мы стараемся избегать крика. В большинстве случаев крик не помогает. Из-за него люди лишь думают, что вам не хватает самообладания. Но в какой-то момент, когда вы уже спокойно изложили все предпосылки своих аргументов, преуменьшать масштаб угрозы становится, на наш взгляд, вредно — иначе люди решат, будто всё это лишь игра в спокойные слова.

Когда дело касается ИИ, вызов, перед которым стоит человечество, непреодолим с помощью чего-то даже отдалённо похожего на нынешний уровень наших знаний и умений. И близко нет.

Попытка решить подобную проблему, когда на кону стоят жизни всех людей на Земле, была бы безумной и глупой авантюрой, которую НИКОМУ НЕЛЬЗЯ ПОЗВОЛЯТЬ ДАЖЕ ПЫТАТЬСЯ.

Примечания

i Для протокола: мы сторонники ядерной энергетики. Это один из самых чистых доступных источников энергии, а риски в современных конструкциях реакторов минимальны. Рак лёгких, вызванный угольной пылью, унёс гораздо больше жизней, чем ядерная энергетика за всё время её существования, а испытания ядерного оружия высвободили больше радиации, чем взрыв на Чернобыльской АЭС. Мы изучаем Чернобыльскую катастрофу исключительно как поучительный пример инженерной ошибки.

ii В истории зафиксирован лишь один подобный случай. Малый реактор SL-1 был экспериментом американских военных в начале 1960-х годов, предназначенным для баз в регионах с холодным климатом, куда было дорого доставлять топливо. Согласно наиболее вероятной реконструкции аварии на SL-1, при попытке осуществить холодный запуск реактора заклинило центральный регулирующий стержень, который требовалось выдвинуть на 4 дюйма. Тогда кто-то резко потянул за него и выдвинул вместо этого на 20 дюймов. Это привело к тому, что коэффициент размножения нейтронов составил 102,4 процента, что значительно превысило уровень мгновенной критичности в 100,65 процента. Радиоактивность удваивалась каждые 2,5 миллисекунды. За следующую десятую долю секунды это привело к увеличению радиоактивности SL-1 более чем в десять триллионов раз — до 20 гигаватт, после чего реактор взорвался, как 30 килограммов тротила, разбросав топливо и убив всех троих операторов. Взрыв был достаточно мощным, чтобы разрушить помещение, но не здание; неуправляемые реакторы разрывают себя на части до того, как взрыв успевает стать слишком масштабным. (Настоящее ядерное оружие достигает гораздо более высокого коэффициента размножения нейтронов; в бомбе «Толстяк», сброшенной на Нагасаки, он составлял от 150 до 300 процентов.)

iii Как же хорошо, что Энрико Ферми заранее точно знал, где находится критический порог, и что он и его команда смогли с точностью рассчитать, что 100,06 процента — это безопасно, а 100,9 процента — смертельно. Представьте, если бы они просто складывали эти занятные металлические бруски с графитом, чтобы посмотреть, что получится, почти не понимая, как те выделяют тепло. Бруски становились бы неощутимо теплее на 50 процентах, чуть теплее на 75 процентах, заметно теплыми на 99,9 процента, а затем, если бы следующий шаг сразу перенёс их на уровень 102,4 процента — что ж, возможно, вместо Чернобыльской зоны отчуждения у нас была бы Чикагская зона отчуждения.

iv «Реактор большой мощности канальный» (РБМК).

v Водород в воде рассеивает часть нейтронов (замедляя их и способствуя протеканию реакции) и поглощает другие (тем самым подавляя её). В обычных условиях преобладает эффект рассеяния, поэтому в целом вода способствует ядерным реакциям. Однако нейтроны невозможно замедлить дважды, а графит является настолько хорошим замедлителем, что воде в этом отношении уже практически нечего добавить. При этом вода всё равно поглощает нейтроны. Таким образом, суммарный эффект воды в присутствии графита заключается в подавлении реакции.