Главная и самая существенная трудность в согласовании искусственного сверхинтеллекта с нашими ценностями – это преодоление разрыва между до и после.
До – ИИ-моделям еще недостает мощности, чтобы убить всех нас, и способностей, чтобы сопротивляться нашим попыткам изменить их цели. После – искусственный сверхинтеллект ни в коем случае не должен пытаться нас убить, ибо он преуспеет.
Инженеры должны успеть осуществить согласование ИИ на этапе “до”: пока он мал и слаб, пока не может сбежать в интернет, усовершенствовать себя и начать изобретать новые виды биотехнологий (или что он там еще вознамерится сделать). К моменту “после” все решения по согласованию уже должны быть внедрены и успешно работать, поскольку, если сверхинтеллект попытается нас убить, у него это получится. Все идеи и теории можно проверять только до этого разрыва. А работать они должны после него – и с первой попытки.
У человечества есть только одна попытка пройти это испытание. Даже если кто-нибудь придумает хитрую схему с двумя, у нас есть лишь одна попытка, чтобы эта хитрая схема сработала.
История человеческой изобретательности – это история о том, как люди ошибались и учились на своих ошибках. Задолго до братьев Райт многие изобретатели придумывали собственные теории полета и калечились, прыгая с холмов. Даже эти оптимистичные идиоты внесли свой вклад в научные справочники – чтобы в следующий раз у цивилизации получилось чуть лучше. Они рисковали только собой и вредили только себе, а выигрывало все человечество.
Но когда дело касается согласования искусственного сверхинтеллекта, у человечества не будет такой роскоши – учиться на достаточно серьезных ошибках.
А еще мы не можем рассчитывать, что опыт потом скажет нам, была ли эта проблема настолько сложной, настолько проклятой в инженерном смысле, что нам не следовало за нее даже браться.
Мы должны выяснить это заранее. Но как?
Для начала стоит разобрать другие инженерные вызовы, с которыми сталкивается человечество, изучить, какие “проклятия” с ними связаны, и извлечь уроки. Возможно, после этого мы сумеем сделать обоснованное предположение о степени сложности интересующей нас проблемы согласования искусственного сверхинтеллекта.
Мы полагаем, что уроки истории обретают ясность, если взглянуть на них под правильным углом. Поэтому давайте рассмотрим трудности при конструировании работоспособных космических аппаратов, надежных ядерных реакторов и компьютеров, которые нельзя взломать, – проблемы, имеющие, на наш взгляд, важные сходства с согласованием искусственного сверхинтеллекта.
Разрыв между до и после – это то же самое проклятие, из-за которого терпят неудачу многие космические аппараты. После запуска они становятся недосягаемыми, и если произойдет какая-то неполадка – несмотря на все тщательные расчеты и испытания, – то исправить ее зачастую будет уже невозможно.
Космические аппараты – не расходный материал. Они чрезвычайно дороги. На их успех люди ставят свои научные и управленческие карьеры. И тем не менее миссии регулярно проваливаются.
В августе 1993 года мы потеряли связь с запущенной годом ранее автоматической межпланетной станцией Mars Observer, стоимость которой по тогдашним ценам составляла 813 миллионов долларов1. Это произошло за несколько дней до ее выхода на орбиту Марса. Наиболее вероятная причина – утечка топлива через клапан во время полета, что привело к взрывному разрыву топливопровода при подаче давления для повторного запуска двигателя.
В 1999 году потерялся аппарат Mars Climate Orbiter, обошедшийся в 327 миллионов долларов2. Навигационное программное обеспечение NASA ожидало, что расчеты для тяги двигателей проведены в метрических единицах, а наземное программное обеспечение от Lockheed Martin передало их в британских единицах. В результате аппарат либо сгорел в атмосфере Марса, либо срикошетил и ушел в космос.
Пару месяцев спустя на Красной планете разбилась автоматическая межпланетная станция Mars Polar Lander стоимостью 110 миллионов долларов3. Причины неизвестны. Одно из предположений – преждевременное отключение тормозных двигателей. Возможно, посадочные опоры так вибрировали, что аппарат решил, будто уже приземлился.
Когда неполадки случаются на межпланетной станции, приближающейся к Марсу, вы не можете просто прибежать и все починить. До запуска можно придумать различные хитроумные уловки, чтобы сохранить контроль над космическим аппаратом, когда он будет находиться вне досягаемости, например, оснастить его антенной, принимающей дополнительные инструкции с Земли. Но если уловка не помогает – допустим, сбой происходит так быстро, что у аппарата нет времени получить инструкции по его устранению, – то после перехода через этот разрыв исправить ситуацию невозможно.
Именно при таких обстоятельствах был потерян спускаемый аппарат “Викинга-1” (стоимостью 610 миллионов долларов в ценах 1975 года)4. Наземный пункт управления попытался обновить программное обеспечение для зарядки аккумуляторов, но по ошибке отправил данные, используемые для ориентации антенны. Антенна застыла в неправильном положении, и модуль утратил возможность принимать дальнейшие инструкции. Связь так и не восстановили[36].
Когда космические аппараты оказываются в космосе, условия среды не совпадают в точности с теми, в которых проводились тесты на Земле. Возможно, инженеры в принципе могли бы провести до запуска все те испытания, которые выявили бы любые проблемы, однако в реальности они этого не делали.
Любой здравомыслящий инженер пришел бы в ужас от идеи поставить на кон выживание человеческой цивилизации в задаче такого рода – где нельзя просто вмешаться и исправить ошибки, возникающие на этапе “после”, когда устройство уже вышло из зоны досягаемости. А ведь космические аппараты конструируются, а не выращиваются, и тем не менее они выходят из строя, несмотря на титанический труд инженеров, которые понимают все принципы их работы. А если бы космические аппараты выращивались, а не конструировались? Задача оказалась бы куда сложнее.
Еще один исторический пример сложной инженерной проблемы, из которого мы можем извлечь для себя урок, – это разрушение реактора в четвертом энергоблоке Чернобыльской АЭС 26 апреля 1986 года.
Вскоре после аварии двести тридцать семь человек оказались в больнице, тридцать один – умер5. В основном это были пожарные, которые не знали о радиации и без какой-либо защиты тушили пожар на крыше, вызванный смертельно опасным радиоактивным графитом из активной зоны взорвавшегося реактора, а также эксплуатационный персонал станции. Оценки количества смертей от рака, вызванного радиацией, резко различаются. Мы (авторы) склонны считать правдоподобной оценку примерно в десять тысяч избыточных смертей по всему миру, но на экспертное знание в этом вопросе не претендуем[37].
Политические лидеры действительно не хотели ядерных катастроф. Они стремились к отсутствию взрывов. Их подчиненные – инженеры и проектировщики – тоже понимали, что авария грозит им суровыми последствиями. У персонала станции имелись очевидные стимулы не допускать взрыва, ведь на кону стояли собственные жизни этих людей. И тем не менее четвертый энергоблок атомной электростанции взорвался. Как? Почему?
Сильно упрощая, мы выделим четыре “проклятия”, которые в совокупности привели к взрыву.
Во-первых, проклятие скорости. Ядерные реакции происходят быстро. Когда ядро атома урана распадается (делится), оно испускает нейтроны, которые могут ударить в другие атомы урана и вызвать их деление, высвобождая новые нейтроны, и так далее. Это называется цепной реакцией. Описанный процесс происходит в масштабе микросекунд. Если он хоть немного выйдет из-под контроля, количество выделяющейся энергии может начать удваиваться каждые несколько миллисекунд.
Обычный ядерный реактор вообще способен функционировать лишь потому, что крошечная доля нейтронов, высвобождаемых при делении, – это так называемые запаздывающие нейтроны, испускаемые осколками ядер только через некоторое время (от долей секунды до нескольких минут). Если для самоподдержания ядерной цепной реакции требуются такие запаздывающие нейтроны, то количество выделяющейся энергии удваивается за минуты, то есть достаточно медленно, чтобы операторы-люди могли контролировать процесс.
Но так происходит, если внутри реактора все работает в нормальном режиме.
Ядерные реакторы рассчитаны на работу в масштабе минут, а не микросекунд. Однако это лишь тонкая ширма, за которой скрыты гораздо более стремительные процессы. Если что-то идет не так, истинная физическая скорость ядерных реакций вступает в свои права.
Во-вторых, проклятие узкого диапазона. Существует лишь узкая полоса между нормальным функционированием и взрывом. Запаздывающие нейтроны составляют менее 1 % от всех нейтронов, высвобождаемых при делении урана (если точнее – 0,65 %). Остальные – это мгновенные нейтроны, которые испускаются сразу же при делении атома.
Критически важная величина, определяющая режим работы ядерного реактора, – это коэффициент размножения нейтронов, показывающий, сколько каждый нейтрон создает новых6. Если он составляет 50 %, то четыре нейтрона дают два новых, а те – один, и реакция затухает, все стабилизируется на уровне, вдвое превышающем скорость спонтанного деления. Небольшой брусок радиоактивного металла с таким свойством – это просто кусок холодного металла, который лишь неуловимо теплее, чем такой же брусок, в котором реакции нет вовсе. Если же коэффициент размножения нейтронов составляет 200 %, то один нейтрон даст два, затем появятся четыре и так далее, и это уже ядерное оружие. Критический порог – 100 %. Ниже все постепенно затухает, а выше – лавинообразно нарастает.
И уже при 100,65 % этот процесс перестает зависеть от запаздывающих нейтронов и выходит из-под контроля.
Когда Энрико Ферми построил “Чикагскую поленницу – 1”, первый искусственный ядерный реактор, он довел коэффициент размножения нейтронов до 100,06 %. На этом уровне для поддержания реакции нужны запаздывающие нейтроны, без них коэффициент составил бы 99,41 % и реакция затухла бы. Таким образом, прирост на 0,06 % происходил раз в несколько секунд, и мощность росла медленно.
Если бы Ферми пошел немного дальше (скажем, до 100,9 %), запаздывающие нейтроны уже не требовались бы: за счет одних только мгновенных нейтронов коэффициент составлял бы 100,25 %7. И реактор перешел бы в состояние “критичности на мгновенных нейтронах”: прирост на 0,25 % происходил бы каждые несколько микросекунд. Такой реактор не просто расплавится, он взорвется[38].
Ядерные реакторы работают в узком диапазоне между “вялотекущим” и “взрывным”.
В-третьих, проклятие самоусиления. В реакторах серии РБМК[39], эксплуатировавшихся в Чернобыле, ядерная реакция была самоусиливающейся.
В более совершенных реакторах, которые работают на дорогом высокообогащенном уране, вода в контуре не только охлаждает активную зону, но и замедляет нейтроны, тем самым способствуя протеканию реакции. Это удобно, поскольку, если реактор начинает перегреваться, вода выкипает и перестает поддерживать реакцию – и коэффициент размножения нейтронов снижается.
Однако в СССР использовалось более дешевое топливо, так что для поддержания реакции приходилось применять более эффективный замедлитель – графит. Но в присутствии графита вода, наоборот, тормозит ядерные реакции[40]. А значит, если реактор серии РБМК начинает перегреваться, вода выкипает – и коэффициент размножения нейтронов повышается.
В-четвертых, проклятие усложненности. В ядерных реакторах используются управляющие стержни, которые вводятся внутрь, чтобы поглощать нейтроны и тем самым останавливать цепную реакцию. В советских реакторах применялась остроумная с виду конструкция: управляющие стержни заканчивались графитовыми наконечниками, которые способствовали реакции. При поднятии управляющих стержней из активной зоны выходила поглощающая часть и, наоборот, входила в нее графитовая, усиливающая реакцию. В теории это улучшало эффективность: опуская управляющие стержни, оператор не только вводил поглотитель нейтронов, но и одновременно убирал часть графита. Остроумно, правда? Так все предполагалось, однако эта схема оказалась чересчур сложной.
Кроме того, из-за ряда модификаций первоначального проекта графитовые наконечники оказались несколько короче, чем было нужно9. Советским инженерам показалось, что это неважно.
Но все эти факторы сыграли свою роль в тот день, когда взорвался энергоблок Чернобыльской АЭС.
26 апреля 1986 года операторы Чернобыля проводили проверку системы безопасности, из-за чего через реактор проходило меньше охлаждающей воды.
Из-за неожиданной задержки реактор долгое время работал в режиме пониженной мощности. Это привело к аномальному распределению побочных продуктов деления, в частности ксенона-135, мощного поглотителя нейтронов, для выгорания которого требуются часы[41].
Скопившийся ксенон-135 грозил заглушить реактор. Когда операторы увидели, что реактор глохнет, они подняли все управляющие стержни, кроме восьми, – в нарушение инструкций по безопасности, требовавших, чтобы минимум пятнадцать управляющих стержней постоянно оставались погруженными10. Однако проверка системы безопасности срывалась уже трижды, и четвертая неудача обернулась бы позором.
По мере того как ксенон-135 выгорал, реактивность росла с тревожной скоростью.
Операторы нажали кнопку аварийной защиты реактора, чтобы разом опустить все управляющие стержни и тем самым остановить реакцию деления.
И реактор взорвался.
Если вам трудно сразу вспомнить все детали работы реакторов и понять, что именно должно было произойти, чтобы вызвать тот взрыв, то и операторы находились примерно в таком же положении.
Так вышло, что ксенон скапливался в верхней части реактора11. Соответственно, ядерная реакция интенсивнее шла в нижней части активной зоны.
При нажатии кнопки аварийной защиты управляющие стержни должны были опуститься в реактор секунд за восемнадцать. Эта последняя линия защиты основывалась на оптимистичном допущении, что даже в случае аварийной ситуации события внутри реактора будут разворачиваться в комфортно медленном темпе.
Погружение управляющих стержней выталкивало графитовые наконечники. Через нижнюю часть реактора. И они еще больше усилили реакцию там, где она и так шла активнее всего.
Охлаждающая вода, объем которой был уменьшен из-за проверки безопасности, начала выкипать. Это усилило реакцию. Вода стала выкипать еще активнее, что еще больше усилило реакцию.
Этот цикл продолжался до тех пор, пока реактор не вышел за рамки узкого диапазона безопасности, и последовавший взрыв разбросал топливо.
Из каждого названного нами проклятия можно извлечь следующие уроки:
1. решать инженерные задачи гораздо сложнее, когда основные процессы протекают в масштабах времени, не позволяющих человеку отреагировать. Транзисторы переключаются даже быстрее, чем размножаются нейтроны. Инженеры могут исхитриться и как-то замедлить события, чтобы люди успевали вмешаться, но если их уловка не срабатывает, то люди снова превращаются в застывшие статуи – в тех масштабах времени, которые имеют значение.
2. решать инженерные задачи гораздо сложнее, когда диапазон для избегания ошибок очень узок, особенно если это зазор между “вялотекущим” и “взрывным”. Вот аналогия с интеллектом. Древние гоминиды бродили себе несколько миллионов лет, а затем их ум развился настолько, что запустил целый каскад изобретений: сначала земледелие, далее письменность, наука, космические корабли. Было бы крайне трудно попасть в узкий диапазон – сделать гоминидов достаточно умными для эффективной офисной работы, но недостаточно умными для взрывного технологического развития.
3. самоусиливающиеся процессы (как перегретый реактор приводит к выкипанию охлаждающей его воды, что ведет к дальнейшему перегреву) практически не дают права на ошибку. Но даже положение специалистов в ядерной энергетике не такое уж плохое по сравнению с разработчиками искусственного сверхинтеллекта. Перегревающиеся ядерные реакторы не начинают разумным образом перестраивать себя, чтобы увеличить свою реактивность, и не пытаются обмануть операторов, усыпляя их бдительность до тех пор, пока реактор не готов будет взорваться.
4. усложненность усугубляет инженерные проблемы. Четвертый энергоблок Чернобыльской АЭС умудрился войти в странное состояние, когда опускание управляющих стержней стало спусковым крючком для взрыва. Ни один инженер подобного не проектировал. Операторы не знали, что после работы реактора на низкой мощности и уменьшения подачи воды может произойти нечто необычное. И они никогда не сталкивались с таким быстрым изменением состояния реактора. Однако даже сложная внутренняя структура ядерного реактора меркнет по сравнению с теми неведомыми сложностями, что таятся в сотнях миллиардов весов, составляющих современную LLM.
В совокупности эти уроки подводят нас к еще одному правилу для инженеров: если вам неизвестно в точности, что происходит внутри какого-то сложного устройства, подверженного всем этим проклятиям (скорости, узкого диапазона, самоусиления и усложненности), – надо остановиться. Нужно немедленно отключить устройство, как только его поведение покажется странным, нельзя ждать, пока оно станет очевидно тревожным.
Операторы Чернобыльской АЭС знали о запаздывающих и мгновенных нейтронах. Они знали, что ядерный реактор работает в диапазоне шириной в долю процента, отделяющей жизнь от смерти. Знали, что масштаб времени при работе реактора, якобы подконтрольный человеку, – это лишь видимость, хитрая уловка, которая скрывает истинное время рождения новых нейтронов, измеряемое микросекундами.
Мудрый оператор относится к такому устройству с уважением. Если оно начинает вести себя хоть сколько-нибудь нетипично или неожиданно, значит, оно уже не работает в той узкой, ограниченной области, где оператор четко понимает происходящее. А стало быть, никто уже не ведает, что происходит внутри. Кто знает, продолжат ли работать те хитрые уловки? Остается только гадать. Если опасное устройство начинает вести себя странно, надо не выводить все управляющие стержни, кроме восьми, ожидая, когда реактор снова станет вести себя прилично, а сразу его заглушить.
Операторы Чернобыльской АЭС не относились к реактору с должным уважением. Они осознавали, что он может взорваться, но никогда не видели, чтобы состояние реактора менялось так быстро. Кроме того, до 1986 года в СССР не было культуры, поощряющей осторожность в обращении с ядерными реакторами. В той системе, если вы не проводили запланированную проверку системы безопасности, вас увольняли.
В следующих главах мы обсудим, как обстоят дела с культурой безопасности в сфере ИИ, где ситуация гораздо хуже.
Кибербезопасность повсеместно считают проблемой настолько сложной и проклятой, что ее нельзя решить в принципе, и точка12.
Вы можете заплатить специалистам по кибербезопасности, чтобы повысить уровень защиты вашего программного обеспечения. Но все, чего способен добиться даже хороший специалист, – это замедлить злоумышленников. Сделать так, чтобы вашу защиту относительно легко взламывали только крупные спецслужбы, за которыми стоит государство.
Почему? Да потому, что изобретательный взломщик может прощупывать компьютерную систему такими способами, какие разработчик никогда и не рассматривал, а штатное использование не выявило бы их даже за миллиард триллионов лет.
“Классический” взлом работает следующим образом. Компьютер запрашивает имя пользователя. Хакер вводит имя длиной 280 символов. Программист не такое не рассчитывал, он полагал, что длина имени не превысит 256 символов. Оставшиеся 24 знака не помещаются в хранилище, отведенное программистом для имени пользователя, и записываются в другие участки памяти, к которым пользователь – по замыслу программиста – не должен иметь доступа. Восемь из этих символов перезаписывают тот участок памяти, где хранится указание компьютеру, какой фрагмент кода запускать следующим. Стоит подобрать правильные странные символы, и машина запустит код, который вообще не предназначался для запуска. Часто это позволяет перехватить контроль над всей компьютерной системой. Такой прием называется атакой через переполнение буфера.
Подобная атака направляет компьютерную систему по необычному пути причин и следствий – “пути исполнения”, который отличается от нормального поведения системы и на который ни один обычный ввод не натолкнул бы ее и за миллиард лет. И это не образное выражение. Если программист будет тестировать все 280-символьные имена наугад, то практически все они окажутся бессмыслицей и приведут лишь к безобидному сбою компьютера. А вот неверный ввод, который запускает ту самую неправильную программу, позволяющую злоумышленнику перехватить контроль над системой, – это один из 18 миллиардов миллиардов вариантов. Случайно такое не произойдет[42].
Размышления о штатном поведении окна авторизации не помогут вам понять, на что способен умный хакер. И тестирование на случайных входных данных этого тоже не покажет. Злоумышленник, понимающий систему лучше, чем вы, способен выцепить из 18 миллиардов миллиардов[43] вариантов именно тот, который обеспечит ему максимальный контроль.
Кибербезопасность – это проверка способности специалиста просчитать и зафиксировать все пути, по которым может пойти компьютер, в условиях противостояния злоумышленникам, способным перебрать все возможные способы вывести систему из равновесия. Это заведомо проигрышная битва – даже несмотря на то, что инженеры полностью контролируют и сами конструируют компьютерный код.
Мы называем эту ключевую проблему проклятием граничных случаев: для подлинной безопасности компьютерная система должна выдерживать ситуации, выходящие за пределы нормального и ожидаемого диапазона, – случаи на самой грани возможного.
Быстрые процессы, узкие диапазоны, циклы обратной связи, усложненность – все эти инженерные проклятия можно преодолеть. Существуют космические аппараты, которые достигают цели, существуют ядерные реакторы, которые не взрываются. Человеческая изобретательность способна совладать с проклятиями, наложенными на эти задачи, и даже победить их.
Но проклятие граничных случаев – трудность совсем иного порядка. Квалифицированные профессионалы в области кибербезопасности понимают, что обеспечение реальной безопасности полезных компьютерных систем находится за пределами человеческих возможностей. Известный специалист по кибербезопасности Брюс Шнайер пишет в книге “Секреты и ложь. Безопасность данных в цифровом мире”: “Современные системы имеют так много элементов и связей – некоторые даже неизвестны проектировщикам, разработчикам и пользователям, – что уязвимости всегда найдутся”.
В контексте ИИ урок здесь заключается не только в том, что сверхинтеллект способен взламывать человеческие компьютеры (хотя, конечно, он способен). Речь идет об общей хрупкости системных ограничений в условиях странных граничных случаев, которые искусственный интеллект намеренно ищет.
Если вы желаете, чтобы ИИ-модель вела себя менее взрывоопасно, чем ядерный реактор, вы можете попытаться наложить на систему какие-то ограничения: “Не становись пока слишком умной”, “Не думай пока слишком быстро”, “Всегда жди человеческого одобрения (которое дается неторопливо)”, “Реши эту сложную проблему, но без всяких странных маневров”.
Подобные ограничения будут препятствовать достижению ИИ-моделью той или иной цели. Но тогда вам, по сути, придется мериться своей смекалкой и способностью просчитать все граничные случаи с тем объемом интеллекта, который течет через систему, – и наблюдать, устоят ли ваши ограничения.
Космические аппараты. Ядерные реакторы. Кибербезопасность. К чему сводятся эти уроки и что они говорят о сложности согласования искусственного сверхинтеллекта?
Искусственный сверхинтеллект подобен космическому аппарату в том смысле, что мы не можем протестировать его в той же среде, где ему предстоит работать, и его по умолчанию невозможно вернуть или исправить, как только он поднимется на недосягаемую для нас высоту. Даже если мы попытаемся придумать какую-нибудь хитрую уловку, позволяющую модифицировать его на этом этапе, если эта уловка даст сбой, сверхинтеллект останется на недосягаемой высоте. Причем с согласованием сверхинтеллекта дела обстоят даже хуже, чем с космическими аппаратами: неудача уничтожит не просто миллиарды долларов инвестиций, но и вообще все.
Искусственный сверхинтеллект подобен ядерному реактору в том смысле, что его глубинная природа включает в себя колоссальные, потенциально саморазгоняющиеся силы, а внутренние процессы в нем протекают столь быстро, что человек просто не способен на них вовремя отреагировать.
Искусственный сверхинтеллект подобен проблеме кибербезопасности в том смысле, что может обойти все ограничения, какие бы инженер ни попытался встроить в систему, если эти ограничения ему мешают.
Подобная совокупность проблем ужасала бы, даже если бы мы знали законы интеллекта, даже если бы понимали, как, черт возьми, работают эти ИИ-модели, даже если бы точно знали, где пролегает разрыв между “до” и “после” и каков допустимый предел ошибки.
Но мы этого не знаем. ИИ-модели выращивают, а не конструируют. Никто не ведает, какие чудовищные сложности таятся внутри них, наделяя интеллектуальной мощью.
Делать ставку на то, что человечество сумеет решить эту проблему при нынешнем уровне понимания, – все равно что считать, будто алхимики 1100 года смогли бы построить ядерный реактор. Работающий в глубоком космосе. С первой попытки.
Обычно мы стараемся не переходить на крик. В большинстве случаев криком делу не поможешь. У людей просто создается впечатление, что вы не умеете держать себя в руках. Но мы убеждены: в какой-то момент после спокойного изложения своих доводов уже нельзя умалять серьезность проблемы, иначе остальные подумают, что это всего лишь игра в вежливые формулировки.
В вопросе создания сверхинтеллекта проблема, стоящая перед человечеством, неподъемна для нас при нынешнем уровне знаний и умений. До требуемого уровня мы даже близко не дотягиваем.
Попытка справиться с подобной задачей, когда на кону стоят жизни всех людей на Земле, – безумная и глупая авантюра, и нельзя позволить, чтобы кто-нибудь предпринял ее.
IfAnyoneBuildsIt.com/10