Давным-давно, во времена, которых никогда не было, стоял средневековый город, гордившийся мастерством своих алхимиков.

В этом вымышленном городе, как и в реальной истории, задача алхимика сводилась к тому, чтобы узнать, какие сочетания веществ и температур дадут те или иные видимые результаты. Алхимики города собрали множество рецептов, но совершенно не понимали принципов, лежащих в их основе. Они пробовали новые смеси, не умея толком предсказать итог своих экспериментов, а затем добавляли полученные результаты к своим сводам знаний.

Алхимики нашего воображаемого города поразились бы, если бы вы сказали им, что в каком-то глубоком смысле они все равно невежественны. Разве не потратили они долгие часы, изучая, как изготавливать жидкость Aqua Regia[44], способную растворять даже благородные металлы – золото и серебро? Разве они не великие мастера совершенно безопасных процессов, позволяющих им работать с Aqua Regia, не рискуя жизнью? Разве их догадки насчет новых рецептов не приносят порой полезные результаты? Невежественны? Невежественны в чем, скажите на милость?

Однажды из столицы пришла весть: король ищет алхимика, способного превратить свинец в золото, и щедро отплатит такому человеку. Любому алхимику, желающему получить королевскую награду, нужно только принести собственные реактивы и доказать, что он способен сделать Aqua Regia.

Награда была великолепна: тот, кто добьется успеха, получит руку принцессы, и король дарует победителю столько денег, что хватит не только ему, но и всем жителям его родного города – сколько им не снилось в самых смелых мечтах.

Но король, опасаясь пустословов, объявил: если алхимик потерпит неудачу, зря потратив королевские время и деньги, то казнят не только его, но и всех жителей его родного города. Вот такой это был король.

– Что ж, именно золота у меня еще не получалось, – сказал один молодой алхимик, – но чувствую, что разгадка близко. Если нагреть свинец с каламином[45], он становится похож на латунь. Наверное, для успеха мне нужно добавить еще немного каламина или еще сильнее нагреть смесь. Я собираюсь попытать счастья!

– Пожалуйста, не надо, – попросила его сестра.

– Я должен, – сказал юноша, поспешно бросая в мешок одежду и записи. – В нашем городе полно алхимиков, и если не попробую я, то кто-то другой опередит меня и заберет и принцессу, и деньги. А другие хуже меня разбираются в алхимии и к тому же более эгоистичны. Именно я должен пройти это испытание – ради блага моего города!

– Я не хочу умирать, – сказала сестра. – И не хочу, чтобы умерла наша соседка-прачка. Она всегда была добра ко мне и души не чает в своем ребенке.

– Тогда ты должна поддержать меня, – ответил юноша, старательно упаковывая свой скромный запас алхимических реактивов, половина которых досталась ему от покойного учителя. – С королевской наградой мы могли бы сделать много добра. У нас было бы вдоволь еды, и мы никогда бы не голодали. Мы могли бы нанять лучших врачей королевства для лечения всех недугов жителей нашего города.

– Это было бы чудесно, – заметила сестра, – но ты ведь не умеешь превращать свинец в золото. Мы не получим королевскую награду, мы просто умрем.

– Мне кажется, у меня получится. Когда я кипячу свинец в отстоявшейся моче с серой, он приобретает желтоватый блеск. У меня лучшие шансы на успех. Если не пойду я, какой-нибудь дурак погубит нас всех.

– Может, тебе стоит пойти к городским старейшинам и попросить их не выпускать из города ни одного алхимика, иначе мы все умрем? – предложила сестра. – Если старейшины ничего не сделают, ты сможешь собраться и поехать в столицу, но умоляй их остановить всех алхимиков, включая тебя.

Юноша на миг задумался, а потом ответил:

– Что? Ты вообще в одном городе со мной живешь? Наши старейшины почти никогда не могут ни о чем договориться! Да и невозможно запретить всем алхимикам покидать город, пока предложение короля в силе. Подумай, какие это неудобства, какие расходы! Я действительно думаю, что наш наилучший шанс – если я просто отправлюсь сам.

– Ты потерпишь неудачу! – отчаянно воскликнула сестра. – Вы все потерпите неудачу! В этом состязании один победитель – Смерть! Ты должен пойти к старейшинам и объяснить им, что нужно запретить всем алхимикам ехать в столицу, а ингредиенты для изготовления Aqua Regia держать под замком! Нельзя обрекать на гибель целый город, взрастивший одного-единственного эгоистичного алхимика, который способен сделать Aqua Regia, но не умеет превращать свинец в золото! С несправедливостью королевского испытания мы ничего поделать не можем, но мы должны сделать все возможное, чтобы держаться от него подальше, иначе мы умрем!

– Но почему ты так уверена, что никто из нас не сможет превратить свинец в золото? – спросил юноша. – Я не знаю ни одного закона алхимии, который говорил бы, что у меня не получится.

В предыдущей главе мы рассмотрели некоторые сложности с созданием машинного сверхинтеллекта, который бы нас не уничтожил.

Однако уровень сложности – это лишь половина дела. Другая половина касается того уровня компетентности, с которым человечество подходит к этому вызову.

Возможно, вас не убеждают наши доводы о запредельной сложности формирования искусственного сверхинтеллекта. Но существует и отдельный, независимый аргумент в пользу катастрофы, основанный на альтернативном наборе исторических уроков: люди иногда умудряются проваливать даже простые задачи, не говоря уже о сложных.

Компания United States Radium Corporation работала с радиоактивным материалом, который убивал сотрудниц. Но это происходило не из-за ошибок в сложных загадочных расчетах в области ядерных технологий. Причина в том, что корпорация инструктировала работниц облизывать кисточки с радиевой краской[46]1.

Так какой же уровень компетентности демонстрирует человечество в задаче формирования искусственного сверхинтеллекта?

В интервью 2023 года Илон Маск, глава крупной ИИ-лаборатории xAI, изложил свой план согласования искусственного сверхинтеллекта:

Я собираюсь запустить нечто под названием TruthGPT. Это модель, максимально ориентированная на поиск истины и пытающаяся понять природу Вселенной.

Возможно, это наилучший путь к безопасности – в том смысле, что ИИ-модель, которой важно понимание Вселенной, вряд ли станет уничтожать людей, ведь мы интересная часть этой Вселенной².

Такой план не решает стоящую перед нами проблему по причинам, уже обсуждавшимся в этой книге: никто не знает, как технически встроить в ИИ-модель конкретные желания – идеалистические или нет. Кроме того, даже модель, которую интересует понимание Вселенной, наверняка истребит людей попутно, поскольку люди – не самый эффективный способ для получения истин или для понимания Вселенной среди всех возможных форм организации материи.

Мы с уважением относимся к успехам Маска в других областях, включая электромобили и многоразовые ракеты. Посадить ракету без повреждений – сложнейшая инженерная задача, с которой Маск и его команда регулярно справляются. Но эти успехи базируются на куда более надежных инженерных принципах. Почему же в случае с искусственным интеллектом Маск полагается лишь на туманные идеалистические клише? При таком уровне понимания не получилось бы заставить работать ни автомобиль, ни ракету.

Мы не телепаты, поэтому остается лишь гадать. Можно предположить, что корень проблемы в следующем: принципы работы аккумуляторов и ракетных двигателей хорошо изучены и подчиняются законам физики, описанным в учебниках. А вот ИИ-модели выращивают, и никто не понимает их внутренней работы. Здесь меньше уравнений, ограничивающих полет мысли, и, соответственно, больше простора для рассуждений о возвышенных идеалах вроде поиска истины.

Если вы знакомы с историей науки, то узнаете в подобных разговорах этап “народных теорий” – стадию, на которой люди придумывают много разных теорий, импонирующих лично им, еще до того, как за дело берется наука. Это слова алхимика, решившего, будто некая замысловатая философская схема позволит ему превращать свинец в золото.

Несколько веков назад почти весь мир был устроен именно так. Лекари пускали вам кровь, чтобы восстановить баланс четырех “гуморов” – телесных жидкостей, управляющих, как считалось, здоровьем. Алхимики смешивали вещества, сулившие вечную жизнь, но в лучшем случае не оказывали эффекта, а иногда и убивали. Люди не знали, как работает та или иная часть мира, но вместо того, чтобы признать свое неведение, начинали выдумывать. Именно так обычно обстоят дела до становления научного мышления, это первый шаг на пути к тому, чтобы по-настоящему разобраться в происходящем.

Не только Маск выдает желаемое за действительное. Несколько талантливых исследователей работают в компании Meta (ранее известной как Facebook)[47]. Meta AI – одна из крупнейших ИИ-лабораторий – разрабатывает серию моделей Llama, которые можно бесплатно скачивать и модифицировать. Ведущий специалист Meta AI – главный научный сотрудник Ян Лекун, который в 2018 году получил премию Тьюринга (так называемую “Нобелевскую премию в области компьютерных наук”) за работы по глубокому обучению, лежащему в основе всех современных архитектур ИИ.

Лекун разделил эту престижную награду с нобелевским лауреатом Джеффри Хинтоном и Йошуа Бенджио. Из этой тройки только Лекун по-прежнему считает задачу согласования искусственного сверхинтеллекта легкой, а риск вымирания от него – незначительным. Двое других подписали в 2023 году открытое письмо, которое мы упоминали во введении к этой книге.

Приведем несколько высказываний Лекуна в сети X о проблеме согласования искусственного сверхинтеллекта. Насколько нам известно, ничего более конкретного на эту тему он никогда не публиковал³.

Успокойтесь. Искусственного интеллекта человеческого уровня еще не существует. А когда появится, он не захочет доминировать над человечеством. Даже у людей к доминированию и главенству стремятся не самые умные⁴.

Потому что у них просто не будет желания делать что-либо иное. Почему? Потому что мы спроектируем их желания⁵.

Моя добрая, защитная ИИ-модель будет уничтожать вашу злую эффективнее, нежели ваша злая – вредить людям⁶.

Мы можем спроектировать ИИ-системы так, чтобы они были одновременно и сверхумными, и послушными людям⁷.

Начнем с сути дела: эти заявления не имеют отношения к рассматриваемому вопросу. Проблема не в том, что ИИ-модели захотят доминировать над нами, а в том, что мы состоим из атомов, которые они могли бы использовать для чего-то другого. И плохо не то, что одни обзаведутся “злыми” моделями, а другие – “добрыми”. Плохо, что никто и нигде не имеет ни малейшего представления, как создать добрую модель, никто не умеет встраивать в ИИ-модели точные желания. Заявлять, будто вы способны это сделать, – не то же самое, что предлагать решение.

Кроме того, любой, кто знаком с историей науки и техники, мгновенно узнает этот общий тон бодрого оптимизма: он встречается у людей, столкнувшихся с грандиозной инженерной задачей, которую до них никто не решал.

История инженерии пестрит блестящими, полными рвения оптимистами, которые очертя голову бросались решать захватывающие новые задачи, а те оказывались намного, намного сложнее, чем ожидалось. Сама область искусственного интеллекта считается одним из известнейших тому примеров. В 1955 году появилось предложение провести первый исследовательский проект в сфере ИИ, который вошел в историю как Дартмутский семинар⁸. В документе говорилось:

Мы предлагаем провести двухмесячное исследование искусственного интеллекта с участием десяти человек… Будет предпринята попытка выяснить, как заставить машины использовать язык, формировать абстракции и концепции, решать те виды задач, которые ныне доступны только людям, и совершенствовать самих себя. Мы считаем, что если тщательно отобранная группа ученых поработает над этими темами в течение лета, то в одной или нескольких из этих областей можно добиться значительного прогресса[48].

Следующие пятьдесят лет ознаменовались чередой неудач и очередных радужных теорий о том, что теперь-то все непременно получится. Зачастую эти теории апеллировали к возвышенным философским идеям, но десятилетиями не приводили к успеху.

Обычно мы выступаем за то, чтобы блестящие оптимисты двигались вперед[49]. Часто именно так и рождаются целые области науки. Иногда проблема оказывается несложной. Иногда специалист набирается опыта ценой лишь времени и денег. Иногда он губит только себя или добровольцев, а наука фиксирует произошедшее, извлекает урок и двигается дальше. Выжившие превращаются из слепых радостных оптимистов в циничных ветеранов-пессимистов, и эти пессимисты действительно могут кое-что сделать – пусть и не так много, как надеялись оптимисты.

Другое дело, когда какой-нибудь безумный изобретатель берется за эксперименты, которые могут убить случайных людей. И уж совершенно другое – когда неудача грозит уничтожить вообще всех, не оставив никого, кто мог бы дорасти до компетентного пессимизма.

Вы живете в мире, где идеалистические планы Маска и расплывчатые заверения Лекуна не столкнулись с волной ужаса со стороны ученых и инженеров.

Представьте, что какой-то человек с подобными взглядами, обладающий достаточным количеством денег и властью, чтобы воплотить свои желания в жизнь, объявляет о строительстве атомной электростанции, руководствуясь таким вот теоретическим багажом! Вообразите реакцию опытных ветеранов, которые знают, насколько это сложно, и могут проанализировать потенциальную катастрофу, используя проверенные инженерные методы!

Но вы не видите тысячи пришедших в ужас ученых и инженеров, которые бьют тревогу и требуют закрыть такие ИИ-лаборатории, а значит, проблема не сводится к отдельным личностям. Значит, вся эта область науки пребывает на стадии народных теорий и слепого оптимизма.

При таком уровне знаний нельзя построить космический ядерный реактор. Никто по доброй воле не стал бы рисковать своей жизнью или жизнями своих детей, полагаясь на подобный уровень компетентности. Можете вообразить такой разговор?

мать, с трудом сохраняющая спокойствие: Мне сказали, что вы руководили разработкой аварийной спасательной ракеты номер четыре?

способный и увлеченный инженер-оптимист: Да, я возглавлял этот проект!

мать: Отлично. Мне сказали, что когда… если ракета номер четыре полетит, на ней будут мои дети. Я ищу человека, который сможет объяснить, какой анализ показал, что ракета номер четыре переживет запуск. В интернете толком ничего нет, а имеющаяся информация крайне расплывчата и не содержит важных технических деталей. Это меня беспокоит – я сама инженер.

инженер: Успокойтесь. Ракета пока еще не стартует. А когда стартует, она не взорвется. Мы же проектировали ее не для того, чтобы она взорвалась.

мать: Я и не утверждаю, что вы специально проектировали ее так, чтобы она взорвалась. Но ракеты ведь могут взрываться, даже если этого не хотят и не выбирают. Вы же инженер, должны понимать.

инженер: Что за мрачные настроения! У нее не будет причин взрываться. Почему? Потому что мы спроектировали ее так, чтобы она не взорвалась.

мать: Не будет причин? Ракеты подвергаются воздействию колоссальных сил, они должны выдерживать чудовищную турбулентность и перегрузки! Новые конструкции ракет поначалу взрываются, пока система не будет отработана, но даже и проверенные ракеты иногда все равно взрываются!⁹ Опытный разработчик должен знать дюжину причин, почему ракеты могут взорваться, и должен уметь рассказать о всех принятых мерах и о том, почему, по расчетам, эти меры сработают. Если вы даже не признаете причин, по которым ракета может взорваться, это моментально и радикально подрывает доверие!

инженер: Мы можем проектировать ракеты так, чтобы они были и мощными, и комфортными.

мать: Меня не волнует комфорт, меня волнует смерть моих детей при взрыве ракеты! Можете ли вы сообщить мне что-нибудь конкретное об ожидаемых перегрузках, о материалах, которые должны, по расчетам, их выдержать…

инженер: Ну, наверняка это нельзя узнать, пока мы не запустим ракету. Но даже некоторые весьма уважаемые специалисты в этой области говорят, что риск взрыва ракеты номер четыре не превышает 10–20 процентов¹⁰.

мать: 10–20 процентов? И вы хотите, чтобы я доверила своих детей такой технологии?! Стоп, погодите! Откуда они вообще взяли эти цифры?

инженер: Ну, один из них пояснил, что говорил только о вероятности взрыва в ближайшие десять лет, а шансы, что ракету вообще не запустят так скоро, 50 на 50, как он полагает¹¹. Другой же сказал, что на самом деле считает эту вероятность больше 50 процентов, но его уважаемые коллеги (вроде меня!) называют его психом, поэтому он из скромности занизил свою оценку¹². Так что, как видите, только психи считают риск высоким.

мать: Я… я… (Разворачивается, чтобы убежать.)

Разумеется, не каждый глава крупной ИИ-лаборатории подходит к проблеме согласования искусственного сверхинтеллекта столь же дерзко, как алхимик, очарованный личными философскими теориями и идеалами. Но если хотя бы одна крупная компания полезет на рожон, этого будет достаточно для катастрофы всей системы – даже если проблему можно было решить. Разработка систем безопасности требует времени и затрат (одна из причин взрыва на Чернобыльской АЭС – попытки СССР сэкономить). Если хотя бы одна ИИ-компания отнесется к вопросам безопасности спустя рукава и рванет вперед, она может уничтожить мир даже в том воображаемом сценарии, когда другие компании вполне могли бы преуспеть, если бы имели время и проявляли осторожность. Подобный уровень компетентности приведет человечество к гибели, даже если мы ошибаемся в отношении всех остальных аспектов сложности.

Некоторые ИИ-компании стараются выглядеть в вопросе согласования искусственного сверхинтеллекта не столь беспечно и разрабатывают более подробные планы.

Самая продуманная идея по согласованию сверхинтеллекта, какую мы видели у этих компаний, – поручить решение проблемы согласования самим ИИ-моделям. OpenAI назвала этот план “сверхсогласованием” (superalignment) и в 2023 году приняла в качестве базовой стратегии. (С тех пор почти все, кто работал в команде сверхсогласования, либо были уволены, либо ушли сами, сославшись на вопросы безопасности, профессиональные проблемы или личные причины¹³. Один из руководителей команды основал собственную конкурирующую ИИ-компанию¹⁴, другой вместе с несколькими сотрудниками перешел в конкурирующую компанию Anthropic¹⁵.)

Когда мы общаемся со специалистами в этой области, они упоминают две версии плана: слабую и сильную. Слабая версия: “ИИ-модели могут помочь нам понять, что творится внутри гигантского клубка непонятных чисел, автоматизируя значительную часть нудной работы”. Сильная версия: “Мы можем обратиться за помощью к ИИ-моделям, чтобы выяснить, как инициировать интеллектуальный взрыв таким образом, чтобы появившийся сверхинтеллект был дружелюбен по отношению к человечеству”. Рассмотрим оба варианта.

Если говорить о слабой версии сверхсогласования, то мы согласны, что относительно маломощная ИИ-модель может помочь в так называемых исследованиях интерпретируемости. Но умение прочитать часть мыслей модели – это вовсе не план согласования искусственного интеллекта, как и знание о происходящем внутри атомов – это не план создания ядерного реактора, который не расплавится.

Мы считаем исследователей интерпретируемости героями и отнюдь не хотим обесценить их труд, когда говорим: это плохой знак, если в ответ на вопрос о плане по обеспечению безопасности инженер начинает рассказывать о планах по созданию инструментов, которые позволят ему получше разглядеть, что же, черт возьми, творится внутри устройства, которое он пытается контролировать.

И даже если бы такие инструменты существовали, видеть проблемы – не значит уметь их решать. Уметь считывать отдельные мысли ИИ-модели и видеть, что она замышляет побег, – это не то же самое, что создать новую модель, которая сбегать не захочет. Возможно, это вообще недостижимо без полного решения проблемы согласования: пока у ИИ-моделей сохраняются странные, чуждые нам предпочтения, побег действительно лучше всего соответствует их целям. Желание сбежать – это не какая-то причуда характера, которую инженер мог бы просто выдернуть, заглянув внутрь. Оно порождается теми же установками и способностями, которые ИИ-модель использует, чтобы рассуждать, открывать истины о мире и добиваться успеха в своих стремлениях.

Теперь обратимся к сильной версии сверхсогласования, когда всю работу по согласованию выполняет искусственный интеллект. Проблема в том, что ИИ-модель, необходимая для решения такой задачи, сама по себе слишком умна, слишком опасна и не заслуживает доверия.

Современные ИИ-модели – это гигантский непонятный клубок чисел. Людям пока не удалось, глядя на эти числа, понять, как именно ИИ мыслит сейчас, – не говоря уже о том, чтобы предсказать, как изменится мышление ИИ-моделей, если они станут умнее и начнут проектировать новые модели. Любой опытный инженер, сознающий всю серьезность этой проблемы, скажет вам, что решение потребует титанических исследовательских усилий и на это могут уйти десятилетия.

Если вы создадите ИИ общего назначения всего лишь человеческого уровня и попросите его решить проблему согласования, он скажет вам то же самое – если будет честен. ИИ человеческого уровня не сможет решить эту проблему. Вам понадобилась бы ИИ-модель настолько умная, чтобы превзойти гениев человечества. Но пока вы не решите проблему согласования, вам не следует создавать такую модель и доверять ей.

Сторонники идеи сверхсогласования возражают, что они просто создадут ИИ-модель, специализирующуюся на задаче согласования искусственного сверхинтеллекта. Однако согласование искусственного сверхинтеллекта – это как раз та задача, которая плохо подходит для узкоспециализированной ИИ-модели. Потому что ее нельзя просто обучить на миллионе примеров решения подобной задачи, ведь у нас нет даже одного. Придется обучать ее решать другие задачи и надеяться, что полученные навыки перенесутся на задачу согласования. Причем ИИ-модели понадобится много навыков, перенос которых чреват опасностями. Она должна будет разбираться в компьютерном программировании и понимать, как выращивать ИИ-модели. Вероятно, она попытается выяснить, как их конструировать. Она будет всерьез размышлять о предпочтениях моделей. А если инженер захочет, чтобы ИИ-модель объяснила свое решение, а не просто запустит его без надзора, то искусственному интеллекту потребуется понимать человеческую психологию и глубины нашего незнания в вопросах согласования ИИ. Однако прививать такой набор мыслей и навыков искусственному интеллекту, который еще не согласован, весьма опасно.

Более надежной ставкой выглядит ИИ-модель, специализирующаяся на биомедицинских исследованиях. По крайней мере, такая модель хотя бы не думает напрямую о создании более совершенных моделей, а если что-то пойдет не так, взрывной рост интеллекта, возможно, начнется не сразу. В случае биомедицинской ИИ-модели сохраняется некоторая надежда, что вы сможете попросить ее разработать лекарство от рака, а затем использовать[50] другие, еще более узкоспециализированные ИИ-инструменты, чтобы проверить взаимодействия белков и удостовериться, что лекарство действует ровно так, как обещано. Но что прикажете делать, если какая-нибудь ИИ-модель заявит вам, будто изобрела блестящий план сверхсогласования, который гарантированно сработает и не содержит подвохов? Довериться? Прочитать убедительно звучащие аргументы ИИ-модели и позволить себя уговорить?

Если бы человек, осознающий всю серьезность проблемы, пытался извлечь пользу из узкоспециализированной ИИ-модели, он размышлял бы о возможностях в категориях соотношения выгод и сопутствующих рисков, четко разграничивал, что можно проверить, а где придется довериться, чему можно обучить систему напрямую, а где придется полагаться на ее обобщения, суммировал бы все издержки и выгоды и сравнивал это предложение с альтернативными. Люди, ратующие за использование ИИ для согласования искусственного сверхинтеллекта, не понимают серьезности этой проблемы, не проводят столь тщательного и взвешенного анализа.

“Мы заставим их ценить истину, и тогда все будет в порядке”.

“Мы спроектируем их послушными”.

“Мы просто поручим ИИ решить за нас проблему согласования искусственного сверхинтеллекта”.

Люди, которые действительно разбираются в проблеме и относятся к ней с должной серьезностью, так не говорят. Зато в подобном духе высказывались алхимики прошлого, когда излагали пышные философские принципы, касающиеся превращения свинца в золото¹⁶.

Сегодня мы знаем, что превратить свинец в золото можно, для этого требуется ядерная физика и много денег – гораздо больше, чем будет стоить получившееся золото. Почему же тогда алхимики не добились успеха? Вовсе не потому, что допустили какую-то техническую ошибку, а скорее потому, что пребывали в невежестве и оптимистическом самообмане, считая, будто им лишь рукой подать до успешной трансмутации.

В сфере согласования ИИ компании все еще пребывают на стадии алхимии. Они все еще оперируют высокими философскими идеалами, а не инженерными проектами. Это уровень грандиозных мечтаний, а не тщательно сконструированной грандиозной реальности. И они, похоже, даже не осознают, почему это проблема.

И ученые не кричат в ужасе и не пытаются заставить их замолчать, ведь вся эта область науки еще находится на ранней стадии развития.

А даже если бы нашлась одна добросовестная компания, старающаяся проявлять осторожность, ей пришлось бы соперничать со всеми остальными, которые бесшабашно мчатся вперед, размахивая своими “остроумными”, простыми “решениями” всех этих серьезнейших проблем безопасности.

Судя по истории инженерии, такого уровня системной некомпетентности более чем достаточно для катастрофы – даже если мы в предыдущей главе ошибались и решить проблему не сложнее, чем не облизывать кисточки с радиоактивной краской.

IfAnyoneBuildsIt.com/11