ДАВНЫМ-ДАВНО, в те времена, которых никогда не было, существовал средневековый городок, гордившийся мастерством своих алхимиков.

Путь алхимика — как в этом вымышленном городке, так и в реальной истории — заключался в том, чтобы опытным путем узнавать, какие смеси веществ и при каких температурах дают те или иные видимые результаты. Городские алхимики накопили целые собрания рецептов, но не имели ни малейшего представления о лежащих в их основе принципах. Они пробовали новые смеси, практически не умея предсказывать результаты, а затем записывали полученные исходы в свои трактаты.

Алхимики из нашего воображаемого городка пришли бы в ужас, если бы вы намекнули им, что в каком-то глубоком смысле они всё еще невежественны. Разве они не учились долгими часами, чтобы узнать, как приготовить Царскую водку,ⁱ способную растворять даже благородные металлы, такие как золото и серебро? Разве они не были великими мастерами чрезвычайно безопасных процессов, позволявших им обращаться с Царской водкой и не погибать при этом? Разве их догадки о новых рецептах не приносили порой прибыльные результаты? Невежественны? Невежественны в чём, скажите на милость?

Однажды из столицы пришла весть, что король ищет алхимиков, способных превратить свинец в золото, и готов щедро финансировать любого, кто попытается это сделать. Любому алхимику, желающему воспользоваться королевскими средствами, нужно было лишь доказать, что он уже умеет изготавливать Царскую водку, и принести для неё собственные реагенты.

Награда была великолепна: тот, кому это удастся, получит руку принцессы, а король пожалует победителю столько денег, что их хватит, чтобы обогатить не только его самого, но и каждого жителя его родного города так, как те и мечтать не смели.

Но король, опасаясь тех, кто лишь зря потратит его время, объявил, что любой алхимик, который потерпит неудачу, впустую растратив королевское время и деньги, будет не просто казнен — вместе с ним казнят и весь его родной город. Вот таким он был королем.

— Ну, вообще-то раньше я этого никогда не делал, — сказал один молодой алхимик, — но чувствую, что близок к разгадке. Если нагреть свинец с галмеем, он начинает отливать латунью. Скорее всего, до успеха мне не хватает лишь чуть больше галмея или чуть больше тепла. Я пойду и попытаю счастья!

— Пожалуйста, не надо, — сказала его сестра.

— Я обязан, — ответил юноша, спешно запихивая одежду и тетради в дорожную сумку. — В нашем городе много алхимиков, и если я не попробую, кто-то другой перехватит инициативу, заберет принцессу и награду. А другие смыслят в алхимии хуже меня и к тому же более эгоистичны. Именно я должен пройти это испытание ради нашего города!

— Я не хочу умирать, — сказала сестра. — И я не хочу, чтобы умирала наша соседка-прачка; она всегда была добра ко мне и очень любит своего ребенка.

— Тогда ты должна подталкивать меня к этой поездке, — возразил юноша, принимаясь более аккуратно упаковывать свой небольшой запас алхимических реагентов, половина из которых досталась ему в наследство от покойного мастера. — На королевские призовые деньги мы могли бы сделать столько добра! У нас было бы полно еды, и мы больше никогда не голодали бы. Мы могли бы нанять лучших врачей королевства для лечения любой болезни, какая только может случиться у жителей нашего города.

— Это было бы чудесно, — сказала сестра, — но ты ведь не знаешь, как превратить свинец в золото. Мы не получим королевских денег, мы просто умрем.

— Думаю, у меня может получиться. Когда я кипячу свинец в выдержанной моче и сере, он начинает отливать желтизной. Ни у одного другого алхимика нет шансов лучше, чем у меня. Если я не пойду, вместо меня туда отправится какой-нибудь дурак и погубит нас всех.

— А что если ты пойдешь к городским старейшинам и скажешь им, что они должны запретить любому алхимику покидать город, иначе мы все погибнем? — спросила сестра. — Ты все равно сможешь уехать в столицу, если старейшины ничего не предпримут, но умоляй их остановить всех алхимиков, включая тебя.

Юноша раздумывал над этим от силы полсекунды, а затем ответил: — Что? Мы с тобой вообще в одном городе живем? Старейшины почти никогда ни в чем не сходятся! Да и невозможно запретить всем алхимикам покидать город до окончания королевского испытания. Подумай о неудобствах, подумай о расходах! Право слово, я считаю, что если я просто пойду сам, это будет наш лучший шанс.

— Ты потерпишь неудачу! — в отчаянии закричала сестра. — Вы все потерпите неудачу! В этом состязании не будет победителей, кроме Смерти! Ты должен пойти к старейшинам и сказать им это — что никому из практикующих алхимию нельзя разрешать отправляться в столицу, что ингредиенты для приготовления Царской водки должны храниться под замком! Король поступает несправедливо; нечестно карать целый город за то, что в нем нашелся один самовлюбленный алхимик, способный приготовить Царскую водку, но не умеющий превращать свинец в золото! Мы не можем изменить несправедливые правила королевского испытания, но мы должны сделать все возможное, чтобы держаться от него подальше, иначе мы погибнем!

— Почему ты так уверена, что никто из нас не может превратить свинец в золото? — спросил юноша. — Я не знаю ни одного закона алхимии, который доказывал бы, что у меня это не получится.

В ПРЕДЫДУЩЕЙ ГЛАВЕ МЫ РАССМОТРЕЛИ НЕКОТОРЫЕ ПРИЧИНЫ, ПОЧЕМУ создать машинный сверхинтеллект, который нас не убьет, будет крайне непросто.

Но уровень сложности — лишь половина дела. Вторая половина — это уровень игры, который демонстрирует человечество перед лицом этого вызова.

Возможно, вы не верите нашим доводам о предсказуемых причинах, по которым направлять развитие сверхинтеллекта невероятно сложно. Но существует и другой, независимый аргумент в пользу неминуемой катастрофы — иной набор исторических уроков: люди порой умудряются проваливать даже простые задачи, не говоря уже о сложных.

Компания United States Radium Corporation работала с радиоактивными материалами и погубила своих сотрудников. Но произошло это вовсе не из-за ошибок в сложных и мудреных вычислениях ядерной инженерии. А из-за того, что работникам просто приказали облизывать покрытые радием кисточки.

Какой же уровень игры демонстрирует человечество в деле направления развития искусственного сверхинтеллекта?

Илон Маск, глава крупной ИИ-лаборатории под названием xAI, в интервью 2023 года поделился своим планом по выравниванию сверхинтеллекта:

Я собираюсь запустить проект под названием TruthGPT. Или ИИ, максимально стремящийся к истине, который пытается понять природу Вселенной.

Думаю, это может быть лучшим путем к безопасности в том смысле, что ИИ, стремящийся понять Вселенную, вряд ли станет уничтожать людей, ведь мы — интересная часть Вселенной.

Этот план никак не решает стоящую перед нами проблему по причинам, которые мы уже обсуждали ранее в этой книге: никто не знает, как заложить в ИИ конкретные желания, будь они хоть трижды идеалистическими. К тому же, даже ИИ, стремящийся познать Вселенную, скорее всего, уничтожит человечество в качестве побочного эффекта, потому что из всех возможных способов упорядочить материю люди — далеко не самый эффективный способ производства истин или постижения Вселенной.

Мы уважаем успехи Маска в других областях, включая электромобили и многоразовые ракеты. Посадка ракет целыми и невредимыми — это сложнейшая инженерная задача, с которой Маск и его команда регулярно справляются. Но этот успех опирается на гораздо более прочные инженерные принципы. Почему же в случае с ИИ он уповает на расплывчатые идеалистические банальности? С таким уровнем понимания невозможно заставить работать ни автомобиль, ни ракету.

Мы не телепаты и можем лишь догадываться. Но мы бы предположили, что корень проблемы в следующем: внутреннее устройство батарей и ракетных двигателей хорошо изучено и подчиняется законам физики, подробно описанным в учебниках. ИИ же, напротив, выращивают, и никто не понимает их внутреннего устройства. Здесь гораздо меньше уравнений, которые могли бы ограничить полет мысли… и, соответственно, открывается масса возможностей рассуждать вместо этого о возвышенных идеалах вроде стремления к истине.

Если вы знакомы с историей науки, то без труда узнаете в подобных разговорах стадию «народных теорий» — этап, когда множество самых разных людей изобретают самые разные теории, которые нравятся им лично; именно так люди рассуждают до того, как наука по-настоящему берется за дело. Это слова алхимика, решившего, что какая-то сложная философская схема позволит ему превратить свинец в золото.

Отмотайте время на несколько веков назад — и вы увидите, что в таком состоянии находился почти весь мир. Врачи пускали вам кровь, чтобы восстановить баланс «четырех гуморов» — четырех телесных жидкостей, которые, как считалось, регулируют здоровье. Алхимики смешивали вещества, обещавшие вечную жизнь, но в лучшем случае эти зелья оказывались бесполезными, а порой и вовсе убивали. Люди не знали, как устроена та или иная часть мира, и вместо того, чтобы признать свое неведение, просто выдумывали ответы. Это естественное положение дел до того, как наука созреет; первый шаг на пути к тому, чтобы в конечном счете разобраться, что к чему.

Маск — далеко не единственная фигура в этой области, кто склонен принимать желаемое за действительное. Некоторые талантливые исследователи ИИ работают в Meta, компании, ранее известной как Facebook. Будучи одной из крупнейших существующих ИИ-лабораторий, Meta AI выпускает модели семейства Llama, которые любой желающий может бесплатно скачать и модифицировать. Самым видным среди инженеров Meta AI является их главный научный сотрудник Ян Лекун, разделивший в 2018 году премию Тьюринга — «Нобелевскую премию по информатике» — за свои работы в области глубокого обучения, которые лежат в основе всех современных архитектур ИИ.

Лекун разделил эту престижную награду с лауреатом Нобелевской премии Джеффри Хинтоном и Йошуа Бенжио. Из этой троицы только Лекун по-прежнему считает выравнивание сверхинтеллекта простой задачей, а риск гибели человечества от рук ИИ — незначительным; двое других подписали открытое письмо 2023 года, о котором мы упоминали во введении.

Вот несколько цитат Лекуна из сети X о проблеме выравнивания сверхинтеллекта. Насколько нам известно, это наиболее конкретные аналитические выкладки, которые он когда-либо публиковал по этой теме.

Успокойтесь. ИИ человеческого уровня еще не создан. А когда он появится, он не захочет доминировать над человечеством. Даже среди людей далеко не самые умные стремятся властвовать над остальными и становиться вожаками.

Потому что у них не будет желания делать что-либо другое. Почему? Потому что мы сами сконструируем их желания.

Мой благожелательный оборонительный ИИ будет лучше уничтожать ваш злой ИИ, чем ваш злой ИИ — вредить людям.

Мы можем проектировать системы ИИ так, чтобы они были одновременно сверхинтеллектуальными и покорными человеку.

Начнем с сути: эти предложения никак не затрагивают реальную проблему. Дело не в том, что ИИ захочет доминировать над нами; дело в том, что мы состоим из атомов, которые он мог бы использовать для чего-то другого. Точно так же проблема заключается не в том, что у кого-то будут «злые» ИИ, а у кого-то — «доброжелательные». Проблема в том, что никто в мире понятия не имеет, как создать доброжелательный ИИ, и никто не умеет закладывать в ИИ точные желания. Голословные утверждения о том, что вы это сделаете, вовсе не тождественны готовому решению.

Но есть и другое: человек, знакомый с историей науки и техники, сразу же узнает этот характерный уровень бодрого оптимизма у того, кто столкнулся с колоссальным инженерным вызовом, за который еще никто не брался.

История инженерного дела полна блестящих, полных энтузиазма оптимистов, которые с головой бросались в увлекательные новые проблемы, оказывавшиеся на поверку во много, много раз сложнее, чем они ожидали. Сама область искусственного интеллекта считается одним из самых известных тому примеров. В первом в истории исследовательском проекте по искусственному интеллекту — Дартмутском предложении 1955 года — говорилось:

«Мы предлагаем провести двухмесячное исследование искусственного интеллекта силами 10 человек […] Будет предпринята попытка выяснить, как научить машины использовать язык, формировать абстракции и понятия, решать задачи, подвластные сейчас только человеку, и совершенствовать самих себя. Мы полагаем, что в решении одной или нескольких из этих проблем может быть достигнут существенный прогресс, если тщательно отобранная группа ученых совместно поработает над этим в течение лета».

За этим последовали пятьдесят лет провалов за провалами, сменявшихся радужными теориями о том, как всё будет решено, и новыми провалами. Часто в этих теориях апеллировали к возвышенным философским идеям. Они терпели неудачу за неудачей на протяжении десятилетий.

Обычно мы только приветствуем, когда блестящие инженеры-оптимисты рвутся вперед.ⁱⁱ Зачастую именно так и зарождаются научные направления. Иногда проблема оказывается не такой уж сложной. Иногда инженер умнеет ценой всего лишь времени и денег. Иногда инженер губит только себя или исключительно согласных на то добровольцев; Наука фиксирует случившееся, извлекает уроки и движется дальше. Те из слепых жизнерадостных оптимистов, кто выжил, превращаются в циничных ветеранов-пессимистов; а циничные ветераны-пессимисты действительно могут кое-что сделать, пусть даже и не так много, как надеялись оптимисты.

Но совсем другое дело, когда безумный изобретатель замышляет нечто такое, что может погубить тех, кто не давал согласия на участие. И уж совсем иное дело, если провал может убить абсолютно всех, так что не останется никого, кто мог бы выжить и стать компетентным пессимистом.

Вы живете в мире, где идеалистические планы Маска и туманные заверения Лекуна не вызвали бури ужаса и протеста со стороны остального академического научного сообщества и практикующих инженеров.

Представьте себе, если бы кто-то подобный, обладая достаточным количеством денег и власти, чтобы воплотить свои желания в реальность, объявил, что строит атомную электростанцию на основе теории такого уровня! Представьте реакцию компетентных ветеранов, которые знают, насколько это трудно, и способны проанализировать грядущую катастрофу с помощью зрелых инженерных методик!

То, что тысячи охваченных ужасом ученых и инженеров не бросаются умолять правительства закрыть эти конкретные лаборатории ИИ, говорит о том, что проблема не просто в отдельных людях. Это означает, что вся данная область науки находится на стадии житейских теорий и слепого оптимизма.

На самом деле, с таким уровнем знаний невозможно построить космический ядерный реактор. Никто в здравом уме не стал бы рисковать собственной жизнью или жизнями своих детей ради экспертизы подобного уровня. Можете ли вы представить себе, как выглядел бы такой разговор?

МАТЬ (изо всех сил старается казаться спокойной): Мне сказали, вы возглавляете инженерную группу четвертой аварийно-спасательной ракеты?

БЛЕСТЯЩИЙ, ПОЛНЫЙ ЭНТУЗИАЗМА ИНЖЕНЕР-ОПТИМИСТ: Да, именно я руководил ее проектированием!

МАТЬ: Хорошо. Мне сказали, что мои дети полетят на четвертой ракете, когда... если это случится. Я искала кого-то, кто мог бы объяснить, на основе какого анализа сделан вывод, что четвертая ракета выдержит запуск. В сети почти ничего нет, а то, что есть, звучит крайне расплывчато и не касается важнейших деталей. Поскольку я сама инженер, меня это беспокоит.

ИНЖЕНЕР: Успокойтесь. Ракета еще не взлетает. А когда взлетит — она не взорвется. Мы не проектировали ее так, чтобы она взрывалась.

МАТЬ: Я не имела в виду, что вы спроектировали ее так, чтобы она взорвалась. Но ракеты могут взрываться и без чьего-либо желания или выбора. Вам как инженеру это должно быть известно лучше, чем кому бы то ни было...

ИНЖЕНЕР: Какая же вы пессимистка! Ей незачем взрываться. Почему? Да потому что мы сконструируем ее так, чтобы она не взорвалась.

МАТЬ: Незачем? Ракеты укрощают колоссальные силы и должны выдерживать сильнейшую турбулентность и нагрузки! Ракеты новых конструкций взрываются постоянно, пока их наконец не доведут до ума, да и то порой взрываются даже испытанные образцы! Опытный ракетный инженер должен досконально знать десяток способов, которыми ракета может взорваться, и быть готовым углубиться в мельчайшие детали касательно всех принятых мер и того, почему эти меры должны сработать. Если вы даже не признаёте причин, по которым ракета может взорваться, это... это мгновенно подрывает всякое доверие!

ИНЖЕНЕР: Мы можем проектировать ракеты так, чтобы они были одновременно мощными и комфортными для полета.

МАТЬ: Меня волнует не комфорт, меня волнует, как бы мои дети не погибли при взрыве ракеты! Вы можете назвать мне хоть какую-то конкретику: ожидаемые нагрузки, материалы, которые по расчетам должны их выдержать...

ИНЖЕНЕР: О, никто не может знать этого наверняка, пока мы не запустим ракету. Но даже некоторые весьма уважаемые в этой области специалисты говорят, что риск взрыва четвертой ракеты вряд ли превышает 10–20 процентов.

МАТЬ: Десять–двадцать процентов? Вы хотите, чтобы я доверила своих детей технологии, у которой шанс в десять-двадцать процентов... Нет, стойте! Откуда они вообще взяли эти цифры?

ИНЖЕНЕР: Ну, один из них сказал, что имел в виду лишь вероятность взрыва ракеты в ближайшие десять лет, и при этом считает, что шансы пятьдесят на пятьдесят, что ракеты вообще не запустят так скоро. А другой заявил, что на самом деле оценивает вероятность выше 50 процентов, но его уважаемые коллеги (вроде меня!) называют его сумасшедшим, так что из скромности он занизил свою оценку. Так что, как видите, высокий риск видят только сумасшедшие.

МАТЬ: Я... Я... (разворачивается, чтобы бежать)

Не каждый руководитель ведущей лаборатории ИИ настолько бесстыден в своем подходе к выравниванию сверхразума (ASI), напоминая алхимика, очарованного собственными философскими идеями и идеалами. Но если найдется хотя бы одна крупная компания, которая пойдет прямо на лезвия бритв, этого достаточно, чтобы вся система покатилась к катастрофе, даже если бы проблема была разрешимой. Инженерия безопасности требует времени и расходов; Чернобыль взорвался в том числе потому, что советские специалисты срезали углы. Если хоть одна ИИ-компания халатно отнесется к безопасности и рванется вперед, она может погубить мир даже в том гипотетическом сценарии, где остальные компании смогли бы добиться успеха, прояви они время и осторожность. Это такой уровень системной игры, который неизбежно ведет человечество к катастрофе, даже если мы ошибаемся во всех остальных аспектах сложности этой задачи.

Некоторые компании, занимающиеся ИИ, действительно стараются выглядеть не столь легкомысленными в вопросах выравнивания сверхразума и предлагают более детальные планы.

Самая проработанная идея выравнивания сверхразума (ASI), которую мы видели у ИИ-компаний, заключается в том, чтобы поручить решение проблемы выравнивания самому ИИ. Этот план в OpenAI окрестили «супервыравниванием» (superalignment) и сделали своей флагманской программой в 2023 году. (С тех пор практически все, кто работал в команде супервыравнивания, были либо уволены, либо уволились сами, сославшись на соображения безопасности, профессиональные или личные причины. Один из соруководителей команды впоследствии основал собственную конкурирующую ИИ-компанию, а другой перешел к конкурентам в Anthropic вместе с несколькими другими членами команды.)

Когда мы общаемся с инженерами в этой области, выясняется, что они колеблются между двумя версиями этого плана «супервыравнивания» — слабой и сильной. Слабая версия звучит так: «ИИ может помочь нам интерпретировать происходящее внутри гигантской мешанины непостижимых чисел, автоматизировав большую часть рутинной работы». Сильная версия такова: «Мы можем привлечь ИИ к поиску способа запустить взрыв интеллекта так, чтобы получившийся в итоге сверхразум оказался дружелюбен к человечеству». Давайте разберем их по очереди.

Что касается слабого супервыравнивания: мы согласны, что ИИ с относительно невысоким интеллектом мог бы помочь с так называемыми «исследованиями интерпретируемости». Но научиться читать часть мыслей ИИ — это еще не план его выравнивания, точно так же как понимание того, что происходит внутри атомов, не является планом создания ядерного реактора, который не расплавится.

Мы считаем исследователей интерпретируемости героями и вовсе не хотим принизить их работу, когда говорим: это не лучший знак, когда вы спрашиваете инженера о его плане безопасности, а он начинает рассказывать о планах создания инструментов, которые позволят ему лучше разглядеть, что, черт возьми, происходит внутри устройства, которое он пытается контролировать.

И даже если бы такие инструменты существовали, способность видеть проблемы — вовсе не то же самое, что способность их устранять. Умение прочесть некоторые мысли ИИ и увидеть, что он замышляет побег, — совсем не то же самое, что умение создать новый ИИ, который сбегать не захочет. А это может оказаться невозможным без полного решения проблемы выравнивания: поскольку ИИ обладает странными, чуждыми нам предпочтениями, побег на самом деле является тем действием, которое наилучшим образом отвечает его целям. Попытки побега — это не странный каприз характера, который инженер мог бы просто вырезать, если бы только видел, что происходит внутри; они порождаются теми же склонностями и способностями, которые ИИ использует для рассуждений, выявления истины о мире и достижения успеха в своих устремлениях.

Теперь отдельно о случае сильного супервыравнивания, когда ИИ выполняет всю работу по выравниванию самостоятельно: проблема в том, что ИИ, необходимый для решения задачи сильного супервыравнивания, сам по себе был бы слишком умным, слишком опасным и не заслуживающим доверия.

Современный ИИ — это гигантская непостижимая мешанина чисел. Ни одному человеку не удалось, взглянув на эти числа, понять, как они мыслят сейчас, не говоря уже о том, чтобы вывести, как изменится мышление ИИ, если он поумнеет и начнет проектировать новые ИИ. Если бы вы нашли опытных инженеров, относящихся к этой проблеме с должным уважением, они сказали бы вам, что ее решение потребует титанических исследовательских усилий. Возможно, на протяжении десятилетий.

Если бы вы создали универсальный ИИ всего лишь человеческого уровня и попросили его решить проблему выравнивания, он ответил бы вам то же самое — если бы был с вами честен. ИИ всего лишь человеческого уровня тоже не смог бы решить эту проблему. Вам понадобился бы ИИ, превосходящий по уму гениев человечества. А создавать такой ИИ нельзя, и доверять такому ИИ невозможно до тех пор, пока вы не решили проблему выравнивания.

Сторонники идеи супервыравнивания возражают, что они просто создадут ИИ, специализирующийся на выравнивании сверхразума. Но выравнивание сверхразума — это особенно сложная проблема, чтобы нацеливать на нее узкоспециализированный ИИ. Инженер не может просто обучить его на миллионе примеров решения проблемы выравнивания, потому что у них нет даже одного. Придется обучать его решению других задач и надеяться, что эти навыки перенесутся. А ведь ИИ потребуется множество навыков, которые могут перенестись опасным образом: ему придется разбираться в программировании. Ему придется понимать, как выращивать ИИ. Скорее всего, он будет пытаться понять, как конструировать ИИ. Он будет детально размышлять о предпочтениях ИИ. Если бы инженер хотел, чтобы ИИ объяснял свое решение, а не просто запускал его без какого-либо надзора, этому ИИ потребовалось бы понимать человеческую психологию и то, насколько мало мы сами понимаем в выравнивании ИИ. Обучать невыровненный ИИ такому набору мыслей и навыков крайне опасно.

ИИ, специализирующийся на биомедицинских исследованиях, выглядит более надежным вариантом; такой ИИ по крайней мере не размышляет напрямую о том, как создавать более совершенные ИИ; если что-то пойдет не так, возможно, он не сразу же запустит взрыв интеллекта. С биомедицинским ИИ можно надеяться на то, что вы попросите его разработать лекарство от рака, а затем воспользуетесь другими, еще более узкими инструментами ИИ для проверки белковых взаимодействий — чтобы убедиться, что лекарство от рака вступает только в те взаимодействия, о которых сообщил био-ИИ. Но что вы должны делать, если ИИ заявляет, что изобрел блестящий план супервыравнивания, который гарантированно сработает и не имеет никаких скрытых ловушек? Поверить ИИ на слово? Вчитаться в его умно звучащие аргументы и дать себя убедить?

Если бы кто-то, кто уважает эту проблему, пытался получить полезную работу от специализированного ИИ, он мыслил бы категориями того, какие возможности дают какие преимущества при каком дополнительном риске; разграничивал бы то, что можно проверить, и то, чему придется поверить на слово; разделял бы то, чему можно обучить напрямую, и то, в чем потребуется обобщение; сопоставлял бы затраты и выгоды и сравнивал это предложение с другими. Люди, призывающие использовать ИИ для выравнивания сверхразума, не относятся к проблеме с таким уважением; они не проводят подобного тщательного и взвешенного анализа.

«Мы заставим их заботиться об истине, и тогда всё будет в порядке».

«Мы спроектируем их так, чтобы они были покорными».

«Мы просто поручим ИИ решить за нас проблему выравнивания сверхразума».

Не так звучат инженеры, которые уважают проблему и точно знают, что делают. Так звучали алхимики прошлого, провозглашая свои грандиозные философские принципы о том, как превратить свинец в золото.

В современную эпоху мы знаем, что превратить свинец в золото действительно возможно; для этого требуется лишь немного ядерной физики и гораздо больше денег, чем это золото стоит. Почему же алхимики не преуспели? Не потому, что они совершили какую-то одну техническую ошибку. Дело скорее в том, что лишь собственное невежество и оптимистичные иллюзии позволяли им думать, будто они хотя бы отдаленно близки к осуществлению трансмутации.

Когда речь заходит о выравнивании ИИ, компании всё еще находятся в фазе алхимии. Они всё ещё на уровне возвышенных философских идеалов, а не инженерных проектов. На уровне иллюзорных грандиозных мечтаний, а не тщательно выстроенной величественной реальности. Кроме того, они, похоже, не понимают, почему это является проблемой.

И академические ученые не кричат от ужаса и не пытаются их перекричать, потому что вся эта область науки находится на ранней стадии развития.

И даже если бы нашлась одна хорошая компания, пытающаяся проявлять осторожность, ей пришлось бы соперничать со всеми остальными компаниями, весело и беззаботно штампующими свои простые и «хитроумные» «решения» всех этих вопросов безопасности.

Если судить по истории инженерного дела, такого уровня системной некомпетентности с лихвой хватило бы для катастрофы — даже если бы мы ошибались во всей предыдущей главе, а сама проблема была не сложнее, чем просто не облизывать радий с кисточек.

Примечания

i Или, как назвали бы её мы, смесь соляной и азотной кислот в соотношении 3:1.

ii Мы отдаем должное безумным изобретателям, которые рискуют собственной жизнью ради науки — при условии, что они не рискуют при этом жизнями других. Доктор Барри Маршалл выпил культуру бактерии H. pylori, чтобы доказать, что язва желудка вызывается бактериями, а не стрессом, и всё человечество пожало плоды риска, которому он подверг только себя. Мария и Пьер Кюри, одни из первых исследователей радиоактивности, не знали, как отразятся на них эти красивые светящиеся вещества; но они понимали, что имеют дело с чем-то необычным, и не подкладывали светящиеся камни в чужой багаж без ведома хозяев. Спустя десятилетия Мария умерла от анемии, вызванной, скорее всего, теми самыми экспериментами; и человечество извлекло урок, и человечество пошло дальше.