Желаю жить в местах по моему выбору, в физически здоровой, неповрежденной и внешне нормальной версии моего нынешнего тела, сохраняющей мое текущее ментальное состояние; тела, которое будет исцеляться от любых повреждений со скоростью на три сигмы выше средней с учетом доступных мне медицинских технологий, и которое будет защищено от любых болезней, травм или недугов, вызывающих инвалидность, боль или ухудшение работы любых органов чувств, органов или телесных функций на срок более десяти дней подряд или пятнадцати дней в течение любого года...

—Проект «Открытый код желаний», Желание бессмертия 1.1

Существует три типа джиннов: джинны, которым можно безопасно сказать: «Я желаю, чтобы ты сделал то, что мне следовало бы пожелать»; джинны, для которых ни одно желание не безопасно; и джинны, которые не обладают большой силой или умом.

Представьте, что ваша пожилая мать оказалась в ловушке в горящем здании, а вы, так уж вышло, прикованы к инвалидному креслу и не можете броситься туда сами. Вы могли бы закричать: «Вытащите мою маму из этого здания!», но вас некому услышать.

К счастью, у вас в кармане лежит Насос исходов. Это удобное устройство сжимает поток времени, переливая вероятность в одни исходы и откачивая ее из других.

Насос исходов не обладает разумом. Внутри него находится крошечная машина времени, которая сбрасывает время назад, если только не наступает заданный исход. Например, если бы вы подключили датчики Насоса исходов к монетке и задали условие, что машина времени должна совершать сброс до тех пор, пока монетка не выпадет орлом, а затем подбросили ее, вы увидели бы, как выпал орел. (Физики говорят, что любое будущее, в котором происходит «сброс», противоречиво и поэтому вообще изначально не случается — так что на самом деле вы не убиваете никакие версии самого себя.)

Какое бы утверждение вы ни ухитрились ввести в Насос исходов, оно каким-то образом происходит, хотя и без нарушения законов физики. Если попытаться ввести утверждение, вероятность которого слишком мала, машина времени испытает внезапную механическую поломку еще до того, как этот исход вообще произойдет.

Перенаправлять потоки вероятностей можно и более количественным образом — с помощью «функции будущего», масштабирующей вероятность временного сброса для различных исходов. Если вероятность временного сброса составляет 99%, когда монета выпадает орлом, и 1%, когда выпадает решка, шансы изменятся с 1:1 на 99:1 в пользу решки. Если бы у вас была загадочная машина, выдающая деньги, и вы хотели бы максимизировать сумму выдачи, вы бы использовали вероятности сброса, которые уменьшаются по мере увеличения суммы денег. Например, выдача 10 долларов могла бы иметь вероятность сброса 99,999999%, а выдача 100 долларов — 99,99999%. Таким образом, вы можете получить исход, значение которого стремится к максимуму в функции будущего, даже если не знаете наилучшего достижимого максимума.

И вот вы в отчаянии выхватываете Насос исходов из кармана — ваша мать все еще заперта в горящем здании, помните? — и пытаетесь описать свою цель: вытащить мать из здания!

Пользовательский интерфейс не принимает ввод на естественном языке. Насос исходов ведь не разумен, помните? Зато у него есть 3D-сканеры ближайшего окружения и встроенные утилиты для сопоставления образов. Так что вы подносите к сканеру фотографию лица и плеч вашей матери, сопоставляете изображение, используете непрерывность объекта, чтобы выделить все тело матери целиком (а не только ее голову и плечи), и задаете функцию будущего через расстояние от матери до центра здания. Чем дальше она от центра здания, тем меньше вероятность сброса машины времени.

«Вытащи мою мать из здания!» — кричите вы на удачу и нажимаете Enter.

На миг кажется, что ничего не происходит. Вы оглядываетесь по сторонам в ожидании пожарной машины или спасателей — или хотя бы просто какого-нибудь сильного и быстрого прохожего, который вынесет вашу мать из здания...

БУМ! С громоподобным ревом взрывается газовая магистраль под зданием. Конструкция рушится словно при замедленной съемке, и вы успеваете заметить, как изувеченное тело вашей матери взмывает высоко в воздух и на огромной скорости уносится все дальше от прежнего центра здания.

На корпусе Насоса исходов есть Кнопка сожаления для чрезвычайных ситуаций. Во всех функциях будущего нажатию этой кнопки автоматически присваивается огромное отрицательное значение — вероятность временного сброса становится близкой к 1. Таким образом, крайне маловероятно, что Насос исходов сделает нечто, способное расстроить пользователя настолько, чтобы тот нажал Кнопку сожаления. Вы не помните, чтобы хоть раз нажимали ее. Но не успели вы даже потянуться к Кнопке сожаления (да и какой в ней толк теперь?), как с неба падает пылающая деревянная балка и расплющивает вас.

Что было не совсем тем, чего вы хотели, но оценивается очень высоко в заданной функции будущего...

Насос исходов — это джинн второго класса. Ни одно желание не безопасно.

Если бы кто-то попросил вас спасти его бедную пожилую мать из горящего здания, вы могли бы помочь или притвориться, что не слышите. Но вам бы даже в голову не пришло взорвать здание. Просьба «вытащить мать из здания» звучит как гораздо более безопасное желание, чем на самом деле, потому что вы даже не рассматриваете планы, которым сами присваиваете крайние отрицательные значения.

Вспомните еще раз Трагедию группового селекционизма: некоторые ранние биологи утверждали, что групповой отбор на малую численность субпопуляции приведет к индивидуальной сдержанности в размножении; однако реальное применение группового отбора в лаборатории привело к каннибализму, особенно в отношении неполовозрелых самок. Задним числом очевидно, что при сильном отборе на малую численность субпопуляций каннибалы будут размножаться успешнее тех особей, кто добровольно отказывается от продолжения рода. Но поедание маленьких девочек — настолько неэстетичное решение, что Уинн-Эдвардс, Элли, Бреретон и другие сторонники группового отбора о нем попросту не подумали. Они видели лишь те решения, которые приняли бы сами.

Предположим, вы попытаетесь исправить функцию будущего, указав, что Насос исходов не должен взрывать здание: исходы, при которых материалы здания распределяются по слишком большому объёму, будут иметь вероятность временного сброса ~1.

В итоге ваша мать выпадает из окна второго этажа и ломает себе шею. Насос исходов выбрал другой путь во времени, который всё равно привёл к тому, что ваша мать оказалась снаружи здания, но это по-прежнему было не то, чего вы хотели, и это по-прежнему не было тем решением, которое пришло бы в голову спасателю-человеку.

Если бы только проект «Открытый код желаний» разработал Желание Вытащить Мать Из Горящего Здания:

Я желаю переместить мою мать (определяемую как женщина, которая разделяет половину моих генов и родила меня) за пределы здания, находящегося в данный момент ближе всего ко мне и охваченного огнем; но не путём взрыва здания; и не путём обрушения стен, чтобы у здания больше не было границ; и не путём ожидания, пока здание догорит, чтобы спасатель вынес её тело . . .

Все эти частные случаи, кажущееся бесконечным количество необходимых исправлений, должны напомнить вам притчу об Искусственном сложении — программировании экспертных систем сложения путём явного добавления всё новых утверждений вроде «пятнадцать плюс пятнадцать равно тридцать, но пятнадцать плюс шестнадцать вместо этого равно тридцать один».

Как вы исключаете исход, при котором здание взрывается и выбрасывает вашу мать в небо? Вы смотрите вперёд и предвидите, что ваша мать погибнет, а вам этого не хочется, поэтому вы пытаетесь запретить событие, которое к этому ведёт.

В вашем мозгу нет жёстко зашитого конкретного, заранее записанного утверждения: «Взорвать горящее здание, где находится моя мать, — плохая идея». И тем не менее вы пытаетесь записать именно это конкретное утверждение в функцию будущего Насоса исходов. В результате желание разрастается, превращаясь в гигантскую таблицу поиска, которая фиксирует вашу оценку каждого возможного пути во времени.

У вас не получилось попросить о том, чего вы действительно хотели. Вы хотели, чтобы ваша мать продолжала жить, но пожелали, чтобы она оказалась дальше от центра здания.

Вот только это не всё, чего вы хотели. Если вашу мать спасут из здания, но она получит ужасные ожоги, этот исход займёт в вашей иерархии предпочтений более низкое место, чем исход, при котором её спасут целой и невредимой. Значит, вы цените не только жизнь вашей матери, но и её здоровье.

И вы цените не только её физическое здоровье, но и душевное состояние. Спасение таким способом, который травмирует её психику — например, если гигантский фиолетовый монстр с рёвом возникнет из ниоткуда и схватит её — уступает появлению пожарного, который выведет её безопасным путём. (Да, мы должны придерживаться физики, но, возможно, при достаточно мощном Насосе исходов в округе по чистому совпадению именно в этот момент объявятся инопланетяне.) Впрочем, вы наверняка предпочли бы спасение монстром тому, чтобы она сгорела заживо.

А как насчёт кротовой норы, которая спонтанно откроется и перенесёт её на необитаемый остров? Это лучше, чем её смерть, но хуже, чем если бы она была жива, здорова, невредима, не травмирована и находилась в постоянном контакте с вами и другими членами своего круга общения.

Нормально ли спасти жизнь матери ценой жизни семейной собаки, если та побежала звать пожарного, но попала под машину? Очевидно, да, но при прочих равных было бы лучше избежать гибели собаки. Вы бы не захотели обменять другую человеческую жизнь на её жизнь, но как насчёт жизни осуждённого убийцы? Имеет ли значение, если убийца погибнет, пытаясь спасти её по доброте душевной? А два убийцы? Если бы ценой жизни вашей матери стало уничтожение всех существующих копий — включая воспоминания — Малой фуги соль минор Баха, стоило бы оно того? А если бы она была неизлечимо больна и всё равно умерла через полтора года?

Если ногу вашей матери раздавит горящая балка, стоит ли вытаскивать всё остальное? А если раздавит голову, оставив тело? А если раздавит тело, оставив только голову? А если снаружи ждёт команда крионистов, готовая заморозить её голову? Является ли замороженная голова человеком? Является ли человеком Терри Шиаво? Сколько «стоит» шимпанзе?

Ваш мозг не устроен бесконечно сложно; существует лишь конечная колмогоровская сложность (или длина сообщения), достаточная для описания всех суждений, которые вы могли бы вынести. Но то, что эта сложность конечна, не делает её малой. Мы ценим многое, и нет, эти ценности не сводятся к одной лишь ценности счастья или ценности репродуктивного успеха.

Не существует безопасного желания меньшего размера, чем вся человеческая мораль целиком. Во Времени слишком много возможных путей. Вы не можете представить себе все дороги, ведущие к цели, которую вы ставите перед джинном. «Максимизацию расстояния между вашей матерью и центром здания» можно выполнить ещё более эффективно — взорвав ядерное оружие. Или, при более высоком уровне могущества джинна, выбросив её тело за пределы Солнечной системы. Или, при более высоком уровне интеллекта джинна, сделав нечто такое, о чём ни вы, ни я даже не подумали бы — точно так же, как шимпанзе не подумал бы о подрыве ядерного оружия. Вы не можете визуализировать все пути во времени, так же как не можете запрограммировать шахматный компьютер, жёстко прописав ход для каждой возможной позиции на доске.

А реальная жизнь гораздо сложнее шахмат. Вы не можете заранее предсказать, какие из ваших ценностей понадобятся, чтобы оценить путь во времени, который выберет джинн. Особенно если вы желаете чего-то более долгосрочного или масштабного, чем спасение матери из горящего здания.

Боюсь, проект «Открытый код желаний» бесполезен — разве что в качестве иллюстрации того, как не следует думать о проблемах с джиннами. Единственный безопасный джинн — это джинн, разделяющий все ваши критерии оценки, и на этом этапе вы можете просто сказать: «Я желаю, чтобы ты сделал то, что мне следовало бы пожелать». Что просто запускает функцию «должен» джинна.

Собственно говоря, не должно быть необходимости говорить что-либо. Чтобы быть безопасным исполнителем желаний, джинн должен разделять те же ценности, которые побудили вас вообще загадать это желание. В противном случае джинн может выбрать не тот путь во времени, который ведёт к намеченной вами цели, или же не сумеет исключить ужасные побочные эффекты, из-за которых вы изначально даже не стали бы рассматривать подобный план. Желания — это протекающие обобщения, выведенные из огромной, но конечной структуры вашей морали целиком; только включив эту структуру полностью, можно перекрыть все протечки.

С безопасным джинном загадывать желания излишне. Просто запустите джинна.

*