Если бы мне пришлось выбрать одно-единственное утверждение, которое опирается на большее количество написанного мной для Overcoming Bias материала, чем любое другое, то это было бы утверждение:

Любое Будущее, не сформированное целевой системой с детальным и надежным наследованием человеческой морали и метаморали, не будет содержать почти ничего ценного.

— Ну, — говорит оппонент, — возможно, с точки зрения твоих провинциальных человеческих ценностей, тебе бы это и не понравилось. Но я легко могу представить себе галактическую цивилизацию, полную агентов, которые ничуть не похожи на тебя, но находят огромную ценность и интерес в своих собственных целях. И меня это вполне устраивает. Я не настолько предвзят, как ты. Пусть Будущее идёт своим путём, не надо пытаться навечно привязать его к смехотворно примитивным предрассудкам кучки четырёхконечностных Мягкотелых Тварей...

Друг мой, я ничего не имею против мысли о галактической цивилизации, совершенно не похожей на нашу... полной странных существ, которые не похожи на меня даже в собственном воображении... стремящихся к удовольствиям и опыту, которым я не могу даже начать сопереживать... торгующих на рынке невообразимых товаров... объединяющихся для достижения непостижимых целей... людей, чьи жизненные истории я никогда бы не смог понять.

Именно так выглядит Будущее, если все идет правильно.

Если цепочка наследования от человеческой (мета)морали прервется, Будущее не будет выглядеть так. Оно не станет волшебно и восхитительно непостижимым.

С очень высокой вероятностью оно в итоге окажется унылым. Бессмысленным. Чем-то таким, о чьей утрате вы не стали бы горевать.

Чтобы увидеть в этом очевидное, как раз и требуется то огромное количество фоновых объяснений.

И я не собираюсь перебирать здесь все тезисы и извилистые пути аргументации, потому что это вернуло бы нас к 75% моих постов в Overcoming Bias. За исключением замечания о том, как много разных вещей нужно знать, чтобы ограничить рамками окончательный ответ.

Рассмотрим невероятно важную человеческую ценность «скуки» — наше желание не делать «одно и то же» снова, снова и снова. Можно представить себе разум, содержащий почти всю спецификацию человеческих ценностей, почти всю мораль и метамораль, но упустивший лишь одну эту вещь —

— и потому он до скончания времен и до самых дальних уголков своего светового конуса проигрывал одно-единственное высокооптимизированное переживание снова, снова и снова.

Или представьте разум, содержащий почти всю спецификацию того, какие чувства доставляют людям наибольшее удовольствие, но без идеи о том, что у этих чувств есть важные внешние референты. Так что этот разум просто существовал бы, чувствуя, будто совершил важное открытие, чувствуя, будто нашел идеального возлюбленного, чувствуя, будто помог другу, но на самом деле не делая ничего из этого — став собственной машиной опыта. И если бы этот разум стремился к этим чувствам и их референтам, будущее было бы хорошим и настоящим; но поскольку это одно измерение ценности было упущено, будущее превратилось в нечто унылое. Скучное и однообразное, ведь хотя этот разум и чувствовал, что сталкивается с переживаниями невероятной новизны, это ощущение ни в коей мере не соответствовало истине.

Или противоположная проблема — агент, содержащий все аспекты человеческих ценностей, за исключением оценки субъективного опыта. В результате получается лишённый сознания оптимизатор, который совершает подлинные открытия, но эти открытия никто не смакует и не ценит, потому что некому это делать. Признаю, я не знаю наверняка, возможно ли это. Сознание все еще в некоторой степени ставит меня в тупик. Но вселенной, в которой некому свидетельствовать о ней, с тем же успехом могло бы и не быть.

Ценность не просто сложна, она хрупка. Существует более одного измерения человеческих ценностей, где утрата лишь одного этого элемента сводит Будущее к нулю. Один удар — и вся ценность разлетается вдребезги. Не каждый отдельный удар разрушит всю ценность — но более чем один возможный «одиночный удар» способен на это.

А еще существуют долгие обоснования этого утверждения, опирающиеся на 75% моих постов в Overcoming Bias, так что обобщить всё это — задача не на один день. Может, как-нибудь в другую неделю. Я видел так много ветвей, по которым уходило это дерево дискуссий.

В конце концов, разум не должен просто испытывать одно и то же переживание снова, снова и снова. Неужели сверхинтеллект совершил бы столь грубую ошибку относительно правильного действия?

Зачем какому-либо сверхразуму желать чего-то столь изначально никчемного, как ощущение открытия без самих реальных открытий? Даже если бы это было его функцией полезности, разве он не заметил бы, что его функция полезности неверна, и не переписал бы ее? У него же есть свобода воли, верно?

Уж конечно, хотя бы скука должна быть универсальной ценностью. Она развилась у людей, потому что она ценна, верно? Так что любой разум, не разделяющий нашей неприязни к повторениям, не сможет преуспеть во Вселенной и будет отсеян...

Если вы знакомы с разницей между инструментальными и терминальными ценностями, а также знакомы с глупостью естественного отбора, и понимаете, как эта глупость проявляется в разнице между реализацией адаптаций и максимизацией приспособленности, и знаете, что это превратило инструментальные подцели размножения во внеконтекстные безусловные эмоции...

... и знакомы с тем, как в сфере искусственного интеллекта устроен компромисс между исследованием и использованием...

...тогда вы, возможно, сможете увидеть, что человеческая форма скуки, требующая постоянного притока новизны ради нее самой, — это не великая универсалия, а всего лишь конкретный алгоритм, который эволюция выплюнула в нас. И вы, возможно, сможете увидеть, почему подавляющее большинство возможных максимизаторов ожидаемой полезности занимались бы эффективными исследованиями лишь в строго ограниченном объеме, а большую часть времени тратили бы на использование наилучшей альтернативы, найденной на данный момент, снова, снова и снова.

Для этого, однако, требуется слишком много фоновых знаний.

И так далее, и так далее, и так далее на протяжении 75% моих постов в Overcoming Bias и многих цепочек заблуждений и контр-объяснений. Как-нибудь на досуге я, возможно, попытаюсь расписать всю схему целиком. Но пока я буду считать, что вы уже читали эти аргументы, и просто изложу вывод:

Мы не можем ослабить контроль над будущим — выпустить из рук руль — и все равно получить в итоге хоть что-то ценное.

А те, кто считает, что мы можем, —

— они пытаются быть космополитами. Я это понимаю. В детстве я читал те же самые фантастические книги: провинциальные злодеи, порабощающие инопланетян лишь за то, что те не похожи на людей; провинциальные злодеи, держащие в гнусном заточении беспомощных ИИ, полагая, что кремний не может обладать сознанием; и космополитичные герои, которые понимают, что разум не обязан быть похожим на наш, чтобы мы признали его ценность —

Я читал эти книги. И когда-то я им верил. Но красота, выпрыгивающая из одной коробки, вовсе не обязательно выпрыгивает из всех коробок. Если отбросить всякий порядок, останется не идеальный ответ; останется абсолютный шум. Иногда приходится отказываться от старого конструкторского правила, чтобы построить лучшую мышеловку, но это совсем не то же самое, что отказаться от всех конструкторских правил вообще и просто сгрести древесную стружку в кучу, считая любой случайный узор из щепок ничем не хуже любого другого. От старого правила всегда отказываются по велению какого-то более высокого правила, какого-то более высокого, определяющего критерия ценности.

Если вы ослабите хватку человеческой морали и метаморали — результат не будет таинственным, чуждым и прекрасным по меркам человеческих ценностей. Это будет моральный шум, вселенная, замощенная скрепками. Отклонение от человеческой морали в сторону улучшения, а не энтропии требует критерия улучшения; и этот критерий физически представлен в наших мозгах, и только в них.

Стоит ослабить хватку человеческих ценностей, удерживающую вселенную, и в итоге она окажется напрочь лишённой ценности. Не странной, чуждой и чудесной, шокирующей, пугающей и прекрасной за пределами всякого человеческого воображения. А просто — замощенной скрепками.

Видите ли, это только у некоторых людей есть эта идея — принимать всё многообразие видов разума, желать, чтобы Будущее было чем-то большим, чем прошлое, стремиться не быть привязанными к своему прошлому «я», пытаться меняться и двигаться вперед.

Максимизатор скрепок просто выбирает то действие, которое ведет к наибольшему количеству скрепок.

Бесплатных обедов не бывает. Хотите чудесную и таинственную вселенную? Это ваша ценность. Вы трудитесь над созданием этой ценности. Пусть эта ценность проявляет свою силу через вас, её представителя; пусть она принимает решения в вас, формируя будущее. И тогда, возможно, вы действительно получите чудесную и таинственную вселенную.

Бесплатных обедов не бывает. Ценные вещи появляются потому, что целевая система, которая их ценит, предпринимает действия для их создания. Скрепки не материализуются из ниоткуда для максимизатора скрепок. И удивительно чуждое, таинственное Будущее не материализуется из ниоткуда для нас, людей, если наши ценности, которые отдают ему предпочтение, будут физически уничтожены — или даже искажены не в том измерении. Тогда во вселенной не останется ничего, что работало бы над тем, чтобы сделать вселенную ценной.

У вас действительно есть ценности, даже когда вы пытаетесь быть «космополитичным», пытаясь продемонстрировать подобающее добродетельное уважение к чуждому разуму. Просто в такие моменты ваши ценности еще сильнее уходят на невидимый задний план — они кажутся менее очевидно человеческими. Ваш мозг, скорее всего, даже не сгенерирует альтернативу настолько ужасную, чтобы она заставила вас очнуться и сказать: «Нет! Что-то пошло не так!», даже на пике вашего космополитизма. Например: «не обладающий сознанием оптимизатор поглощает всё вещество в своём будущем световом конусе и замащивает вселенную скрепками». Вы будете просто воображать странные чужие миры, чтобы восхищаться ими.

Попытки быть «космополитом» — гражданином космоса — всего лишь сдирают поверхностный налёт целей, которые кажутся очевидно «человеческими».

Но если вы не хотели бы видеть Будущее, замощенное скрепками, а предпочли бы цивилизацию...

...сознающих существ...

...с приятными переживаниями...

...которые не сводятся к одному и тому же переживанию снова и снова...

...и привязаны к чему-то еще, кроме просто последовательности внутренних приятных ощущений...

...обучающихся, совершающих открытия, свободно выбирающих...

...что ж, мои посты по Теории веселья углубляются в некоторые скрытые подробности, стоящие за этими короткими словами.

Ценности, которые вы могли бы превозносить как космополитичные, универсальные, фундаментальные или как очевидный здравый смысл, представлены в вашем мозге точно так же, как и те, что вы могли бы отбросить как всего лишь человеческие. Эти ценности проистекают из долгой истории человечества и морально чудесной глупости создавшей нас эволюции. (И когда я наконец пришел к этому осознанию, мне стало менее стыдно за ценности, казавшиеся «провинциальными» — но это уже другое дело.)

Эти ценности не возникают во всех возможных разумах. Они не появятся из ниоткуда, чтобы упрекнуть и отменить функцию полезности максимизатора ожидаемого количества скрепок.

Стоит нажать чуть сильнее не в том измерении, и физическое воплощение этих ценностей разлетится вдребезги — и уже не вернётся, ибо не останется ничего, что могло бы захотеть его вернуть.

И у референта этих ценностей — достойной вселенной — больше не будет никаких физических причин для возникновения.

Выпустите руль из рук, и Будущее потерпит крушение.

*