В этих словах звучит несусветная глупость зеленой юности; безрассудство столь бездонного невежества, какое возможно лишь для представителя вашей эфемерной расы...
—Гарлейн из Эддора1
Давным-давно, много лет назад, я предложил таинственный ответ на таинственный вопрос — на что уже неоднократно намекал. Однако таинственным вопросом, на который я предложил таинственный ответ, было вовсе не сознание — или, скорее, не только сознание. Нет, куда более постыдная ошибка заключалась в том, что я придерживался таинственного взгляда на мораль.
Я откладывал обсуждение этого до сего момента, до окончания серии о метаэтике, потому что хотел, чтобы было совершенно ясно: Элиезер-1997 действительно ошибся.
Когда мы расстались с ним в прошлый раз, Элиезер-1997, не удовлетворившись интуитивными аргументами в пользу того, что сверхразум будет морален, вознамерился неопровержимо доказать, что создание сверхразума — это правильный поступок.
Что ж (говорил Элиезер-1997), начнем с вопроса: имеет ли жизнь вообще хоть какой-то смысл?
«Я не знаю», — тут же отвечал Элиезер-1997 с некоторой долей самодовольства от того, что признает собственное незнание по теме, в которой столь многие другие кажутся уверенными.
«Но, — продолжал он, —»
(Всегда настораживайтесь, когда за признанием своего незнания следует слово «Но».)
«Но если предположить, что жизнь не имеет смысла — то есть полезность всех исходов равна нулю, — то эта возможность исключается из любого расчета ожидаемой полезности. Следовательно, мы всегда можем действовать так, будто точно известно, что жизнь имеет смысл, даже если мы не знаем, в чем этот смысл заключается. Как нам этот смысл выяснить? Учитывая, что люди до сих пор спорят об этом, задача, вероятно, слишком сложна для человечества. А значит, нам нужен сверхразум, чтобы он решил ее за нас. Что же касается возможности того, что логического обоснования превосходства одних предпочтений над другими вообще не существует, то в этом случае строить сверхразум ничуть не более правильно или неправильно, чем делать что-либо еще. Это реальная возможность, но она выпадает из любой попытки рассчитать ожидаемую полезность — мы должны просто ее проигнорировать. Если кто-то утверждает, будто сверхразум уничтожит человечество, он либо доказывает, что уничтожение человечества на самом деле является правильным поступком (хотя мы и не видим причин, почему это должно быть так), либо утверждает, что правильных поступков не существует (и в этом случае его аргумент против создания разума опровергает сам себя)».
Эргх. Написать этот абзац было по-настоящему трудно. Мое прошлое «я» — это всегда мой самый концентрированный криптонит, потому что оно в точности воплощает все то, для блокировки чего я сегодняшний выработал в себе аллергию. Не зря говорят, что родители сами совершают все то, что запрещают делать детям, и именно поэтому знают, что этого делать нельзя; то же справедливо и для прошлых и будущих ипостасей самого себя.
Насколько ошибочен аргумент Элиезера-1997? Я со счета собьюсь, перечисляя все изъяны. Я знаю, что память ненадежна и реконструируется при каждом воспоминании, поэтому я не доверяю тому, как мой нынешний разум склеивает эти старые осколки. Не просите меня перечитывать мои старые работы — это слишком болезненно.
Но очевидно, что тогда я представлял себе полезность как некую субстанцию, внутренне присущее свойство. Так что фраза «жизнь бессмысленна» соответствовала полезности, равной нулю. Но, конечно, этот аргумент с тем же успехом сработал бы и при полезности, равной 100: если все имеет смысл, но смысл этот везде одинаков, то данный случай тоже должен исключаться... Разумеется, я тогда не думал о функции полезности как об аффинной структуре предпочтений. Я думал о «полезности» как об абсолютном уровне внутренней ценности.
Я думал о «следует» как о некоей чисто абстрактной сути непреодолимого побуждения, о «том-что-заставляет-тебя-что-то-делать»; так что любой разум, который вывел бы «следует», безусловно оказался бы им связан. Отсюда и предположение, которое Элиезер-1997 даже не догадался зафиксировать явно: будто логика, принуждающая абстрактный разум к какому-либо действию, — это в точности то же самое, что люди имеют в виду и на что ссылаются, произнося слово «правильно»...
Но сейчас я пытаюсь перечислить все эти изъяны, хотя, если вы следили за ходом мысли, вы вполне справитесь с этим самостоятельно.
Важный аспект всего этого провала заключался в том, что, доказав себе, будто случай «жизнь бессмысленна» не заслуживает рассмотрения, я посчитал необязательным строго определять понятия «интеллект» или «смысл». Ранее я придумал изящное оправдание тому, почему не стоит стремиться к формализму и строгости при определении «интеллекта» (или «морали»), а именно — все те подмены понятий, к которым прибегали прежние специалисты по ИИ, философы и моралисты, давая определения, упускавшие саму суть.
Отсюда я вынес следующий урок: каким бы умным ни было оправдание для снижения планки требований или уклонения от строгости, оно все равно выстрелит вам прямо в ногу.
И еще один урок: я был силен в опровержениях. Если бы я применил к собственной позиции тот же уровень критичности — когда аргумент отвергается при наличии малейшего изъяна, — какой я использовал для сокрушения доводов оппонентов, я бы сразу нацелился на этот логический пробел и отбросил свою позицию — если бы, конечно, захотел этого. Если бы относился к ней столь же предвзято, как к остальным позициям в этой дискуссии.
Но все это было до того, как я услышал о Канемане, до того, как узнал термин «мотивированный скептицизм», до того, как интегрировал концепцию единственно верного состояния неопределенности, суммирующего все имеющиеся свидетельства, и до того, как осознал всю пагубность вопросов «Позволено ли мне верить?» для симпатичных мне позиций и «Обязан ли я верить?» для несимпатичных. Я был всего лишь Традиционным Рационалистом, который представлял научный процесс как третейского судью в споре сторонников разных точек зрения — пусть победит сильнейший.
Моим главным изъяном была вовсе не любовь к «разуму» и не приверженность технофилии и научной фантастике, воспевающим братство разумных существ. И уж точно им не была моя способность подмечать чужие ошибки. Ничто из этого не могло бы сбить меня с пути, если бы я с самого начала придерживался более высоких стандартов строгости и не принимал никакой позиции, им не соответствующей. Или если бы я хотя бы исследовал свою любимую расплывчатую позицию с теми же требованиями строгости, которые предъявлял к контраргументам.
Но меня мало интересовали попытки опровергнуть собственную веру в то, что жизнь имеет смысл, поскольку в моих рассуждениях всегда доминировали примеры, где жизнь этот смысл действительно имела.
А поскольку на кону стоял взрыв интеллекта, я считал, что должен просто двигаться вперед на полной скорости, используя лучшие концепты, какими располагал на тот момент, а не останавливаться и замораживать всю работу в поисках идеального определения, с которым уже облажалось столько других...
Нет.
Нет, вы не используете лучшие концепты из тех, что доступны вам на данный момент.
Вас судит Природа, а Природа не принимает даже самых благородных оправданий. Если вы не соответствуете стандарту, вы проигрываете. Всё очень просто. Не существует изящного довода в пользу того, почему вам приходится обходиться тем, что есть, — ведь Природа не станет слушать этот довод и не простит вас только потому, что у вас было множество отличных оправданий для спешки.
Все мы знаем, что случилось с Дональдом Рамсфелдом, когда он отправился на войну с той армией, которая у него была, а не с той, которая была ему нужна.
Возможно, Элиезер-1997 не мог сотворить правильную модель из ниоткуда. (Хотя кто знает, что произошло бы, если бы он действительно попытался...) И с его стороны было бы неразумно полностью прекратить думать в ожидании, пока строгость вдруг сама собой материализуется из воздуха.
Но со стороны Элиезера-1997 также было ошибкой опираться всем весом на свою «наилучшую догадку» в условиях отсутствия точности. Вы можете использовать расплывчатые концепты в качестве промежуточных мыслительных процессов, пока ищете лучший ответ, будучи недовольными своими текущими смутными намеками и не желая опираться на них всем весом. Но вы не строите сверхразум на базе промежуточного понимания. Нет, даже на базе самого «лучшего» из имеющихся у вас расплывчатых представлений. В этом и заключалась моя ошибка — я думал, что фраза «наилучшая догадка» хоть как-то меня оправдывает. Существовал лишь стандарт, которому я не соответствовал.
Конечно, Элиезер-1997 не хотел замедляться на пути к взрыву интеллекта, ведь на кону стояло столько жизней, да и само выживание земного разума как такового, если бы мы перешагнули в эпоху нанооружия до наступления эпохи сверхразума...
Природе плевать на эти благородные причины. Существует лишь астрономически высокий стандарт, необходимый для успеха. Либо вы ему соответствуете, либо проигрываете. Вот и всё.
Апокалипсис не обязан быть к вам справедливым.
Апокалипсис не обязан давать вам шанс на успех
В обмен на то, с чем вы уже пришли.
Сложность апокалипсиса не соразмерна вашим навыкам.
Цена апокалипсиса не соразмерна вашим ресурсам.
Если апокалипсис требует от вас чего-то неразумного
И вы пытаетесь немного сторговаться
(Потому что каждому из нас время от времени приходится идти на компромиссы)
Апокалипсис не станет торговаться в ответ.
И, о да, дальше будет только хуже.
Как же Элиезер-1997 справлялся с очевидным аргументом о том, что невозможно вывести «должно» из чистой логики, поскольку суждения о должном могут быть выведены только из других суждений о должном?
Что ж (замечал Элиезер-1997), эта проблема имеет ту же структуру, что и аргумент о том, что причина может исходить только от другой причины, или что реальная вещь может произойти только от другой реальной вещи, с помощью чего можно доказать, что вообще ничего не существует.
Таким образом (утверждал он), существуют три «трудные проблемы»: трудная проблема сознания, из которой мы видим, что квалиа не могут возникать из вычислимых процессов; трудная проблема существования, в которой мы задаемся вопросом, как вообще нечто существующее возникает, казалось бы, из ничего; и трудная проблема морали, которая заключается в том, чтобы прийти к «должно».
Эти проблемы, вероятно, связаны между собой. Например, квалиа удовольствия — один из лучших кандидатов на роль чего-то желанного самого по себе. Возможно, мы не сможем понять трудную проблему морали, не разгадав сначала трудную проблему сознания. Очевидно, что эти проблемы слишком сложны для людей — иначе за последние 2500 лет, прошедших с момента изобретения философии, кто-нибудь их уже решил бы.
Не то чтобы у них могли быть сложные решения — для этого они слишком просты. Проблема просто должна лежать за пределами человеческого понятийного пространства. Раз мы видим, что сознание не может возникнуть в результате какого-либо вычислимого процесса, значит, здесь должна быть задействована новая физика — физика, которую наш мозг использует, но не способен понять. Вот почему для решения этой проблемы нам необходим сверхразум. Вероятно, это связано с квантовой механикой, возможно, с добавлением крошечных замкнутых времениподобных кривых из общей теории относительности; временные парадоксы могут обладать теми же свойствами несводимости, которых, судя по всему, требует сознание...
И так далее, до тошноты. В цикле моих постов на Overcoming Bias вы уже, возможно, начинаете улавливать контуры письма, которое мне хотелось бы написать самому себе в прошлое.
Из этого я извлек следующий урок: вы не можете манипулировать замешательством. Вы не можете строить хитрые планы в обход пробелов в своем понимании. Вы даже не можете строить «наилучшие догадки» о вещах, которые в корне ставят вас в тупик, и связывать их с другими столь же непонятными вещами. Точнее, вы можете, но не попадете в цель, пока ваше замешательство не рассеется. Замешательство существует в разуме, а не в реальности, и попытки обращаться с ним как с чем-то, что можно взять и переставить, приведут лишь к непреднамеренной комедии.
Точно так же вы не можете придумывать хитроумные объяснения тому, почему пробелы в вашей модели не имеют значения. Вы не можете очертить границу вокруг тайны, приделать к ней удобные ручки, чтобы пользоваться этой Таинственной Вещью, толком её не понимая, — как в моей попытке сделать так, чтобы возможность бессмысленности жизни просто сократилась в формуле ожидаемой полезности. Вы не можете взять этот пробел и манипулировать им.
Если белое пятно на вашей карте скрывает мину, то наступить на это место всем весом будет фатально, какими бы хорошими ни были ваши оправдания собственного незнания. Любой черный ящик может таить в себе ловушку, и узнать об этом никак нельзя, кроме как открыв этот черный ящик и заглянув внутрь. Если вы придумаете себе какое-нибудь праведное оправдание тому, почему вам необходимо мчаться вперед, пользуясь наилучшим из имеющихся у вас пониманий, — ловушка сработает.
Только когда вы знаете правила,
Вы понимаете, почему вам нужно было учиться;
Что случилось бы в противном случае,
Как много вам нужно было знать.
Только знание способно предсказать цену невежества. У древних алхимиков не было логического способа узнать точные причины, по которым им было так трудно превратить свинец в золото. Поэтому они травились и умирали. Природе всё равно.
Но пришло время, когда ко мне начало приходить осознание.
*
1. Эдвард Элмер Смит, «Линзмены второй ступени» (Old Earth Books, 1998).