Насколько он знал, мораль вполне могла требовать истребления человечества; и в таком случае он не видел никакой доблести в том, чтобы выступать против морали, поскольку полагал: по определению, если он постулирует этот моральный факт, значит, уничтожение человечества — это именно то, что «должно» быть сделано.

Я думал, что, возможно, сумею выяснить, что правильно, получив достаточно времени на размышления и достаточно фактов, но в данный момент у меня нет никакой информации об этом. Я не мог доверять создавшей меня эволюции. Какую почву под ногами это мне оставляло?

Что ж, Элиезер-₁₉₉₉ действительно колоссально заблуждался насчет природы морали — во всяком случае, в том, что касалось его явно сформулированной философии.

Но, как однажды заметил Дэвидсон, если вы верите, что «бобры» живут в пустынях, имеют чисто-белый окрас и во взрослом возрасте весят 300 фунтов, то у вас вообще нет никаких убеждений насчет бобров, ни истинных, ни ложных. По крайней мере часть ваших убеждений должна быть верной, прежде чем остальные смогут оказаться ошибочными насчет чего бы то ни было.¹

Мое убеждение, что у меня нет никакой информации о морали, не было внутренне согласованным.

Слова о том, что я ничего не знаю, казались добродетельными, ведь когда-то меня учили, что признавать свое невежество — это добродетель. «Я знаю только то, что ничего не знаю» и все в таком духе. Но в данном случае мне стоило бы вспомнить известное, пусть и преувеличенное изречение: «Величайший глупец — тот, кто не осознает своей мудрости». (Это далеко не величайшая глупость, но все же глупость.)

Было ли неправильным убивать людей? Ну, я так думал, но не был уверен; может быть, убивать людей правильно, хотя это и казалось менее вероятным.

Какая процедура дала бы ответ на вопрос, правильно ли убивать людей? Этого я тоже не знал, но думал, что если построить универсальный сверхинтеллект (то, что позже я назову «призраком абсолютной пустоты»), то он смог бы, понимаете ли, рассуждать о том, что с наибольшей вероятностью правильно или неправильно; а поскольку он сверхинтеллектуален, он неизбежно придет к верному ответу.

Проблема, о которой я умудрялся особо не задумываться, заключалась в том, откуда сверхинтеллект возьмет процедуру, которая обнаружит процедуру, которая обнаружит процедуру, которая обнаружит мораль — если я не мог вписать ее в начальное состояние, написавшее ИИ-преемника, который написал следующего ИИ-преемника.

Как позже выразился Марчелло Херресхофф: «Мы никогда не утруждаем себя запуском компьютерной программы, кроме тех случаев, когда мы не знаем результата, но знаем о нем некий важный факт». Если я ничего не знал о морали и даже не претендовал на знание ее природы, то как я вообще мог сконструировать какую-либо компьютерную программу — пусть даже «сверхинтеллектуальную» или «самосовершенствующуюся» — и утверждать, что на выходе она выдаст нечто под названием «мораль»?

В компьютерных науках существуют теоремы о «бесплатном обеде» — во вселенной с максимальной энтропией ни один план в среднем не лучше любого другого. Если у вас нет вообще никаких знаний о «морали», то не существует и вычислительной процедуры, которая казалась бы более вероятной, чем другие, для вычисления «морали», как нет и метапроцедуры, которая с большей вероятностью, чем другие, выдаст процедуру, вычисляющую «мораль».

Я думал, что уж конечно даже призрак идеальной пустоты, обнаружив, что ничего не знает о морали, увидит моральный императив в том, чтобы размышлять о морали.

Но трудность кроется в самом слове думать. Мышление — это не та деятельность, которую призрак идеальной пустоты способен выполнять автоматически. Мышление требует запуска конкретного вычисления, которое и является мыслью. Чтобы рефлексивный ИИ решил подумать, он должен знать некое вычисление, которое, по его мнению, с большей вероятностью сообщит ему желаемое, чем сеанс с доской Уиджа; кроме того, у ИИ должно быть представление о том, как интерпретировать результат.

Если человек ничего не знает о морали, что вообще означает слово «должно»? Если вы не знаете, правильно ли существование смерти или неправильно — и не знаете, как можно выяснить, правильно оно или неправильно — и не знаете, может ли какая-либо процедура выдать процедуру, определяющую, правильно оно или неправильно, — то что вообще значат эти слова — «правильно» и «неправильно»?

Если в слова «правильно» и «неправильно» изначально ничего не встроено — нет никакой отправной точки — если абсолютно всё в морали открыто для интерпретаций, не только содержание, но и структура, и отправная точка, и процедура определения — то в чем тогда их смысл? Что отличает фразу «Я не знаю, что правильно» от «Я не знаю, что такое вакаликсы»?

Ученый может сказать, что в науке абсолютно все открыто для пересмотра, поскольку любая теория может быть опровергнута; но при этом у него есть определенное представление о том, что считалось бы свидетельством, способным опровергнуть теорию. Может ли существовать нечто, способное изменить представления ученого о том, что считать свидетельством?

Вообще-то да; ученому, который читал Карла Поппера и думал, будто знает, что такое «свидетельство», можно предъявить доказательства согласованности и единственности, лежащие в основе байесовской вероятности, и это может изменить его определение свидетельства. Возможно, у него заранее не было никакого явного представления о том, что подобное доказательство вообще может существовать. Но у него было бы неявное представление. В его мозг — пусть и не в виде явных представлений — было бы изначально вшито, что такой-то аргумент действительно убедит его в том, что байесовская вероятность дает более качественное определение «свидетельства», чем то, которое он использовал раньше.

Точно так же вы можете вполне осмысленно заявить: «Я не знаю, что такое мораль, но я узнаю ее, когда увижу».

Но в таком случае вы не бунтуете полностью против собственной эволюционной природы. Вы предполагаете, что всё, что было вшито в вас для распознавания «морали», является если не абсолютно заслуживающим доверия, то как минимум вашим исходным состоянием, с которого вы начинаете рассуждения. Можете ли вы вообще доверять своим моральным интуициям как источнику хоть какой-то информации о морали, если они — продукт всего лишь эволюции?

Но если вы отбросите все процедуры, которые дала вам эволюция, и все её продукты, то вы отбросите весь свой мозг. Вы отбросите всё, что потенциально способно распознать мораль, когда увидит её. Вы отбросите всё, что потенциально способно реагировать на моральные аргументы, обновляя вашу мораль. Вы даже размотаете цепочку дальше самого разматывателя: вы отбросите интуиции, лежащие в основе вашего вывода о том, что нельзя доверять эволюции в вопросах морали. Именно ваши существующие моральные интуиции говорят вам, что эволюция не кажется очень хорошим источником морали. Что тогда вообще будут значить слова «правильно», «должен» и «лучше»?

Люди не распознают истину безошибочно, когда видят её, а у охотников-собирателей нет явного понятия о байесовском критерии свидетельства. Но вся наша наука и вся наша теория вероятностей были построены на цепочке обращений к нашему инстинктивному понятию «истины». Будь это ядро дефектным, мы в принципе никак не смогли бы прийти к нынешнему пониманию науки; само понятие науки показалось бы нам совершенно непривлекательным и бессмысленным.

Одним из аргументов, который мог бы заставить меня-подростка отказаться от этого заблуждения, если бы я мог вернуться во времени и поспорить с ним, был вопрос:

Может ли существовать некая мораль, некая заданная правильность или неправильность, которую люди не воспринимают, не хотят воспринимать, не увидят ни одного убедительного морального аргумента в пользу её принятия, ни морального аргумента в пользу перехода к процедуре, которая её предписывает, и так далее? Может ли существовать мораль, в то время как мы находимся совершенно вне её системы координат? Но что тогда делает эту вещь моралью — а не просто каменной скрижалью где-то с надписью «Убивай», для которой не предлагается абсолютно никакого обоснования?

Всё это подводит к тому, что вам стоит согласиться с тем, что вы можете знать о морали хотя бы немного. Возможно, ничего бесспорного, но это исходное состояние, с которого можно начать задавать себе вопросы. Возможно, это вшито в ваш мозг и не осознаётся вами явно; но всё же то, что ваш мозг распознал бы как правильное, и есть то, о чём вы говорите. Вы примете хотя бы малую часть того, как вы реагируете на моральные аргументы, в качестве отправной точки, чтобы определить «мораль» как нечто, о чём стоит задуматься.

Но это довольно большой шаг.

Это означает признать, что ваш собственный разум задаёт моральную систему координат, а не считать мораль великим светом, сияющим извне (который вы в принципе могли бы вообще не воспринимать). Это подразумевает признание того, что даже если бы существовал свет и ваш мозг решил распознать его как «мораль», это всё равно был бы ваш собственный мозг, который его распознал, и вы не уклонились бы от причинно-следственной ответственности — как, на мой взгляд, и от моральной ответственности.

Это означает отказ от мысли, что призрак абсолютной пустоты обязательно согласится с вами, поскольку этот призрак может находиться в иной моральной системе координат, реагировать на иные аргументы и задаваться другим вопросом, когда вычисляет, что делать дальше.

И если вы готовы заложить хотя бы несколько вещей в само значение темы «морали», в это свойство правильности, о котором вы говорите, когда ведете речь о «правильности» — если вы готовы принять даже то, что мораль — это как раз то, о чём вы спорите, когда спорите о «морали» — то почему бы не принять и другие интуиции, другие части себя в качестве отправной точки?

Почему бы не принять, что, при прочих равных, радость предпочтительнее печали?

Возможно, позже вы найдете в себе или надстроите над собой основания для критики этого — но почему бы не принять это сейчас? И не просто как личное предпочтение, заметьте, а как нечто, вшитое в сам вопрос, которым вы задаетесь, когда спрашиваете: «Что истинно правильно?»?

Но тогда вы можете обнаружить, что знаете о морали довольно-таки много! Ничего определенного, ничего бесспорного, ничего неоспоримого — но тем не менее довольно большой объем информации. Готовы ли вы отказаться от своего сократовского невежества?

Разумеется, я не строю аргументацию на определениях. Но если вы утверждаете, будто вообще ничего не знаете о морали, у вас возникнут проблемы со значением ваших слов, а не только с их правдоподобностью.

*

1. Рорти, «Вне матрицы: как покойный философ Дональд Дэвидсон показал, что реальность не может быть иллюзией».