Время от времени вы сталкиваетесь с человеком, который открыл Один Великий Моральный Принцип, из которого все остальные ценности вытекают как простое следствие.

Мне такие люди попадаются чаще, чем вам. Только в моём случае это люди, которые знают поразительно простую функцию полезности — единственное, что нужно запрограммировать в искусственный сверхинтеллект, и тогда всё будет отлично.

Некоторые люди, сталкиваясь с проблемой «как запрограммировать сверхинтеллект», пытаются решить её немедленно. Норман Р. Ф. Майер: «Не предлагайте решений, пока проблема не будет обсуждена как можно более подробно без упоминания каких-либо вариантов». Робин Доуз: «Я часто применял это предписание в группах, которыми руководил, — особенно когда они сталкивались с очень сложной проблемой, ведь именно тогда участники группы более всего склонны немедленно предлагать решения». Дружественный ИИ — это крайне сложная проблема, поэтому люди решают её крайне быстро.

Я наблюдал несколько основных классов быстрых неверных решений, и один из них — это Невероятно Простая Функция Полезности, Которой Сверхинтеллекту Будет Вполне Достаточно, Чтобы Всё Сложилось Как Надо.

Возможно, я сам усугубил эту проблему крайне неудачной формулировкой много лет назад, когда впервые заговорил о «Дружественном ИИ». Я назвал критерий оптимизации процесса оптимизации — ту область, куда агент пытается направить будущее, — «сверхцелью». Я имел в виду «сверх-» в смысле «над-» («родительский»), как источник направленной связи в ациклическом графе. Но, похоже, моя формулировка привела к тому, что некоторые люди погрузились в счастливые спирали смерти, пытаясь вообразить Самую-Пресамую Сверхцель, Цель, Которая Превосходит Все Другие Цели, Единое Абсолютное Правило, Из Которого Можно Вывести Всю Этику.

Но функция полезности вовсе не обязана быть простой. Она может содержать произвольное количество компонентов. У нас есть все основания полагать, что в той мере, в какой о людях вообще можно сказать, что они имеют ценности, этих ценностей очень много — они обладают высокой колмогоровской сложностью. Мозг человека реализует тысячу осколков желания, хотя этот факт может ускользать от тех, кто не изучал эволюционную психологию. (Попробуйте объяснить это без полноценного долгого введения, и вы услышите в ответ: «люди пытаются максимизировать приспособленность», что в точности противоположно тому, о чём говорит эволюционная психология).

Что касается дескриптивных теорий морали, сложность человеческой морали — это известный факт. Это дескриптивный факт о человеческих существах: любовь родителя к ребёнку, любовь ребёнка к родителю, любовь мужчины к женщине и любовь женщины к мужчине не были когнитивно выведены друг из друга или из какой-либо иной ценности. Матери не нужно заниматься сложной моральной философией, чтобы любить свою дочь, или экстраполировать последствия на какой-то иной объект желаний. Существует множество таких осколков желания, и все они — разные ценности.

Исключите всего лишь одну из этих ценностей из сверхинтеллекта, и даже если вы успешно включите все остальные ценности, вы можете прийти к гиперэкзистенциальной катастрофе — участи хуже смерти. Если появится сверхинтеллект, желающий для нас всего, чего мы сами желаем для себя, за исключением человеческих ценностей, связанных с контролем над собственной жизнью и достижением собственных целей, это будет одна из старейших классических антиутопий. (В данном случае — «Со сложенными руками…» Джека Уильямсона).

Так как же создатель Поразительно Простой Функции Полезности справляется с этим возражением?

Возражением? Возражением? С чего бы им искать возможные возражения против своей прелестной теории? (Заметьте, что процесс поиска реальных, неустранимых возражений — это совсем не то же самое, что добросовестный поиск, который волшебным образом выявляет лишь те вопросы, на которые у них есть хлёсткий ответ). Они ничего этого не знают. Они не думают о бремени доказательства. Они не знают, что проблема сложна. Они услышали слово «сверхцель» и ушли в счастливую спираль смерти вокруг понятия «сложность» или чего-то подобного.

Надавите на них в каком-нибудь конкретном вопросе — например, спросите про любовь матери к своим детям, — и они ответят: «Но если сверхинтеллект хочет „сложности“, он увидит, насколько сложны отношения между матерью и ребёнком, и потому будет поощрять матерей любить своих детей». Господи, ну и с чего здесь начать?

Начнём с мотивированной остановки: сверхинтеллект, действительно ищущий способы максимизации сложности, не остановился бы так удобно для нас, заметив, что отношения родителей и детей сложны. Он бы спросил, нет ли чего-то ещё более сложного. Это ложное оправдание; тот, кто пытается склонить воображаемый сверхинтеллект к выбору определённой стратегии, пришёл к этому предложению вовсе не в результате чистого поиска способов максимизации сложности.

Весь этот аргумент — ложная мораль. Если бы вы действительно ценили сложность, вы бы оправдывали инстинкт родительской любви, указывая на то, как он увеличивает сложность. Если же вы оправдываете стремление к сложности, утверждая, что оно увеличивает родительскую любовь, это значит, что на самом деле вы цените именно родительскую любовь. Это всё равно что приводить просоциальные аргументы в пользу эгоизма.

Но если учесть аффективную спираль смерти, то привлекательность «сложности» в чьих-то глазах не вырастет от слов: «Отношения матери с дочерью важны лишь потому, что они увеличивают сложность; подумайте сами, если бы эти отношения стали проще, мы бы перестали их ценить». Что действительно повышает привлекательность «сложности» в восприятии человека, так это слова: «Если вы зададитесь целью увеличить сложность, матери будут любить своих дочерей — посмотрите, к какому положительному последствию это ведёт!»

Этот довод применим всякий раз, когда вы сталкиваетесь с моралистом, который пытается убедить вас, что его Одна Великая Идея — это всё, что нужно для вынесения моральных суждений, и доказывает это словами: «Посмотрите на все эти положительные последствия этой Великой Штуковины», вместо того чтобы сказать: «Посмотрите, как все эти вещи, которые мы считаем „положительными“, оказываются положительными лишь тогда, когда их следствием становится увеличение Великой Штуковины». А ведь именно последнее вам и потребовалось бы, чтобы действительно обосновать подобный аргумент.

Но если вы пытаетесь убедить других (или себя) в своей теории о том, что Одна Великая Идея — это «бананы», вы продадите гораздо больше бананов, доказывая, что бананы ведут к лучшему сексу, а не заявляя, будто хотеть секса стоит лишь тогда, когда он ведёт к бананам.

Если только вы не увязли в Счастливой спирали смерти настолько глубоко, что действительно начинаете утверждать: «Секс хорош только тогда, когда он ведёт к бананам». В таком случае у вас проблемы. Но, по крайней мере, вы больше никого не убедите.

В конечном счёте, единственный процесс, который надёжно воспроизводит все частные решения, которые вы приняли бы, исходя из своей морали, — это ваша мораль. Всё остальное — любая попытка заменить терминальные цели инструментальными средствами — в итоге теряет смысл и требует бесконечного количества заплаток, потому что система не содержит источника тех инструкций, которые вы ей даёте. Не стоит ожидать, что человеческую мораль можно сжать до простой функции полезности, — точно так же, как не стоит надеяться сжать большой компьютерный файл до 10 бит.

*