Когда мы в последний раз расстались с Элиезером-1997, он верил, что любой сверхинтеллект автоматически будет делать то, что «правильно», и даже будет понимать это лучше нас — хотя сам он, как скромно признавался, и не постиг конечную природу морали. Или, точнее, после некоторых дебатов Элиезер-1997 разработал сложную систему аргументов (которую он с любовью называл «формальной») о том, что мы всегда можем исходить из допущения, будто у жизни есть смысл; следовательно, случаи, когда сверхинтеллект не чувствует себя обязанным делать что-то конкретное, можно не рассматривать. (Ошибка здесь заключалась в необдуманном и неоправданном приравнивании «универсально убедительного аргумента» к понятию «правильного».)
Пока что юный Элиезер уверенно идёт к тому, чтобы вступить в клуб «умных людей, которые ведут себя глупо, потому что умеют мастерски защищать убеждения, к которым пришли немудрыми путями». Вся его преданность «рациональности» не уберегла его от этой ошибки, и у вас может возникнуть искушение сделать вывод, что стремиться к рациональности бесполезно.
Но хотя многие люди сами копают себе ямы, далеко не всем удаётся выкарабкаться обратно.
И из этого я выношу урок: всё началось —
— с крошечного, крошечного вопроса; с одной-единственной фальшивой ноты; с одной маленькой одинокой мысли...
В начале нашей истории мы переносимся на три года вперёд, к Элиезеру-2000, который в большинстве отношений похож на себя образца 1997-го. Сейчас он считает доказанным, что создание сверхинтеллекта — это правильный поступок, если вообще существует хоть какой-то правильный поступок. Из чего следует, что среди народов и отдельных жителей Земли нет оправданного конфликта интересов вокруг взрыва интеллекта.
Это важный вывод для Элиезера-2000, потому что сама мысль о грызне из-за взрыва интеллекта кажется ему невыносимо глупой. (Что-то вроде представления о Боге, вмешивающемся в разборки между племенами спорящих варваров, только наоборот.) Представление Элиезера-2000 о самом себе не позволяет ему — да он даже и не хочет — пожать плечами и сказать: «Ну, наша сторона пришла первой, так что мы сцапаем банан, пока другие не успели». Это слишком болезненная мысль, чтобы её думать.
И всё же затем ему в голову приходит мысль:
Может быть, некоторые люди предпочли бы, чтобы ИИ делал определённые вещи — например, не убивал их — даже если жизнь бессмысленна?
Следующая же его мысль вполне очевидна, учитывая его предпосылки:
В случае, если жизнь бессмысленна, не существует никакого «правильного» действия; следовательно, и уважение человеческих предпочтений в этом случае не будет чем-то особенно правильным.
Это очевидная уловка. Проблема, однако, в том, что Элиезер-2000 не считает себя злодеем. Он не ходит кругами, размышляя: «От каких бы пуль мне сегодня уклониться?» Он видит себя добросовестным рационалистом, который упорно следует по цепочкам рассуждений. Позже он оглянется назад и увидит массу направлений мысли, по которым его разум каким-то образом умудрился не пойти, — но сейчас его текущее представление о себе совсем другое.
Поэтому Элиезер-2000 не просто хватается за очевидную лазейку. Он продолжает думать.
Но если люди считают, что у них есть предпочтения на случай, если жизнь бессмысленна, то у них есть мотив оспаривать мой проект интеллектуального взрыва и выбрать проект, который уважает их желание на случай бессмысленности жизни. Это создаёт реальный конфликт интересов вокруг взрыва интеллекта прямо сейчас и мешает делать правильные вещи в основном сценарии, когда жизнь имеет смысл.
Сейчас существует куча отговорок, которые Элиезер-2000 мог бы использовать, чтобы выбросить эту проблему из головы. Я знаю это, потому что слышал предостаточно оправданий для того, чтобы отмахнуться от Дружественного ИИ. «Эта проблема слишком сложна, чтобы её решить» — такое я слышу от тех, кто мечтает создать ОИИ и считает себя достаточно умным для создания истинного искусственного интеллекта, но недостаточно умным, чтобы решить действительно сложную проблему вроде Дружественного ИИ. Или: «Беспокойство по поводу этой возможности было бы нерациональной тратой ресурсов, учитывая невероятную срочность создания ИИ до того, как человечество уничтожит само себя — приходится работать с тем, что есть», — это говорят люди, которым проблема просто неинтересна по большому счёту.
Но Элиезер-2000 — перфекционист. Он, очевидно, не идеален и не придает такого значения добродетели точности, как я, но он совершенно точно перфекционист. Идея метаэтики, которую поддерживает Элиезер-2000, согласно которой сверхинтеллект знает, что правильно, лучше нас, ранее, казалось, упаковывала все проблемы справедливости и морали в герметичную оболочку.
Новое возражение, похоже, проделывает крошечную брешь в этой герметичной оболочке. Её стоит залатать. Если у вас есть нечто идеальное, неужели вы позволите одной маленькой гипотетической возможности всё испортить?
Так что Элиезер-2000 даже не хочет бросать эту тему; он хочет устранить проблему и вернуть всё к идеалу. Как он может оправдать потраченное на это время? Размышляя в таком духе:
Как быть с Брайаном Аткинсом? [Брайан Аткинс — первый спонсор Научно-исследовательского института машинного интеллекта (MIRI), который тогда назывался Институтом Сингулярности.] Он, вероятно, предпочёл бы не умирать, даже если бы жизнь была бессмысленной. Сейчас он финансирует MIRI; я не хочу запятнать этику нашего сотрудничества.
Чувство Элиезера-2000 не так-то просто выразить — ни в английском языке, ни в любой другой известной мне культуре нет для него простого описания. Пожалуй, ближе всего здесь отрывок из Ветхого Завета: «Не вари козленка в молоке матери его». Тот, кто помогает тебе из альтруизма, не должен жалеть о своей помощи; ты должен ему не столько верность, сколько то, чтобы, помогая тебе, он действительно совершал именно то дело, которое, как он думает, он совершает.
«Ну хорошо, но как Брайан Аткинс узнает об этом, если я ему не скажу?» Элиезер-2000 даже не думает об этом иначе как в кавычках, как об очевидной мысли, которая пришла бы в голову злодею в подобной ситуации. И у Элиезера-2000 наготове стандартная контрмысль, оберег от соблазна нечестности — аргумент, обосновывающий честность с точки зрения ожидаемой полезности, а не просто личной любви к личной добродетели:
Люди не умеют обманывать безупречно; скорее всего, меня разоблачат. Или что, если до Сингулярности, где-то в ближайшие тридцать лет, изобретут настоящие детекторы лжи? Я не смогу пройти проверку на детекторе.
Элиезер-2000 живет по правилу, что нужно всегда быть готовым к тому, что твои мысли в любой момент будут транслироваться на весь мир, и не испытывать при этом неловкости. Иначе ты, очевидно, лишился благодати: либо ты думаешь о том, о чём думать не следует, либо стыдишься того, что не должно вызывать стыда.
(Сегодня я уже не разделяю столь экстремальную точку зрения, главным образом из соображений Теории Веселья. Я вижу пользу в продолжении социального соперничества между разумными формами жизни, по крайней мере, насколько простирается моё видение ближайшего будущего. Сейчас я признаю, что для людей, возможно, вполне нормально иметь собственное «я»; как выразился Джон Маккарти: «Если бы все постоянно жили ради других, жизнь была бы похожа на процессию муравьев, бегущих друг за другом по кругу». Если уж у тебя есть «я», то вполне логично иметь и секреты, и, возможно, даже заговоры. Но я всё же стараюсь придерживаться принципа готовности пройти в будущем тест на детекторе лжи вместе с любым другим человеком, который также готов подвергнуться проверке на детекторе, если речь идёт о профессиональных вопросах. Теории Веселья требуется здравое исключение для управления глобальными катастрофическими рисками.)
Даже если принять честность как данность, у Элиезера-2000 нашлись бы другие отговорки, чтобы спустить этот вопрос в унитаз. «У мира нет времени» или «Это нерешаемо» вполне бы подошли. Но Элиезер-2000 не знает, что эта проблема — проблема «резервной» морали — окажется особенно трудной или потребует много времени. Он только сейчас впервые задумался над этой проблемой.
И вот Элиезер-2000 начинает всерьез обдумывать этот вопрос: допустим, «жизнь бессмысленна» (то есть сверхразум не выводит собственные мотивы из чистой логики), как тогда задать резервную мораль? Как её синтезировать, как вписать в ИИ?
На тот момент Элиезер-2000 многого не знает. Но он всё-таки размышлял о самосовершенствующемся ИИ в течение трех лет, а Традиционным Рационалистом является и того дольше. Он действительно практиковал определенные техники рациональности и уже выработал методологические предохранители. Он уже достаточно умен, чтобы не думать, будто всё, что нужно ИИ, — это Один Великий Моральный Принцип. Элиезер-2000 уже знает, что мудрее мыслить технологически, а не политически. Он уже знает изречение о том, что программисты ИИ должны мыслить кодом и использовать концепты, которые можно вписать в компьютер. У Элиезера-2000 уже есть представление о том, что существует так называемое «техническое мышление», и что это хорошо, хотя он ещё не сформулировал его байесовское видение. И он давно заметил, что LISP-символы с говорящими именами на самом деле ничего не значат, и так далее. Эти установки не дают ему попасть в некоторые из начальных ловушек — тех самых, которые, как я видел, губили других новичков на их самых первых шагах в проблеме Дружественного ИИ... хотя, строго говоря, это был мой второй шаг; на первом я с треском провалился.
Но в конечном счёте всё сводится к следующему: Элиезер-2000 впервые пытается технически осмыслить, как вписать мораль в ИИ, не оставляя себе лазейки в виде «таинственной сути правильности».
В конце концов, только это и имеет значение. Его прежнего философствования было недостаточно, чтобы заставить его мозг столкнуться с деталями лицом к лицу. Этот новый стандарт достаточно строг, чтобы потребовать реальной работы. Мораль постепенно начинает казаться ему менее таинственной — Элиезер-2000 начинает думать внутри чёрного ящика.
Его причины поступать именно так — они не имеют вообще никакого значения.
О, в его перфекционизме кроется урок. Кроется урок и в том, как Элиезер-2000 поначалу счёл это крошечным изъяном и мог бы просто выбросить его из головы, поддавшись первому порыву.
Но в итоге причинно-следственная связь выглядит так: Элиезер-2000 исследовал вопрос подробнее, а потому с практикой стал справляться лучше. Действия экранируют оправдания. Если твои аргументы оправдывают нежелание вникать в детали, как у Элиезера-1996, то ты так и не научишься хорошо думать над проблемой. Если же твои аргументы требуют от тебя детальной проработки, тогда у тебя появляется возможность начать накапливать опыт.
В конечном счёте важен был только этот выбор — а вовсе не причины что-либо делать.
Я говорю всё это, как вы легко можете догадаться, из-за тех, кто мнит себя создателями ИИ, с которыми я порой сталкиваюсь — у них всегда находятся свои хитрые причины не думать над проблемой Дружественного ИИ. Для Природы наши хитрые оправдания собственных действий обычно значат гораздо меньше, чем для нас самих и наших друзей. Если ваши действия не выглядят достойно, будучи лишенными всех оправданий и представленными как голые факты... возможно, вам стоит пересмотреть их.
Прилежные усилия не всегда спасают человека. Существует и такая вещь, как нехватка способностей. Но даже в этом случае: если вы не пытаетесь или пытаетесь вполсилы, у вас нет ни единого шанса сесть за стол с высокими ставками — не говоря уже о обязательной ставке в виде способностей. Вот вам и причинно-следственная связь.
Кроме того, перфекционизм действительно важен. Конец света не всегда наступает под трубный глас и раскаты грома, помеченный наивысшим приоритетом в вашем почтовом ящике. Иногда ошеломляющая истина впервые предстает перед вами в виде крошечного, совсем крохотного вопроса; одной фальшивой ноты; одной маленькой одинокой мысли, которую можно отбросить легким, непринужденным движением...
...и так, в течение последующих лет, к Элиезеру из прошлого медленно начинает приходить понимание. То Солнце всходило медленнее, чем могло бы.
*