На Саммите Сингулярности 2007 года один из докладчиков призвал к демократической многонациональной разработке искусственного интеллекта. Тогда я подошёл к микрофону и спросил:

Представьте, что группа демократических республик создаёт консорциум для разработки ИИ, и в процессе происходит много политиканства — некоторые группы интересов пользуются непропорционально большим влиянием, другие оказываются обделены. Иными словами, результат выглядит в точности как продукты современных демократий. Или же представьте, что группа гиков-бунтарей разрабатывает ИИ у себя в подвале и поручает ему опросить каждого человека в мире — сбрасывая мобильные телефоны всем, у кого их нет, — а затем сделать то, что скажет большинство. Какой из этих вариантов вы считаете более «демократичным» и чувствовали бы вы себя в безопасности при любом из них?

Я хотел выяснить, верит ли он в прагматическую адекватность демократического политического процесса или же в моральную правоту самого голосования. Но докладчик ответил:

Первый сценарий звучит как редакционная статья в журнале Reason, а второй — как сюжет голливудского фильма.

В замешательстве я спросил:

Какой же тогда демократический процесс вы всё-таки имели в виду?

Докладчик ответил:

Что-то вроде проекта «Геном человека» — это был исследовательский проект с международным финансированием.

Я спросил:

Как различные группы интересов разрешали бы свои конфликты в структуре, подобной проекту «Геном человека»?

И докладчик сказал:

Я не знаю.

Этот диалог напоминает мне высказывание какого-то диктатора, которого спросили, намерен ли он вести своё карманное государство к демократии:

Мы считаем, что уже находимся внутри демократической системы. Не хватает лишь некоторых факторов — например, волеизъявления народа.

Суть демократии заключается в конкретном механизме разрешения разногласий по поводу политического курса. Если бы все группы предпочитали один и тот же курс, необходимости в демократии не возникло бы — мы бы сотрудничали автоматически. Процесс урегулирования может представлять собой прямое голосование большинства, работу выборного законодательного органа или даже чуткое к мнению избирателей поведение искусственного интеллекта, но это должно быть хоть что-то. Что вообще значит призывать к «демократическому» решению, если у вас нет на примете никакого механизма разрешения конфликтов?

По-моему, это значит лишь то, что вы произнесли слово «демократия», а аудитория теперь должна зааплодировать. Это не столько содержательное утверждение, сколько эквивалент табло «Аплодисменты», которое подсказывает зрителям в студии, когда нужно хлопать.

Этот случай примечателен разве что тем, что я ошибочно принял этот сигнал к аплодисментам за предложение конкретных мер, что привело к неловкости для всех участников. Большинство таких сигналов к аплодисментам гораздо очевиднее, и их можно обнаружить с помощью простого теста на обращение. Например, предположим, кто-то говорит:

Нам необходимо сбалансировать риски и возможности ИИ.

Если перевернуть это утверждение, получится:

Нам не нужно балансировать риски и возможности ИИ.

Поскольку противоположное утверждение звучит ненормально, исходное утверждение, скорее всего, нормально — а значит, не несёт новой информации. Существует множество веских причин произносить фразы, которые сами по себе неинформативны. Слова «Нам необходимо сбалансировать риски и возможности ИИ» могут служить введением к дискуссии, подчёркивать важность конкретного предложения по балансировке или критиковать несбалансированный подход. Связь с очевидным суждением может передать новую информацию ограниченному рационалисту — ведь сама эта связь может быть неочевидной. Но если никакой конкретики за этим не следует, фраза, скорее всего, служит просто сигналом к аплодисментам.

Мне порой хочется как-нибудь выступить с докладом, состоящим исключительно из сигналов к аплодисментам, и посмотреть, сколько времени пройдёт, прежде чем слушатели начнут смеяться:

Сегодня я пришёл сюда, чтобы предложить вам сбалансировать риски и возможности передового искусственного интеллекта. Нам следует избегать рисков и по возможности использовать открывающиеся возможности. Мы не должны без нужды подвергать себя совершенно ненужным опасностям. Для достижения этих целей мы обязаны планировать мудро и рационально. Нам не следует действовать под влиянием страха и паники или поддаваться технофобии, но не стоит и действовать в слепом энтузиазме. Мы должны уважать интересы всех сторон, заинтересованных в Сингулярности. Мы должны постараться сделать так, чтобы блага передовых технологий достались как можно большему числу людей, а не ограничивались узким кругом лиц. Мы должны всеми силами избегать вооружённых конфликтов с применением этих технологий и не допустить, чтобы колоссальная разрушительная мощь попала в руки отдельных лиц. Нам следует продумать эти вопросы до, а не после того, как станет слишком поздно что-либо предпринимать...

*