В годы, предшествовавшие моей встрече с одним претендентом на создание общего искусственного интеллекта (с финансируемым проектом), который по воле случая оказался креационистом, я всё ещё пытался спорить с отдельными горе-разработчиками ОИИ.

Тогда мне в каком-то смысле удалось убедить одного такого деятеля в том, что — да, Дружественный ИИ необходимо принимать во внимание, и нет, нельзя просто подобрать правильную функцию приспособленности для эволюционного алгоритма. (До этого он был под глубоким впечатлением от эволюционных алгоритмов.)

И тот воскликнул: О горе мне, о увы! Каким же я был дураком! Из-за своей беспечности я едва не уничтожил мир! Каким же негодяем я был когда-то!

Ну уж в эту-то ловушку я бы ни за что не попался —

— в тот момент, когда в конце 2002 года я оглянулся на проекты ИИ Элиезера-₁₉₉₇ и осознал, к чему они на самом деле привели бы (в той мере, в какой они вообще были достаточно связными, чтобы рассуждать, к чему они «на самом деле» привели бы).

Когда я наконец осознал масштабы собственной глупости, всё мгновенно встало на свои места. Плотина, сдерживавшая осознание, дала трещину, и все невысказанные сомнения, копившиеся за ней, хлынули наружу единым потоком. Не было ни долгого периода, ни единого момента на моей памяти, когда бы я задавался вопросом, как я мог быть настолько глуп. Я и так уже знал как.

И я также понял, сразу же, в тот самый момент осознания, что сказать: «Я едва не уничтожил мир!» — было бы проявлением чрезмерной гордыни.

Это слишком сильно подпитывало бы эго, слишком явно подтверждало бы мою собственную значимость в общем порядке вещей в то время как — понял я в тот же миг осознания — мое эго должно было получить сокрушительный удар под дых. Я оказался бесконечно далек от того, кем мне следовало быть; я должен был принять этот удар под дых, а не уклоняться от него.

И по той же причине я не попался в сопряженную ловушку, заявив: «Ну ладно, ведь у меня не было кода, который я собирался запустить; я ведь на самом деле не был близок к уничтожению мира». Ведь это тоже ослабило бы силу удара. Он не был по-настоящему заряжен? Я предложил и намеревался собрать этот пистолет, зарядить его, приставить к своей голове и спустить курок; и в этом было уже слишком много саморазрушительности.

Я не стал устраивать из этого грандиозную эмоциональную драму. Это лишь свело бы на нет силу удара, превратив его в банальные слезы.

В тот же миг я понял, чего старательно избегал последние шесть лет. Я не обновлял свои убеждения.

И я понял, что должен наконец их обновить. На самом деле изменить то, что я планировал делать, изменить то, что я делал сейчас, заняться вместо этого чем-то другим.

Я понял, что должен остановиться.

Остановиться, расплавиться и загореться.

Сказать: «Я не готов». Сказать: «Я еще не знаю, как это сделать».

В области ОИИ произнести эти слова невероятно трудно. И обывателей, и ваших коллег-исследователей ОИИ интересует код, проекты с работающими программистами. В отсутствие этого они могут выдать вам некий кредит доверия, если вы скажете: «Я готов писать код, только дайте мне финансирование».

Но скажите: «Я не готов писать код», — и ваш статус рухнет, как шарик из обеднённого урана.

Что тогда отличает вас от шести миллиардов других людей, которые не знают, как создать общий искусственный интеллект? Если у вас нет красивого кода (который, разумеется, делает что угодно, кроме демонстрации человеческого разума — но это хотя бы код) или как минимум собственного стартапа, который начнет писать код, как только получит финансирование, — то кто вы вообще такой и что делаете на нашей конференции?

Возможно, позже я напишу о том, откуда берется подобное отношение — об исключенном третьем между «Я знаю, как построить ОИИ!» и «Я работаю над узким ИИ, потому что не знаю, как построить ОИИ», об отсутствии самого понятия «Я пытаюсь перейти от неполной карты Дружественного ИИ к полной карте Дружественного ИИ».

Но такое отношение действительно существует, и потому потеря статуса из-за слов «Я не готов писать код» очень велика. (Если кто-то в этом сомневается, пусть назовет мне еще хоть кого-нибудь, кто одновременно заявляет: «Я намерен построить общий искусственный интеллект», «Прямо сейчас я не могу построить ОИИ, потому что не знаю X» и «В настоящее время я пытаюсь разобраться в X».)

(И уж тем более не стоит поминать деятелей из сферы ОИИ, которые уже привлекли венчурный капитал, пообещав прибыль через пять лет.)

Отсюда и огромное нежелание говорить «стоп». Нельзя просто сказать: «О, я переключусь обратно в режим исследования X», потому что такого режима не существует.

Крылось ли за этим нежеланием в моем случае что-то еще, кроме потери статуса? Элиезер-₂₀₀₁, возможно, также отпрянул от перспективы замедлить свое кажущееся движение вперед, навстречу интеллектуальному взрыву, которое казалось столь правильным и столь необходимым...

Но главным образом, я думаю, я отпрянул перед невозможностью сказать: «Я готов начать писать код». Не только из страха перед реакцией окружающих, но и потому, что я сам впитал это отношение.

Прежде всего, Элиезер-₂₀₀₁ не сказал «стоп» — даже после того как заметил проблему Дружественного ИИ — потому что я нутром не понимал, что Природе позволено убить меня.

«Подростки считают себя бессмертными», — гласит поговорка. Очевидно, это неверно в буквальном смысле — если вы спросите их: «Ты неуязвим?», они не ответят: «Да, давай, попробуй в меня выстрелить». Но, возможно, необходимость пристегивать ремни безопасности не кажется им эмоционально убедительной, потому что мысль о собственной смерти не кажется им вполне реальной — они не верят по-настоящему, что этому позволено случиться. Это может произойти в принципе, но не может произойти на самом деле.

Лично я всегда пристегивался. Как отдельный человек, я понимал, что могу умереть.

Но, будучи воспитан в духе технофилии и научен дорожить той единственной, самой драгоценной вещью, которая была гораздо важнее моей собственной жизни, я когда-то думал, что Будущее неуязвимо.

Даже когда я признавал, что нанотехнологии могут уничтожить человечество, я все равно верил, что взрыв интеллекта неуязвим. Что если человечество выживет, взрыв интеллекта произойдет, а получившийся ИИ окажется слишком умен, чтобы сломаться или погибнуть.

Даже после этого, когда я принял во внимание проблему Дружественного ИИ, я эмоционально не верил в возможность провала — точно так же, как подросток, не пристегивающий ремень безопасности, не верит по-настоящему, что автокатастрофе действительно позволено убить его или сделать калекой.

Лишь когда мое понимание оптимизации позволило мне оглянуться назад и увидеть Элиезера-₁₉₉₇ в ясном свете, я наконец осознал, что Природе позволено убить меня.

«Мысль, которую ты не можешь помыслить, управляет тобой сильнее, чем мысли, которые ты высказываешь вслух». Но мы отшатываемся лишь от тех страхов, которые реальны для нас.

Разработчики AGI очень серьезно относятся к перспективе того, что кто-то другой решит эту проблему первым. Они могут представить себе газетные заголовки о том, что их собственную работу затмили. Они знают, что Природе позволено так с ними поступить. Те, кто основал компании, знают, что им позволено остаться без венчурного капитала. Эта возможность для них реальна, очень реальна; она обладает над ними силой эмоционального принуждения.

Не думаю, что «Упс», за которым следует глухой стук шести миллиардов тел, павших от их собственных рук, — реально для них на том же уровне.

Небезопасно утверждать, что думают другие люди. Но весьма вероятно, что когда кто-то реагирует на перспективу Дружественного ИИ словами: «Если вы задержите разработку, чтобы поработать над безопасностью, другие проекты, которых вообще не заботит Дружественный ИИ, обойдут вас на повороте», перспектива того, что они сами совершат ошибку, за которой последуют шесть миллиардов глухих ударов, не кажется им по-настоящему реальной; зато возможность того, что их опередят другие, пугает до глубины души.

Я тоже говорил подобные вещи до того, как понял, что Природе позволено убить меня.

В этот момент осознания моя детская технофилия наконец разбилась вдребезги.

Я наконец понял, что даже если ты прилежно следовал правилам науки и был хорошим человеком, Природа все равно могла тебя убить. Я наконец понял, что даже если твой проект был лучшим среди всех возможных кандидатов, Природа все равно могла тебя убить.

Я понял, что меня оценивают не по относительной шкале. Мой взгляд оторвался от соперников, и я увидел отвесную глухую стену.

Я оглянулся назад и увидел тщательно выстроенные мной аргументы в пользу того, что разумнее всего продолжать двигаться вперед на полной скорости, как я и планировал раньше. И тогда я понял: даже если ты выстроишь аргумент, доказывающий, что некий путь — наилучший, Природе все равно позволено сказать «Ну и что?» и убить тебя.

Я оглянулся назад и увидел, что заявлял, будто учитываю риск фундаментальной ошибки, что приводил доводы в пользу того, чтобы допустить риск движения вперед в отсутствие полного знания.

И я увидел, что риск, который я хотел допустить, убил бы меня. И я увидел, что эта возможность никогда не была для меня по-настоящему реальной. И я увидел, что даже если у тебя есть мудрые и превосходные аргументы в пользу риска, риску все равно позволено взять и убить тебя. Убить на самом деле.

Ибо значение имеет только действие, а не причины, по которым оно совершается. Если ты соберешь пистолет, зарядишь его, приставишь к своей голове и спустишь курок — пусть даже у тебя будут самые умные аргументы в пользу каждого шага, — тогда бах.

Я увидел, что только мое собственное незнание правил позволяло мне ратовать за продвижение вперед без полного знания этих правил; ибо если ты не знаешь правил, ты не можешь смоделировать штраф за незнание.

Я видел, что другие, все еще не знающие правил, говорили: «Я просто пойду и сделаю X»; и в той степени, в какой X вообще был осмысленным предложением, я понимал, что это приведет к взрыву; но они отвечали: «Я не знаю, почему это не может сработать». Я пытался объяснить им, насколько мала мишень в пространстве поиска, а они возражали: «Откуда у тебя такая уверенность, что я не выиграю в лотерею?», размахивая собственным невежеством, как дубиной.

И тогда я понял, что в своем прежнем состоянии невежества единственное, что я мог сделать, чтобы спастись, — это сказать: «Я не сделаю ни шагу вперед, пока точно не буду знать, что почва под ногами безопасна». И существует множество умных аргументов в пользу того, почему стоит наступить на участок земли, о котором неизвестно, заминирован ли он; но все они звучат гораздо менее умно после того, как вы посмотрите на место, куда предлагали и намеревались наступить, и увидите взрыв.

Я понял, что ты можешь сделать абсолютно все, что от тебя требовалось, а Природе все равно позволено тебя убить. Именно тогда рухнули остатки моего доверия. И именно тогда началось мое обучение как рационалиста.

*