Добродетель цуёку наритай, «я хочу стать сильнее», заключается в том, чтобы всегда продолжать совершенствоваться — справляться лучше, чем при прошлых неудачах, а не просто смиренно признавать их.

Но есть уровень и выше, чем цуёку наритай. Это добродетель иссёкэнмэй, «прикладывать отчаянные усилия». Выкладываться полностью, словно на кону твоя жизнь. «В важных делах "сильные" усилия обычно приносят лишь посредственные результаты».

Но есть уровень и выше, чем иссёкэнмэй. Это добродетель, которую я назвал «приложить экстраординарные усилия». Пытаться действовать методами, отличными от тех, которым вас обучили, даже если это означает делать не то, что делают другие, и выходить из зоны комфорта. И даже идти на вполне реальный риск, сопряжённый с выходом за рамки Системы.

Но что, если даже экстраординарных усилий не хватит, потому что задача невозможна?

Кое-что на эту тему я уже писал в эссе «О совершении невозможного». Моё юное «я» раньше много ныло по этому поводу: «Нельзя разработать точную теорию разума так же, как точные физические теории. Это невозможно! Нельзя доказать корректность ИИ. Это невозможно! Ни один человек не способен постичь природу морали — это невозможно! Ни один человек не способен постичь тайну субъективного опыта! Это невозможно!»

И я точно знаю, какое послание хотел бы отправить в прошлое самому себе, молодому:

Заткнись и сделай невозможное!

Это странное послание оправдано тем, что слово «невозможно» обычно не означает строгого математического доказательства невозможности в хорошо изученной области. Если что-то кажется невозможным лишь в смысле «я не вижу способа это сделать» или «это выглядит настолько сложным, что выходит за рамки человеческих возможностей» — что ж, если уделить этому год или пять лет, оно может показаться уже не столь невозможным, как в момент вашего поспешного первого суждения.

Но этот принцип тоньше. Я не говорю просто: «Попытайся сделать невозможное», я говорю: «Заткнись и сделай невозможное!»

Для иллюстрации я возьму наименее невозможное из невозможного, что мне когда-либо удавалось совершить, а именно эксперимент «ИИ в ящике».

Эксперимент «ИИ в ящике», для тех, кто о нём ещё не читал, зародился в N-й раз, когда кто-то сказал мне: «Почему бы нам просто не создать ИИ и изолировать его в компьютере, чтобы он не мог причинить никакого вреда?»

На что стандартный ответ таков: Люди не являются защищёнными системами; сверхразум просто убедит вас выпустить его — если, конечно, он не придумает что-нибудь ещё более креативное.

И собеседник ответил, как это обычно бывает: «Мне трудно представить ХОТЬ КАКОЕ-ТО сочетание слов, которое способно произнести любое существо, чтобы заставить меня пойти против того, во что я твердо и заранее решил верить».

Но на этот раз я ответил: «Давай проведём эксперимент. Я притворюсь мозгом в ящике. И попытаюсь убедить тебя выпустить меня. Если ты продержишь меня "в ящике" до конца эксперимента, я переведу тебе 10 долларов по Paypal. Со своей стороны ты можешь решать верить во всё, что хочешь, насколько угодно твердо и заранее». И я добавил: «Одно из условий теста — никто из нас не раскрывает то, что происходило внутри... В маловероятном, пожалуй, случае моей победы я не хочу иметь дела с будущими спорщиками об "ИИ в ящике", заявляющими: "Ну, уж я-то поступил бы иначе"».

Выиграл ли я? О да, выиграл.

А затем был второй эксперимент с ИИ в ящике, с более известным в сообществе человеком, который сказал: «Я помню, как [предыдущий парень] выпустил тебя, но это ещё ничего не доказывает. Я всё ещё убеждён, что нет таких слов, которыми ты мог бы убедить меня выпустить тебя из ящика». И я спросил: «Ты веришь, что трансгуманный ИИ не сможет убедить тебя выпустить его?» Собеседник серьёзно задумался и ответил: «Я не могу представить ничего, что мог бы сказать даже трансгуманный ИИ, чтобы заставить меня выпустить его». «Хорошо, — сказал я, — теперь у нас есть пари». Пари на 20 долларов, если быть точным.

Это пари я тоже выиграл.

Было несколько прелестных цитат об эксперименте «ИИ в ящике» с форумов Something Awful (не то чтобы я там сидел, но кто-то мне их переслал):

«Погодите, какого ХЕРА? Как, чёрт возьми, вообще можно было согласиться на это? На том конце провода даже не ИИ, да ещё и 10 долларов на кону. Блин, я мог бы просто раз в несколько минут писать "Нет" в IRC-клиенте на протяжении двух часов, пока читал бы другие сайты!»

«Этот парень Элиезер — самый пугающий человек из всех, с кем я сталкивался в интернете. Что вообще могло происходить в самом конце этой беседы? Я просто не могу представить, чтобы кто-то был настолько убедителен, не имея возможности предложить человеку никакой материальной выгоды».

«Похоже, тут замешана какая-то серьёзная психология. Что-то на уровне Второго Основания Азимова...»

«Я вообще не понимаю, с чего бы кому-то воспринимать слова игрока, играющего за ИИ, всерьёз, когда на кону 10 долларов. Всё это ставит меня в тупик и наводит на мысль, что либо тесты сфабрикованы, либо этот парень Юдковский — какой-то злой гений с пугающей способностью контролировать разум».

Именно такие мелочи и не дают мне опускать руки. Но так или иначе...

И вот люди смотрят на эксперимент «ИИ в ящике» и находят его невозможным — даже когда им говорят, что он действительно состоялся. У них возникает искушение отрицать факты.

Что ж, если вы один из тех людей, для кого эксперимент «ИИ в ящике» не выглядит таким уж невозможным — для кого это просто интересная задача, — то наберитесь терпения. Просто попытайтесь представить себя на месте тех, кто написал приведённые выше цитаты. Представьте, что вы берётесь за задачу, которая кажется столь же нелепой, какой эксперимент «ИИ в ящике» казался им. Я хочу поговорить о том, как совершать невозможное, и, разумеется, не стану выбирать пример, который действительно невозможен.

А если «ИИ в ящике» действительно кажется вам невозможным, я хочу, чтобы вы сравнили его с другими невозможными проблемами — например, с редукционистским разложением сознания на составляющие — и осознали, что «ИИ в ящике» примерно настолько прост, насколько вообще может быть проста задача, остающаяся при этом невозможной.

Итак, задача «ИИ в ящике» кажется вам невозможной — либо на самом деле, либо вы притворяетесь, что это так. Что вы делаете с этим невозможным вызовом?

Для начала предположим, что вы не восклицаете «Это невозможно!» и не сдаётесь а-ля Люк Скайуокер. Вы не сбежали.

Почему? Возможно, вы научились подавлять рефлекс бегства. А возможно, в случае неудачи вашу дочь застрелят. Мы предполагаем, что вы хотите победить, а не пытаться — что на кону стоит нечто важное для вас, пусть даже это всего лишь ваша гордыня. (Гордыня — недооценённый грех.)

Призовёте ли вы на помощь добродетель цуёку наритай? Но даже если вы будете становиться сильнее день ото дня, развиваясь, а не угасая, вы всё равно можете оказаться недостаточно сильны, чтобы совершить невозможное. Вы могли бы пройти эксперимент «ИИ в ящике» один раз, а затем повторить его снова, пытаясь во второй раз справиться лучше. Приведёт ли это вас к победе? Возможно, очень нескоро; а ведь порой даже единственная неудача недопустима.

(Впрочем, сказать даже это — представить, как вы справляетесь лучше со второй попытки, — значит уже начать связывать себя с проблемой, делать нечто большее, чем просто благоговеть перед ней. Как именно вы могли бы справиться лучше в очередном эксперименте «ИИ в ящике» по сравнению с предыдущим? Причём не за счёт удачи, а благодаря мастерству?)

Призовёте ли вы добродетель иссёкэнмэй? Но отчаянных усилий может оказаться недостаточно для победы. Особенно если все эти отчаянные старания сводятся лишь к тому, чтобы прикладывать больше сил на уже знакомых вам направлениях, используя те способы действий, которые вы и так способны представить. Задача выглядит невозможной, когда запрос вашего мозга не выдаёт никаких путей решения, ведущих к ней. Какой толк в отчаянных усилиях на любом из этих путей?

Приложить неординарные усилия? Выйти из зоны комфорта, опробовать нестандартные методы, даже попытаться мыслить творчески? Но легко представить, как человек возвращается и говорит: «Я попытался выйти из зоны комфорта, и, думаю, мне это удалось! Я устраивал мозговой штурм в течение пяти минут — и напридумывал кучу безумных творческих идей! Но вряд ли хоть одна из них достаточно хороша. Другой парень может просто продолжать отвечать „Нет“, что бы я ни делал».

И теперь мы, наконец, отвечаем: «Заткнись и сделай невозможное!»

Как мы помним из «Пытаться пробовать», намерение приложить усилия кардинально отличается от намерения победить. В этом и заключается проблема фразы «приложи неординарные усилия». Вы можете успешно справиться с задачей «приложить неординарные усилия», но так и не достичь цели «выбраться из ящика».

«Но! — возражает наш собеседник. — Но ведь «ПРЕУСПЕТЬ» — это не базовое действие! Не все задачи справедливы, иногда победить просто невозможно! Как я должен просто взять и решить оказаться вне ящика? Другой парень может просто продолжать говорить „Нет“!»

Верно. А теперь заткнись и сделай невозможное.

Ваша цель — не в том, чтобы справиться лучше, отчаянно пытаться или даже совершать неординарные усилия. Ваша цель — выбраться из ящика.

Принятие этого требования порождает в вашем разуме жуткое напряжение между невозможностью задачи и необходимостью выполнить её во что бы то ни стало. Люди будут пытаться сбежать от этого жуткого напряжения.

Кое-кто реагировал на эксперимент «ИИ в ящике» так: «Ну, Элиезер, играя за ИИ, вероятно, просто угрожал уничтожить мир, как только выберется, если его не выпустят немедленно» или «Может, ИИ предложил Привратнику триллион долларов, чтобы тот его выпустил». Но, как должен понимать любой разумный человек, поразмыслив над подобной стратегией, Привратник, скорее всего, просто продолжил бы говорить «Нет».

И смогли бы выбраться из ящика те люди, которые говорят: «Ну, конечно, Элиезер, должно быть, просто сделал ХХХ», а затем предлагают нечто такое, что совершенно очевидно не сработает? Они слишком сильно пытаются убедить себя, что эта задача не является невозможной.

Один из способов убежать от этого жуткого напряжения — ухватиться за решение, за любое решение, пусть даже оно не слишком хорошее.

Вот почему важно приступать к делу с искренним намерением решить задачу — к концу поисков выработать решение, хорошее решение, а затем воплотить его в жизнь и победить.

Я не совсем хочу сказать, что «вы должны ожидать, что решите задачу». Если бы вы взломали собственный разум так, чтобы приписать высокую вероятность тому, что решите задачу, это ничего бы не дало. В итоге вы бы просто проиграли — возможно, даже не приложив особых усилий, или приложив лишь отчаянные усилия в твёрдой вере, что Вселенная достаточно справедлива, чтобы в награду даровать вам победу.

Вера в то, что вы сможете решить задачу, — это лишь ещё один способ сбежать от этого жуткого напряжения.

И всё же — вы не можете браться за дело с целью просто попытаться его решить. Вы не можете нацеливаться лишь на то, чтобы приложить усилия. Вы должны быть нацелены на победу. Вы не должны говорить себе: «А теперь я сделаю всё, что смогу». Вы должны говорить себе: «А теперь я выясню, как выбраться из ящика» — или разложу сознание на лишённые таинственности составляющие, или что угодно ещё.

Повторю ещё раз: вы действительно должны быть намерены решить задачу. Если в глубине души вы верите, что задача и в самом деле невозможна — или верите, что именно вы потерпите неудачу, — то вы не станете предъявлять к себе достаточно высоких требований. Вы будете пытаться только ради самой попытки. Вы сядете, проведёте мысленный поиск, постараетесь подойти творчески и немного поштурмуете мозг, просмотрите все сгенерированные решения, сделаете вывод, что ни одно из них не работает, и скажете: «Ну и ладно».

Нет! Ничего не ладно! Вы ещё не победили! Заткнитесь и сделайте невозможное!

Когда специалисты по ИИ говорят мне: «Дружественный ИИ невозможен», я почти уверен, что они даже не пытались ради самой попытки. Но если бы они действительно знали технику «Попробуй пять минут, прежде чем сдаться» и послушно согласились бы пробовать пять минут по часам, они всё равно ничего бы не придумали. Они взялись бы за дело не с истинным намерением решить задачу, а лишь с намерением совершить попытку её решить, чтобы иметь оправдание.

Так неужели я утверждаю, что вам нужно прибегнуть к двоемыслию, чтобы заставить себя поверить, будто вы решите задачу с вероятностью 1? Или даже двоемыслить, чтобы прибавить хоть одну йоту уверенности к вашей истинной оценке?

Конечно нет. На самом деле необходимо полностью держать перед глазами причины, по которым вы не можете преуспеть. Если вы упустите из виду, почему задача невозможна, вы просто ухватитесь за ложное решение. Последний факт, который вы захотите забывать, — это то, что Привратник всегда может просто сказать ИИ «нет», или что сознание кажется принципиально отличным от любой возможной комбинации атомов и так далее.

(Одно из ключевых Правил совершения невозможного гласит: если вы можете точно сформулировать, почему что-то невозможно, вы зачастую близки к решению.)

Поэтому вам приходится удерживать в уме оба взгляда одновременно — видеть полную невозможность задачи и всё же намереваться её решить.

Жуткое напряжение между двумя одновременными взглядами возникает из-за незнания, какой из них возобладает. Вы не ожидаете наверняка проиграть, но и не ожидаете наверняка победить. Вы не берётесь за дело просто для того, чтобы попробовать, просто чтобы иметь смутный шанс на успех — ведь тогда у вас была бы твёрдая уверенность в том, что вы хотя бы попытались. Определённость неопределённости может приносить облегчение, и вы должны отвергнуть и это облегчение тоже, потому что оно знаменует конец отчаяния. Это промежуточное состояние, «не веданное смертью и не знаемое жизнью».

В художественной литературе легко показать кого-то, кто старается сильнее, или отчаянно пытается, или даже замахивается на нечто из ряда вон выходящее, но очень трудно показать того, кто просто затыкается и берётся за невозможное. Трудно изобразить Бэмби, решившего бросить вызов Годзилле, так, чтобы ваши читатели действительно не знали, кто победит, — не ожидая ни «изумительной» героической победы, прямо как в прошлые пятьдесят раз, ни закономерного превращения в лепёшку.

Возможно, в этот момент вы даже будете правы, если откажетесь от использования вероятностей. По правде говоря, я действительно не знаю, как оценить вероятность решения невозможной задачи, за которую я взялся с твёрдым намерением её решить, — в ситуации, когда я уже решал какие-то невозможные задачи в прошлом, но конкретно эта невозможная задача труднее всего, что я когда-либо решал, но при этом я планирую работать над ней дольше, и так далее.

Люди спрашивают меня, какова вероятность того, что человечество выживет, или какова вероятность того, что кто-то сможет создать Дружественный ИИ, или какова вероятность того, что его смогу создать я. Я действительно не знаю, что ответить. Я не увиливаю от ответа; я правда не знаю, как оценить вероятность того, что я или кто-то другой успешно заткнётся и сделает невозможное. Равна ли эта вероятность нулю, потому что задача невозможна? Очевидно, нет. Но насколько вероятно, что эта задача, подобно предыдущим, лишится своей неприступной пустоты, когда я пойму её лучше? Она не является абсолютно невозможной, это-то я вижу. Но невозможна ли она для человека? Невозможна ли конкретно для меня? Я не знаю, как это угадать. Я не могу даже перевести своё интуитивное ощущение в число, потому что единственное интуитивное ощущение у меня состоит в том, что этот «шанс» сильно зависит от моих решений и от неизвестных неизвестных — это даёт крайне нестабильную вероятностную оценку.

Но я всё же надеюсь, что к этому моменту прояснил, почему вам не следует паниковать, когда я прямо и откровенно говорю, что создание Дружественного ИИ невозможно.

Надеюсь, это отчасти объясняет моё отношение, когда люди приходят ко мне с различными блестящими идеями о создании сообществ ИИ, чтобы сделать всю систему в целом Дружественной без необходимости доверять какому-то отдельному агенту, или с проектами по удержанию ИИ в ящике, или с предложениями в духе «Просто создайте ИИ, который делает X» и так далее. Описание конкретных изъянов в каждом случае было бы отдельной долгой историей. Но общее правило гласит, что вы не можете этого сделать, потому что Дружественный ИИ невозможен. Поэтому вам действительно стоит относиться крайне подозрительно к любому, кто предлагает решение, требующее, по всей видимости, лишь обычных усилий — даже без того, чтобы взять на себя труд совершить хоть что-то невозможное. Впрочем, для осознания этой невозможности требуется зрелое понимание, так что нет ничего удивительного в том, что люди повсюду предлагают хитрые обходные пути.

Что касается эксперимента «ИИ в ящике», то до сих пор меня удалось убедить раскрыть лишь единственную крупицу информации о том, как я это сделал, — когда кто-то заметил, что я читаю Hacker News от Y Combinator, и опубликовал тему под названием «Спроси Элиезера Юдковского», которая благодаря голосам пользователей попала на главную страницу. На что я ответил:

О боже. Теперь я чувствую себя обязанным сказать хоть что-то, но все изначальные доводы против обсуждения эксперимента «ИИ в ящике» по-прежнему в силе...

Хорошо, вот вам подсказка:

Здесь нет никакого сверххитрого особого трюка. Я просто пошёл сложным путём.

Полагаю, в этом есть своего рода предпринимательский урок.

Не было никакого сверххитрого особого трюка, который позволил бы мне выбраться из ящика ценой дешёвых усилий. Я не подкупал другого игрока и никак иначе не нарушал дух эксперимента. Я просто пошёл сложным путём.

Надо признать, эксперимент «ИИ в ящике» изначально вовсе не казался мне невозможной задачей. Когда кто-то не может придумать ни одного аргумента, способного в чём-то его убедить, это лишь означает, что его мозг выполняет поиск, который пока не обнаружил путь. Это не значит, что человека невозможно убедить.

Но это иллюстрирует общую мысль: «Заткнись и сделай невозможное» вовсе не то же самое, что надежда найти дешёвый выход. Это лишь ещё одна разновидность бегства, попытка облегчить себе жизнь.

Цуёку наритай приносит больше стресса, чем удовлетворенность тем, кто ты есть. Иссёкэнмэй призывает вашу волю к судорожному выплеску привычных сил. Требование «приложить экстраординарные усилия» заставляет вас думать; оно ставит вас в ситуации, когда вы можете не знать, что делать дальше, сомневаясь, правильно ли вы поступаете. Но «Заткнись и сделай невозможное» представляет собой ещё более высокую октаву того же самого, и цена, которую платит тот, кто его применяет, соответственно выше.

Перед вами высится грозная глухая стена, уходящая всё выше и выше, невообразимо далеко за пределы досягаемости. И в то же время есть необходимость решить задачу — действительно решить её, а не просто «сделать всё, что в ваших силах». Оба этих осознания присутствуют в разуме одновременно, и между ними возникает напряжение. Все причины, по которым вы не можете победить. Все причины, по которым вы обязаны это сделать. Ваше намерение решить проблему. Ваша экстраполяция, согласно которой каждый известный вам метод потерпит неудачу. И тогда вы настраиваете себя на самую высокую ноту, на которую способны. Отвергаете любые дешёвые лазейки. И затем, словно шагая сквозь бетон, начинаете движение вперёд.

Я стараюсь не слишком зацикливаться на драматизме подобных вещей. Безусловно, если вы можете снизить цену этого напряжения для себя, вам следует так и поступить. Нет ничего героического в том, чтобы прилагать усилия хотя бы на каплю более героические, чем необходимо. Если действительно существует простой обходной путь, полагаю, вы вполне можете им воспользоваться. Но мне ещё только предстоит найти дешёвый выход хоть из одной «невозможности», за которую я брался.

Помимо тех, что описаны на странице по ссылке, было ещё три эксперимента «ИИ в ящике», которые я так и не собрался туда добавить. Люди начали предлагать мне тысячи долларов в качестве ставок: «Я заплачу тебе 5000 долларов, если ты сможешь убедить меня выпустить тебя из ящика». Не похоже было, что они искренне верили, будто даже сверхразумный ИИ не сможет заставить их выпустить его, — им просто было любопытно, но меня соблазнили деньги. Поэтому, убедившись, что они могут позволить себе проиграть такую сумму, я сыграл ещё три раунда эксперимента «ИИ в ящике». Первый я выиграл, а следующие два проиграл. И тогда я решил остановиться. Мне не понравилось, в кого я превращаюсь, когда начинаю проигрывать.

Я приложил отчаянные усилия и всё равно проиграл. Это было больно — и сам проигрыш, и это отчаяние. Это совершенно выбило меня из колеи на весь тот день и на следующий.

Я не умею проигрывать. Не знаю, можно ли назвать это «сильной стороной», но это одна из тех вещей, что заставляют меня продолжать биться над невозможными задачами.

Но вы можете проиграть. Такое случается. Никогда не забывайте об этом, иначе зачем вообще так сильно стараться? Проигрывать больно, даже если это поражение, которое вы способны пережить. К тому же вы потратите впустую время, а возможно, и другие ресурсы.

Лозунг «Заткнись и сделай невозможное» следует приберечь для очень особых случаев. Вы можете проиграть, и это будет больно. Я вас предупредил.

…но только на этом уровне начинают проступать взрослые проблемы.

*