Суперинтеллект из другой галактики, которого мы назовем Омегой, прибывает на Землю и затевает странную игру. В этой игре Омега выбирает человека, ставит перед ним две коробки и улетает.

Коробка А прозрачна и содержит тысячу долларов.

Коробка B непрозрачна и содержит либо миллион долларов, либо ничего.

Вы можете взять обе коробки или взять только коробку B.

Изюминка заключается в том, что Омега помещает миллион долларов в коробку B тогда и только тогда, когда Омега предсказал, что вы выберете только коробку B.

До сих пор Омега оказывался прав в каждом из 100 наблюдаемых случаев: все, кто брал обе коробки, находили коробку B пустой и получали только тысячу долларов; все, кто брал только коробку B, находили в ней миллион долларов. (Мы предполагаем, что коробка А исчезает в облачке дыма, если вы берете только коробку B; никто другой не сможет забрать коробку А после этого.)

К тому моменту, когда вы делаете выбор, Омега уже улетел и перешел к следующей игре. Коробка B уже либо пуста, либо полна.

Омега опускает на землю перед вами две коробки и улетает.

Вы берете обе коробки или только коробку B?

И стандартная философская дискуссия строится следующим образом:

ОДНОКОРОБОЧНИК: «Конечно, я беру только коробку B. Я бы предпочел миллион, а не тысячу».

ДВУХКОРОБОЧНИК: «Омега уже улетел. Коробка B уже либо полна, либо пуста. Если коробка B пуста, то выбор обеих коробок приносит мне 1 000 долларов, а выбор только коробки B приносит 0 долларов. Если коробка B полна, то выбор обеих коробок приносит мне 1 001 000 долларов, а выбор только коробки B — 1 000 000 долларов. В любом случае для меня лучше взять обе коробки, и хуже — оставить тысячу долларов на столе. Так что я поступлю рационально и возьму обе коробки».

ОДНОКОРОБОЧНИК: «Если ты такой рациональный, то почему ты не богат?»

ДВУХКОРОБОЧНИК: «Я не виноват, что Омега решает вознаграждать только людей с иррациональным складом ума, но сейчас мне уже поздно что-либо с этим делать».

Существует обширная литература по теме задач ньюкомовского типа — особенно если рассматривать дилемму заключенного как частный случай, каковым её обычно и считают. «Парадоксы рациональности и сотрудничества: дилемма заключенного и задача Ньюкома»¹ — это сборник статей, включающий оригинальное эссе Ньюкома. Для тех, кто читает только материалы в сети, основные стандартные позиции обобщены в докторской диссертации Ледвига.²

Я не собираюсь углубляться во всю эту литературу, но доминирующий консенсус в современной теории принятия решений состоит в том, что нужно выбирать две коробки, а Омега просто поощряет агентов с иррациональным складом ума. Эта господствующая точка зрения известна под названием «каузальная теория принятия решений».

Я не буду пытаться представить здесь собственный анализ. Это слишком длинная история даже по моим меркам.

Однако даже среди сторонников каузальной теории принято считать, что если у вас есть возможность заранее взять на себя обязательство выбрать одну коробку в задаче Ньюкома, то вам следует это сделать. Если вы можете связать себя обязательством до того, как Омега изучит вас, то вы напрямую делаете так, что коробка B оказывается заполненной.

В моей области — которая, если вы забыли, связана с самомодифицирующимся ИИ — это означает следующее: если вы создадите ИИ, который выбирает две коробки в задаче Ньюкома, он сам изменит себя так, чтобы выбирать одну коробку, если заранее предположит, что может столкнуться с подобной ситуацией. Агенты со свободным доступом к собственному исходному коду имеют в своем распоряжении простой способ связывания себя обязательствами.

Что если вы ожидаете, что в целом можете столкнуться с задачей ньюкомовского типа, не зная её точной формы? Тогда вам придется изменить себя, превратившись в агента, чей внутренний склад устроен так, что он обычно получает высокие награды в задачах ньюкомовского типа.

Но как выглядит агент со складом ума, в целом хорошо приспособленным к задачам ньюкомовского типа? Можно ли описать это формально?

Да, но когда я попытался это изложить на бумаге, то понял, что начинаю писать небольшую книгу. И это была не самая важная книга из тех, что мне нужно написать, поэтому я отложил её в долгий ящик. Моя низкая скорость письма — действительно бич моего существования. Разработанная мной теория, как мне кажется, обладает множеством привлекательных свойств, помимо того что отлично подходит для задач ньюкомовского типа. Она легла бы в основу отличной докторской диссертации, если бы я смог найти кого-то, кто принял бы её в качестве моей диссертации. Но только нечто подобное и могло бы заставить меня стряхнуть пыль с этого проекта. Иначе я просто не могу оправдать затраты времени, учитывая то, с какой скоростью я сейчас пишу книги.

Я говорю всё это потому, что широко распространено мнение: «Словесные аргументы в пользу выбора одной коробки найти легко; трудно разработать хорошую теорию принятия решений, предписывающую выбирать одну коробку» — то есть непротиворечивый математический аппарат, который выбирает одну коробку в задаче Ньюкома и при этом не приводит к абсурдным результатам в других случаях. Так что я прекрасно это понимаю и действительно взялся за разработку подобной теории, но моя скорость написания крупных работ настолько низка, что я просто не могу её опубликовать. Хотите верьте, хотите нет, но это правда.

Тем не менее, мне бы хотелось изложить некоторые из моих мотивов касательно задачи Ньюкома — причины, побудившие меня искать новую теорию, — поскольку они иллюстрируют мои глубинные установки в отношении рациональности. Даже если я не могу представить саму теорию, которую эти мотивы порождают...

Во-первых, прежде всего, фундаментально и превыше всего:

Рациональные агенты должны ВЫИГРЫВАТЬ.

Не поймите меня неправильно и не думайте, будто я говорю о голливудском стереотипе рациональности, согласно которому рационалисты должны быть эгоистичными или недальновидными. Если ваша функция полезности включает заботу о других, то выиграйте для них счастье. Если ваша функция полезности включает заботу о том, что произойдет через миллион лет, то выиграйте вечность.

Но в любом случае — ВЫИГРЫВАЙТЕ. Не проигрывайте обоснованно; ВЫИГРЫВАЙТЕ.

Сейчас есть защитники каузальной теории принятия решений, утверждающие, что двухкоробочники делают всё возможное для победы и ничего не могут поделать с тем, что их проклял Предсказатель, благоволящий иррационалистам. Об этой линии защиты я поговорю через минуту. Но сначала я хочу провести грань между сторонниками каузальной теории принятия решений, которые верят, что двухкоробочники действительно делают всё возможное, чтобы победить, и теми, кто считает, что выбор двух коробок — это разумный или рациональный поступок, но при этом сам разумный шаг в данном случае предсказуемо ведёт к проигрышу. Существует множество людей, которые думают, что рациональность предсказуемо проигрывает в различных задачах, — это тоже часть голливудского стереотипа о рациональности, в котором Кирк предсказуемо превосходит Спока.

Теперь перейдём к обвинению в том, что Омега благоволит иррационалистам. Я могу представить себе сверхсущество, которое вознаграждает только людей, рождённых с определённым геном, независимо от их выбора. Я могу представить себе сверхсущество, которое вознаграждает людей, чей мозг реализует конкретный алгоритм вроде «Опиши варианты на английском языке и выбери последний в алфавитном порядке», но не награждает тех, кто выбирает тот же вариант по другой причине. Но Омега вознаграждает людей, которые решают взять только коробку B, независимо от того, какой алгоритм привёл их к этому решению, и именно поэтому я не принимаю обвинений в том, что Омега поощряет иррациональность. Омеге всё равно, следуете ли вы какому-то особому ритуалу познания; Омегу волнует только ваше предсказанное решение.

Мы можем выбрать любой алгоритм рассуждения, какой нам нравится, и будем вознаграждены или наказаны исключительно в соответствии с выбором этого алгоритма, без каких-либо иных зависимостей — Омегу волнует лишь то, куда мы пришли, а не то, как мы туда добирались.

Именно мысль о том, что Природе нет дела до нашего алгоритма, освобождает нас для следования победоносному Пути — без привязанности к какому-либо конкретному ритуалу познания, помимо нашей веры в то, что он приносит победу. Любое правило можно пересмотреть, кроме правила побеждать.

Как сказал Миямото Мусаси — это действительно стоит повторить:

Победить можно длинным оружием, но можно победить и коротким. Одним словом, Путь школы Ити — это дух победы, каким бы ни было оружие и каков бы ни был его размер.³

(Другой пример: Макги утверждал, что мы должны принять ограниченные функции полезности, иначе мы рискуем столкнуться с «голландскими книгами» на бесконечных временных промежутках. Но: функция полезности не подлежит пересмотру. Я люблю жизнь без ограничений и верхнего предела; не существует такого конечного срока жизни N, при котором я бы предпочёл вероятность 80,0001% прожить N лет шансу в 0,0001% прожить гуголплекс лет и 80% шансу жить вечно. Это достаточное условие, из которого следует, что моя функция полезности неограниченна. Так что мне просто нужно понять, как оптимизировать под эту мораль. Вы не можете сначала заявить мне, что я обязан во что бы то ни стало соответствовать определённому ритуалу познания, а затем — что, раз уж я ему соответствую, мне нужно изменить свою мораль, чтобы не стать жертвой голландской книги ставок. Выбросьте проигрышный ритуал; не меняйте определение победы. Это всё равно что решить предпочесть $1 000 сумме в $1 000 000 только ради того, чтобы задача Ньюкома не выставляла ваш любимый ритуал познания в дурном свете.)

«Но, — говорит сторонник каузальной теории принятия решений, — чтобы взять только одну коробку, вы должны каким-то образом верить, что ваш выбор может повлиять на то, пуста коробка B или полна, а это неразумно! Омега уже ушёл! Это физически невозможно!»

Неразумно? Я рационалист: какое мне дело до того, что это неразумно? Я не обязан соответствовать какому-то конкретному ритуалу познания. Мне не нужно брать только коробку B из-за веры в то, что мой выбор влияет на коробку, хотя Омега уже ушёл. Я могу просто... взять только коробку B.

У меня действительно есть альтернативный ритуал познания, который вычисляет это решение, но эти поля слишком узки, чтобы его вместить; однако мне и не должно требоваться показывать его вам. Суть не в том, чтобы иметь элегантную теорию победы, — суть в том, чтобы побеждать; элегантность — лишь побочный эффект.

Или посмотрим на это с другой стороны: вместо того чтобы начинать с концепции «разумного решения», а затем спрашивать, уходят ли «разумные» агенты с кучей денег, начните с наблюдения за агентами, которые уходят с кучей денег, разработайте теорию о том, какие агенты, как правило, уносят больше всего денег, и на основе этой теории попытайтесь понять, что же такое «разумно». Слово «разумный» может просто означать решения, соответствующие нашему текущему ритуалу познания, — что ещё могло бы определять, кажется ли что-то «разумным» или нет?

Из книги Джеймса Джойса (однофамильца), «Основания каузальной теории принятия решений»:⁴

У Рэйчел есть отличный ответ на вопрос «Почему же ты тогда не богата?». «Я не богата, — скажет она, — потому что я не из тех людей, которые, по мнению психолога, откажутся от денег. Я просто не такая, как ты, Ирен. Учитывая, что я знаю, что отношусь к типу людей, которые забирают деньги, и учитывая, что психолог знает, что я отношусь к этому типу, с моей стороны было вполне разумно полагать, что $1 000 000 на моём счету нет. $1 000 — это максимум того, что я могла получить независимо от своих действий. Так что единственным разумным поступком для меня было забрать их».

Ирен, возможно, захочет развить тему, спросив: «Но разве тебе не хочется быть похожей на меня, Рэйчел? Разве тебе не хочется быть из тех, кто отказывается?» Существует тенденция считать, что Рэйчел, убеждённый сторонник каузальной теории принятия решений, должна ответить на этот вопрос отрицательно, что кажется очевидно неверным (учитывая, что сходство с Ирен сделало бы её богатой). Но это не так. Рэйчел вполне может — и должна — признать, что действительно хотела бы быть больше похожей на Ирен. «Для меня было бы лучше, — может уступить она, — будь я из тех, кто отказывается». В этот момент Ирен воскликнет: «Ты сама признала это! Значит, забирать деньги было не так уж и умно». К несчастью для Ирен, её вывод никак не следует из посылки Рэйчел. Рэйчел терпеливо объяснит, что желание быть тем, кто отказывается в задаче Ньюкома, не противоречит мысли о том, что следует забрать $1 000, вне зависимости от своего типа. Когда Рэйчел хочет быть того же типа, что и Ирен, она мечтает о возможностях Ирен, а вовсе не одобряет её выбор.

Общим принципом рациональности — и даже, я бы сказал, частью того, как я определяю рациональность, — является то, что вы никогда в итоге не станете завидовать просто-напросто чужому выбору. Вы можете завидовать чьим-то генам, если Омега поощряет гены или если они обеспечивают в целом более счастливый характер. Но Рэйчел выше завидует выбору Ирен, и только её выбору, независимо от того, какой алгоритм Ирен использовала для его принятия. Рэйчел всего лишь хочет обладать склонностью делать другой выбор.

Не стоит заявлять, что вы рациональнее кого-то, и одновременно завидовать его выбору — и только его выбору. Просто совершите поступок, которому завидуете.

Я без конца твержу, что рациональность — это выигрышный Путь, но сторонники каузальной теории принятия решений настаивают, что забрать обе коробки — это то, что на самом деле приносит выигрыш, поскольку вы никак не можете улучшить свой результат, оставив $1 000 на столе... даже несмотря на то, что однокоробочники завершают эксперимент с большей суммой денег. Остерегайтесь подобных аргументов всякий раз, когда ловите себя на попытке определить «победителя» как кого-то иного, нежели агент, который прямо сейчас улыбается, сидя на вершине гигантской кучи полезности.

Да, существуют различные мысленные эксперименты, в которых некоторые агенты изначально обладают преимуществом, — но если задача состоит в том, чтобы, скажем, решить, прыгать ли со скалы, стоит быть осторожнее и не определять агентов, воздерживающихся от прыжка, как имеющих несправедливое априорное преимущество над прыгающими агентами в силу их несправедливого отказа прыгать со скалы. В этот момент вы тайком переопределили «победу» как соответствие конкретному ритуалу познания. Следите за деньгами!

Или вот ещё один взгляд на это: столкнувшись с задачей Ньюкома, захотели бы вы изо всех сил искать причину поверить, будто совершенно разумно и рационально взять только коробку B, — ведь если бы такая аргументация существовала, вы бы взяли только коробку B и обнаружили её полной денег? Потратили бы вы лишний час на размышления, будь вы уверены, что в конце этого часа сможете убедить себя в том, что коробка B — это рациональный выбор? Это тоже довольно странное положение. Обычно работа рациональности заключается в том, чтобы выяснить, какой выбор является лучшим, а не в том, чтобы искать причину поверить, будто конкретный выбор является лучшим.

Возможно, слишком легко заявлять, будто вы «должны» выбрать две коробки в задаче Ньюкома, и что именно так поступать «разумно», пока этих денег на самом деле нет перед вами. Может быть, на данном этапе вы просто нечувствительны к философским дилеммам. Что если бы ваша дочь была больна болезнью, смертельной в 90% случаев, и в коробке A находилась бы сыворотка с 20% шансом на излечение, а в коробке B могла бы находиться сыворотка с 95% шансом на излечение? Что если бы на Землю мчался астероид, и в коробке A находился бы отражатель астероидов, срабатывающий в 10% случаев, а в коробке B мог бы находиться отражатель, срабатывающий в 100% случаев?

Почувствовали бы вы в этот момент соблазн сделать неразумный выбор?

Если бы на кону в коробке B стояло то, что вы не могли упустить? Что-то неизмеримо более важное для вас, чем собственная разумность? Если бы вам абсолютно необходимо было победить — победить по-настоящему, а не просто числиться победителем по определению?

Стали бы вы всеми силами желать, чтобы «разумным» решением было взять только коробку B?

Тогда, возможно, пришло время обновить ваше определение разумности.

Так называемые рационалисты не должны ловить себя на том, что завидуют простым решениям так называемых нерационалистов, ведь вы можете принять абсолютно любое решение по своему усмотрению. Оказавшись в подобном положении, вам не следует упрекать другого человека в том, что он не соответствует вашим представлениям о разумности. Вам следует понять, что вы неверно истолковали Путь.

Точно так же и в случае, если вы когда-либо поймаете себя на том, что разграничиваете «разумное» убеждение и убеждение, которое, скорее всего, на самом деле является истинным. Либо вы неправильно поняли разумность, либо ваша вторая интуиция просто ошибочна.

Разумеется, нельзя одновременно определять «рациональность» как выигрышный Путь и определять её же как байесовскую теорию вероятностей и теорию принятия решений. Однако выдвигаемый мною аргумент, как и мораль моего совета доверять Байесу, состоит в том, что законы, управляющие победой, действительно оказались математикой. Если когда-нибудь окажется, что Байес терпит неудачу — получает систематически меньшие награды в какой-то задаче по сравнению с лучшей альтернативой исключительно в силу своих решений, — тогда Байеса придётся выбросить за борт. «Рациональность» — это просто ярлык, который я использую для своих убеждений о выигрышном Пути, о Пути агента, улыбающегося с вершины гигантской кучи полезности. В настоящее время под этим ярлыком подразумевается байесовское мастерство.

Я понимаю, что это не сокрушительная критика каузальной теории принятия решений — для этого потребовалась бы целая книга или кандидатская диссертация, — но я надеюсь, это иллюстрирует моё базовое отношение к подобному пониманию «рациональности».

[Примечание 2015 года: к настоящему времени я написал подробное, объёмом с целую книгу, изложение теории принятия решений, которая доминирует над каузальной теорией принятия решений — «Вневременная теория принятия решений»⁵. Криптограф Вэй Дай ответил на это другой альтернативой каузальной теории — безобновленческой теорией принятия решений, которая доминирует как над каузальной, так и над вневременной теориями принятия решений. По состоянию на 2015 год лучшими актуальными обсуждениями этих теорий являются работа Дэниела Хинтце «Доминирование классов задач в предсказательных дилеммах»⁶ и работа Нейта Соареса и Бенджи Фалленштейна «На пути к идеализированной теории принятия решений»⁷.]

Вы не должны ловить себя на том, что разграничиваете выигрышный выбор и разумный выбор. И точно так же вы не должны разграничивать разумное убеждение и убеждение, которое с наибольшей вероятностью окажется истинным.

Вот почему я использую слово «рациональный» для обозначения моих убеждений о точности и победе — а не для обозначения вербальных рассуждений, или стратегий, гарантирующих успех, или того, что логически доказуемо, публично демонстрируемо или разумно.

Как говорил Миямото Мусаси:

Когда берёшь в руки меч, главное — это твоё намерение рассечь врага, какими бы ни были средства. Всякий раз, когда ты парируешь, бьёшь, делаешь выпад, наносишь удар или касаешься разящего меча противника, ты должен рассечь врага тем же самым движением. Добиться этого жизненно необходимо. Если ты думаешь лишь о том, чтобы ударить, сделать выпад, нанести удар или коснуться противника, у тебя не получится по-настоящему рассечь его.

*

1. Ричмонд Кэмпбелл и Лэннинг Сноуден (ред.), Парадоксы рациональности и сотрудничества: дилемма заключённого и задача Ньюкома (Ванкувер: University of British Columbia Press, 1985).

2. Марион Ледвиг, «Задача Ньюкома» (докторская диссертация, Констанцский университет, 2000).

3. Мусаси, Книга пяти колец.

4. Джеймс М. Джойс, Основания каузальной теории принятия решений (Нью-Йорк: Cambridge University Press, 1999), doi:10.1017/CBO9780511498497.

5. Юдковский, Вневременная теория принятия решений.

6. Дэниел Хинтце, «Доминирование классов задач в предсказательных дилеммах», дипломная работа (2014).

7. Нейт Соарес и Бенджа Фалленштейн, «На пути к идеализированной теории принятия решений», технический отчёт. Беркли, Калифорния: Научно-исследовательский институт машинного интеллекта (MIRI) (2014), http://intelligence.org/files/TowardIdealizedDecisionTheory.pdf.