Представьте, что у нас есть две группы солдат. В первой группе рядовые ничего не смыслят в тактике и стратегии; о тактике знают только сержанты, а о стратегии — только офицеры. Во второй группе абсолютно все на любом уровне знают всё о тактике и стратегии.

Должны ли мы ожидать, что первая группа победит вторую, потому что первая будет выполнять приказы, в то время как каждый во второй группе будет придумывать идеи получше, чем любые приказы, которые им отдают?

В таком случае я должен усомниться в том, насколько хорошо вторая группа действительно понимает военную теорию, ведь это элементарная истина: нескоординированную толпу просто вырежут.

Предположим, что на страну рационалистов нападает страна Злобных Варваров, которые ничего не знают ни о теории вероятностей, ни о теории принятия решений.

Существует определённый взгляд на «рациональность» или «рационализм», согласно которому утверждается нечто подобное:

«Очевидно, рационалисты проиграют. Варвары верят в загробную жизнь, где их наградят за отвагу, поэтому они будут бросаться в бой без колебаний и сожалений. Благодаря аффективным спиралям смерти вокруг своего Дела и Великого Вождя Боба их воины будут беспрекословно выполнять приказы, а гражданские в тылу — с энтузиазмом и на полную мощность работать на нужды войны; любого, кого поймают на утаивании или уклонении, сожгут на костре в соответствии с варварскими традициями. Они будут верить в добродетель друг друга и ненавидеть врага сильнее, чем любой здравомыслящий человек, сплачиваясь в единое целое. Между тем, рационалисты поймут, что от гибели в бою нельзя получить никакой мыслимой выгоды; они будут желать, чтобы сражался кто-то другой, но сами воевать не захотят. Даже если они смогут набрать солдат, их гражданские не будут столь сговорчивы: пока отсутствие какой-то одной сосиски почти наверняка не приводит к краху всей военной кампании, они предпочтут оставить эту сосиску себе, а значит, не внесут в общее дело столько, сколько могли бы. Независимо от того, насколько утончённой, элегантной, цивилизованной, продуктивной и ненасильственной была их культура изначально, они не смогут противостоять варварскому нашествию; здравое обсуждение — не соперник безумцу с пеной у рта и с оружием в руках. В конце концов, варвары победят, потому что они хотят сражаться, они хотят причинить боль рационалистам, они хотят завоеваний, и всё их общество сплочено вокруг идеи завоевания; их это заботит сильнее, чем любого здравомыслящего человека».

Война — это не весело. Как обнаружили очень, очень многие люди с самого начала письменной истории, как обнаружили очень, очень многие люди ещё до начала письменной истории, как прямо сейчас обнаруживает какая-то община в какой-нибудь печальной маленькой стране, чьи внутренние терзания больше даже не попадают на первые полосы газет.

Война — это не весело. Проиграть войну — ещё менее весело. И как говорили ещё в древности: «Хочешь мира — готовься к войне». Твоим противникам не обязательно верить, что ты победишь или завоюешь их; но они должны верить, что ты окажешь достаточное сопротивление, чтобы для них игра не стоила свеч.

Отсюда вы понимаете, что если бы уделом «рационалистов» действительно было всегда проигрывать в войнах, я не мог бы с чистой совестью призывать к широкому общественному признанию «рациональности».

Пожалуй, это самая грязная тема, которую я когда-либо обсуждал или планирую обсуждать здесь. Война не бывает чистой. Современные высокотехнологичные вооружённые силы — под этим я имею в виду армию США — уникальны тем, какую колоссально превосходящую силу они могут обрушить на противников, что позволяет им проявлять исторически беспрецедентную заботу о минимизации потерь среди противника и мирного населения.

Победа в войне не всегда означала отбрасывание всякой морали. Войны выигрывались и без пыток. Из того, что война — это не весело, вовсе не следует, скажем, что ставить под сомнение действия президента непатриотично. Мы привыкли к тому, что понятие «война» используют как оправдание для дурных поступков, потому что в недавней истории США оно, по сути, именно для этого и использовалось…

Но глупость наоборот — это ещё не ум. И злодейство наоборот — тоже не ум. По-прежнему верно то, что настоящие войны нельзя выиграть утончённой вежливостью. Если «рационалисты» не могут подготовить себя к этому ментальному потрясению, варвары действительно победят; а «рационалисты»… я не хочу говорить «заслуживают поражения», но они провалят это испытание, от которого зависит само существование их общества.

Для начала позвольте мне развеять мысль о том, что в принципе идеальные рациональные агенты не способны вести войну из-за того, что каждый из них предпочитает быть гражданским, а не солдатом.

Как уже довольно подробно обсуждалось, в задаче Ньюкома я выбираю одну коробку.

Будучи последовательным, я не считаю, что если исход выборов определяется соотношением 100 000 голосов против 99 998, то все избиратели поступили иррационально, потратив силы на поход к избирательному участку, поскольку «то, что я остался дома, ни на что бы не повлияло». (Я также не считаю, что если бы выборы завершились со счётом 100 000 против 99 999, то то эти 100 000 человек были бы каждый по отдельности единолично ответственны за этот результат).

Будучи последовательным, я также утверждаю, что два рациональных ИИ (использующих мою версию теории принятия решений), даже если бы они имели совершенно разные функции полезности и были созданы разными авторами, будут сотрудничать в истинной Дилемме заключённого, если обладают общим знанием об исходном коде друг друга. (Или даже просто общим знанием о рациональности друг друга в соответствующем смысле).

Будучи последовательным, я полагаю, что рациональные агенты способны координироваться в групповых проектах всякий раз, когда (ожидаемый вероятностный) исход лучше, чем он был бы без такой координации. Общество агентов, использующих мой тип теории принятия решений и обладающих общим знанием об этом факте, в итоге придёт к оптимуму Парето, а не к равновесию Нэша. Если все рациональные агенты согласны с тем, что им лучше сражаться, чем сдаться, они будут воевать с варварами, а не сдадутся им.

Представьте себе сообщество самомодифицирующихся ИИ, которые коллективно предпочитают сражаться, а не сдаваться, но индивидуально предпочитают быть гражданскими, а не воевать. Одно из решений — провести лотерею, непредсказуемую ни для одного из агентов, чтобы выбрать воинов. До проведения лотереи все ИИ заранее меняют свой код так, чтобы в случае выбора они сражались как воины наиболее эффективным для сообщества образом — даже если это означает спокойно идти навстречу собственной смерти.

(Рефлексивно согласованная теория решений работает так же, только без самомодификации).

Вы возражаете: «Но в реальном человеческом мире агенты не являются идеально рациональными, и у них нет общего знания об исходном коде друг друга. Сотрудничество в Дилемме заключённого требует определённых условий согласно вашей теории решений (для описания которых эти поля слишком малы), и эти условия не выполняются в реальной жизни».

Я отвечаю: чистая, истинная Дилемма заключённого невероятно редка в реальной жизни. В реальной жизни у вас обычно есть сопутствующие последствия — ваши действия влияют на вашу репутацию. В реальной жизни большинство людей в какой-то мере заботит то, что происходит с другими. И в реальной жизни у вас есть возможность создавать механизмы стимулирования.

И в реальной жизни я действительно считаю, что сообщество человеческих рационалистов могло бы выставить солдат, готовых умереть, защищая своё сообщество. До тех пор, пока детям в школе не говорят, что идеальные рационалисты должны предавать друг друга в Дилемме заключённого. Пусть станет общепринятым убеждением — а я действительно в это верю по той же самой причине, по которой я выбираю одну коробку в задаче Ньюкома, — что если люди примут индивидуальные решения не становиться солдатами или если солдаты решат бежать, то это равносильно решению позволить варварам победить. Согласно той же самой теории, по которой, если выборы выиграны со счётом 100 000 голосов против 99 998, для каждого избирателя бессмысленно говорить: «мой голос ничего не изменил». Пусть будет сказано (ибо это правда), что функциям полезности не обязательно быть солипсистскими и что рациональный агент может сражаться насмерть, если его достаточно волнует то, что он защищает. Пусть им не внушают, что рационалисты должны ожидать «разумного» поражения.

Если такова культура и таковы нравы рационального общества, то, думаю, обычные люди в таком обществе будут добровольно идти в солдаты. В конце концов, это тоже заложено в человеческую природу. Нужно лишь позаботиться о том, чтобы культурные установки этому не мешали.

А если я ошибаюсь и это не даст достаточного числа добровольцев?

Тогда, пока люди в целом всё ещё предпочитают сражаться, а не сдаваться, у них есть возможность создать механизмы стимулирования и предотвратить истинную Дилемму заключённого.

Можно проводить лотереи для выбора воинов. Что-то вроде приведённого выше примера с ИИ, меняющими собственный код. Вот только если принцип «будь рефлексивно последовательным; делай то, что ты бы обязался сделать заранее» не является достаточной мотивацией для людей, чтобы подчиниться результатам лотереи, тогда...

...ну что ж, до фактического проведения лотереи мы все, пожалуй, согласимся, что дать избранникам препараты, придающие дополнительную храбрость, и расстреливать их в случае бегства — хорошая идея. Даже с учётом того, что жребий может пасть на нас самих. Поскольку до проведения лотереи именно эта общая политика даёт нам наибольшее математическое ожидание выживания.

...как я уже говорил: реальные войны — это не весело, а проигрывать войны — ещё менее весело.

К слову, давайте проясним: я не одобряю призыв в армию в том виде, в каком он практикуется сегодня. Подобные призывы не являются коллективными попытками населения перейти от равновесия Нэша к оптимуму Парето. Призыв — это инструмент королей, играющих в игры, для которых им нужны оловянные солдатики. Я считаю, что призывники времён Вьетнама, бежавшие в Канаду, были правы. Но общество, которое считает себя слишком умным для королей, вовсе не должно быть слишком умным для того, чтобы выжить. Даже если вторгаются орды варваров, и эти варвары практикуют призыв.

Будут ли рациональные солдаты подчиняться приказам? Что если командующий офицер совершит ошибку?

Солдаты маршируют. Все чеканят шаг в едином ритме. Возможно, даже вопреки собственным желаниям, ведь предоставленные сами себе люди шли бы вразнобой. Лазеры из людей. Вот что такое маршировка.

Если возможно изобрести какой-то метод группового принятия решений, который превосходит отдачу приказов капитаном, то рота рациональных солдат могла бы внедрить эту процедуру. Если же нет проверенного метода лучше капитана, то рота рациональных солдат обязуется подчиняться капитану, даже вопреки своим личным склонностям. А если люди не настолько рациональны... тогда до проведения лотереи общая политика, дающая вам наибольшее личное математическое ожидание выживания, — расстреливать солдат, не подчиняющихся приказам. Это не значит, что те, кто устраивал фрэггинг собственным офицерам во Вьетнаме, были неправы; ведь они могли последовательно утверждать, что предпочитают, чтобы в призывной лотерее никто не участвовал.

Но нескоординированную толпу просто перебьют, и поэтому солдатам необходим какой-то способ делать одно и то же в одно и то же время ради достижения одной и той же цели, пусть даже, будучи предоставлены самим себе, они разбрелись бы во все стороны. Приказы могут исходить не от капитана, подобного верховному вождю племени, но единые приказы должны исходить откуда-то. Общество, чьи солдаты слишком умны, чтобы подчиняться приказам, — это общество, которое слишком умно, чтобы выжить. Точно так же, как общество, люди в котором слишком умны, чтобы быть солдатами. Вот почему я говорю «умный» (слово, которое я часто использую в неодобрительном смысле), а не «рациональный».

(Впрочем, я действительно считаю важным вопрос о том, можно ли придумать метод координации в малой группе, который на практике действительно работал бы лучше, чем наличие лидера. Чем сильнее люди могут доверять методу группового принятия решений — чем больше они могут верить в то, что он действительно превосходит ситуацию, когда каждый идет своим путем, — тем более согласованно они могут действовать даже в отсутствие реально применимых наказаний за неподчинение.)

Я говорю всё это, хоть и не ожидаю, что рационалисты в ближайшее время захватят власть в какой-нибудь стране, потому что считаю: наши представления об обществе «таких же людей, как мы» в какой-то мере отражают то, как мы думаем о самих себе. Если вы верите, что общество из таких же людей, как вы, окажется слишком разумным, чтобы выжить в долгосрочной перспективе... это один вариант самовосприятия. И совсем другой вариант самовосприятия — если вы думаете, что общество людей, полностью похожих на вас, могло бы сразиться со свирепыми Злобными Варварами и победить — не просто благодаря превосходству в технологиях, а потому что ваши люди заботятся друг о друге и о своем обществе в целом — и потому что они могут смотреть в лицо реалиям войны, не теряя себя — и потому что они просчитали бы групповое рациональное действие и позаботились о том, чтобы оно было выполнено — и потому что в правилах теории вероятностей или теории принятия решений нет ничего, что запрещало бы жертвовать собой ради общего дела — и потому что если вы действительно умнее Врага, а не просто льстите себе на этот счет, то вы должны быть способны использовать те слепые зоны, о которых Враг не позволяет себе даже задумываться — и потому что, как бы сильно Враг ни накручивал себя перед битвой, вы допускаете, что, возможно, цельный разум, не раздираемый внутренними противоречиями и, быть может, практикующий нечто вроде медитации или самогипноза, способен на практике сражаться так же яростно, как и тот, кто теоретически верит, что его ждут семьдесят две девственницы.

Тогда вы будете ожидать большего от себя и от таких же людей, действующих в группах; и тогда вы сможете увидеть в себе нечто большее, чем просто культурный тупик.

Так что посмотрите на это с такой стороны: Джеффриссай, вероятно, не сдался бы Злобным Варварам, даже если бы сражался в одиночку. Целая армия мастеров-бейсуцаев должна быть силой, с которой никто не захочет связываться. В этом и заключается вдохновляющее видение. Вопрос в том, как именно это работает.

*