К книге
Рациональность: от ИИ до зомби317. Почему люди нашего склада не могут кооперироваться.
95%
317. Почему люди нашего склада не могут кооперироваться.
337

Из тех времён, когда меня ещё заставляли туда ходить, я помню ежегодный сбор пожертвований в нашей синагоге. Если я правильно помню, формат был довольно простым. Раввин и казначей говорили о расходах синагоги и о том, как важен этот ежегодный сбор, а затем прихожане прямо со своих мест выкрикивали суммы, которые они обещали пожертвовать.

Просто и понятно, правда?

Позвольте рассказать вам о другом ежегодном сборе пожертвований. О том, который проводил я сам в первые годы существования Научно-исследовательского института машинного интеллекта (MIRI). Одно отличие состояло в том, что кампания проходила в интернете. Другое же отличие заключалось в том, что аудитория в основном состояла из атеистов / либертарианцев / технофилов / любителей научной фантастики / ранних последователей / программистов и т. д. (Чтобы примерно очертить эмпирический кластер в пространстве личностей. Если вы поняли фразу «эмпирический кластер в пространстве личностей», вы понимаете, о ком я говорю.)

Я тщательно проработал этот призыв к пожертвованиям. По своей природе я слишком горд, чтобы просить других людей о помощи, но за годы мне удалось преодолеть это нежелание примерно на 60%. Некоммерческая организация нуждалась в деньгах и росла слишком медленно, поэтому в ежегодный призыв того года я вложил немало силы и поэзии. Я разослал его по нескольким спискам рассылки, охватывающим большую часть нашей потенциальной базы поддержки.

И почти сразу же в рассылках начали появляться сообщения о том, почему люди не собираются жертвовать. Некоторые поднимали фундаментальные вопросы о философии и миссии некоммерческой организации. Другие делились своими блестящими идеями обо всех других источниках, из которых организация могла бы получить финансирование вместо них. (Они не вызывались связаться с кем-либо из этих источников сами, у них просто были идеи, как это можем сделать мы.)

Теперь вы можете сказать: «Ну, возможно, в вашей миссии и философии действительно крылись фундаментальные проблемы — вы же не хотели бы цензурировать эту дискуссию?»

Запомните эту мысль.

Потому что люди всё-таки жертвовали. Мы сразу начали получать пожертвования через PayPal. Нам даже приходили поздравительные записки о том, что этот призыв наконец-то побудил их сдвинуться с места. К пожертвованию в размере $111,11 прилагалось сообщение: «Я решил дать чуть больше. Ещё одну сотню, ещё одну десятку, ещё один доллар, ещё один дайм и ещё один цент. Пусть не все за одного, но этот один пытается быть за всех».

Но ни один из этих жертвователей не написал в список рассылки, чтобы выразить согласие. Ни один.

Насколько знал каждый из этих жертвователей, он был один. И когда на следующий день они открывали рассылку, то находили там не благодарность, а аргументы в пользу того, почему им не следовало жертвовать. Критика, оправдания нежелания жертвовать — только они красовались у всех на виду.

Как будто казначей закончил свой ежегодный призыв, и все, кто не собирался вносить деньги, гордо поднялись, чтобы во всеуслышание объявить причины своего отказа, в то время как те, кто сделал взнос, шептали об этом тихонько, чтобы никто не услышал.

Я знаю одного сторонника рационализма, который ходит и жалобно спрашивает: «Как так получается, что раэлитский культ летающих тарелок умудряется заинтересовать полной чушью десятки тысяч адептов [вероятно, около 40 000], а мы не можем привлечь хотя бы тысячу человек к работе над этой задачей?»

Очевидно ошибочный способ продолжить эту мысль — сказать: «Давайте делать то же, что раэлиты! Давайте добавим к этому мему немного чуши!» Для блага тех, кого не останавливают на месте этические барьеры, замечу, что на один получивший известность культ летающих тарелок может приходиться сотня провалившихся. К тому же Тёмная сторона может требовать неочевидных навыков, которых у вас, да, именно у вас, нет: не каждый может быть владыкой ситхов. В частности, если вы обсуждаете свои планы соврать в открытом интернете, вы проиграли. Я не великий преступник, но даже я могу сказать, что некоторые люди просто не созданы быть жуликами.

Так что, пожалуй, не лучшая идея — взращивать в себе чувство несправедливой обделённости при мысли, что у какой-то другой группы, которая, по вашему мнению, уступает вам, больше денег и сторонников. Этот путь ведёт — простите за выражение — на Тёмную сторону.

Но нам, пожалуй, всё-таки стоит задать себе несколько острых вопросов, если так называемые «рационалисты» не способны координировать свои действия хотя бы так же успешно, как культ летающих тарелок.

Как всё устроено на Тёмной стороне?

Говорит уважаемый лидер, и раздаётся хор абсолютного согласия: если кто-то и таит в душе сомнения, он держит их при себе. В результате каждый отдельный слушатель видит эту атмосферу полного единодушия и чувствует себя увереннее в предложенных идеях — ведь даже если лично у него и были сомнения, все остальные, похоже, со всем согласны.

(«Плюралистическое невежество» — общепринятое название для этого.)

Если кого-то и после этого не удалось убедить, они покидают группу (или, в некоторых краях, их казнят) — и среди оставшихся единодушие лишь возрастает и сильнее подкрепляют веру друг друга, встречая всё меньше помех.

(Я называю это «испарительным охлаждением групп».)

Сами идеи, а не только лидер, вызывают безграничный восторг и восхваление. Эффект ореола заключается в том, что оценки всех положительных качеств коррелируют между собой — например, когда испытуемым рассказывали о пользе какого-то пищевого консерванта, они оценивали его как менее рискованный, хотя логически эти характеристики не были связаны. Это может создать эффект положительной обратной связи, из-за которого идея кажется всё лучше, лучше и лучше — особенно если любая критика воспринимается как предательство или грех.

(Что я называю «аффективной спиралью смерти».)

Итак, всё это примеры мощных сил Тёмной стороны, способных сплачивать группы.

И, надо полагать, мы не зайдём так далеко, чтобы марать руки подобным...

Следовательно, как группа, Светлая сторона всегда будет разобщена и слаба. Технофилы, гики, учёные и даже нефундаменталистские религиозные течения никогда не смогут действовать с тем фанатичным единством, которое воодушевляет радикальный ислам. Технологическое преимущество не безгранично: ваши инструменты можно скопировать или украсть и использовать против вас. В конечном счёте Светлая сторона всегда будет проигрывать в любом групповом конфликте, и будущее неизбежно принадлежит Тёмной.

Я думаю, что реакция человека на эту перспективу говорит о многом в его отношении к «рациональности».

Некоторые авторы, пишущие о «столкновении цивилизаций», похоже, смирились с тем, что Просвещение в долгосрочной перспективе обречено проиграть радикальному исламу, и лишь вздыхают да печально качают головами. Полагаю, они пытаются просигнализировать о своей циничной искушённости или что-то в этом роде.

Что касается меня, я всегда считал — зовите меня безумцем, — что настоящий рационалист должен быть эффективен в реальном мире.

Поэтому мне трудно примириться с мыслью, что Тёмная сторона благодаря своему плюралистическому невежеству и аффективным спиралям смерти всегда будет побеждать просто потому, что её сторонники лучше скоординированы, чем мы.

Можно было бы подумать, пожалуй, что настоящие рационалисты должны быть более скоординированными? Наверняка у всего этого неразумия должны быть свои недостатки? Этот режим ведь не может быть оптимальным, правда?

И если нынешние группы «рационалистов» не могут координироваться — если они не способны поддерживать групповые проекты хотя бы так же успешно, как отдельная синагога собирает пожертвования со своих прихожан, — что ж, я предоставляю вам самим завершить этот силлогизм.

Я иногда использую такое изречение: «Опасно быть рационалистом наполовину».

Например, я могу представить, как саботировать чей-то интеллект, избирательно обучая этого человека определённым методам рациональности. Представьте, что вы обучили кого-то длинному списку логических ошибок и когнитивных искажений и натренировали его замечать эти ошибки и искажения в аргументах других людей. Но при этом вы тщательно выбирали те ошибки и искажения, в которых проще всего уличить других, — самые общие, которые легко применить неверно. И вы не предупреждаете его, что нужно исследовать аргументы, с которыми он согласен, столь же тщательно, как он ищет изъяны в противоречащих аргументах. В итоге он приобретает богатый арсенал изъянов, чтобы обвинять в них исключительно те аргументы и тех оппонентов, которые ему не нравятся. Подозреваю, это один из основных путей, по которым умные люди в конечном счёте глупеют. (И заметьте, кстати, что я только что предоставил вам ещё один Абсолютно общий контраргумент против умных людей, чьи доводы вам не нравятся.)

Точно так же, если бы вы хотели гарантировать, что группа «рационалистов» никогда не решит ни одной задачи, требующей усилий более чем одного человека, вы могли бы обучать их исключительно методам индивидуальной рациональности, ни словом не упоминая о методах скоординированной групповой рациональности.

Позже я подробнее напишу о том, как, на мой взгляд, рационалисты могли бы лучше координироваться. Но здесь я хочу сосредоточиться на том, что можно назвать культурой несогласия или даже культурой возражений — одной из двух главных сил, мешающих сообществу технофилов координироваться.

Представьте, что вы находитесь на конференции, и докладчик выступает с тридцатиминутной речью. После этого люди выстраиваются в очередь у микрофонов для вопросов. Первый задающий вопрос возражает против использования логарифмической шкалы на графике на слайде 14; он цитирует Тафти и его книгу «Представление количественной информации». Второй оспаривает утверждение на слайде 3. Третий предлагает альтернативную гипотезу, которая, похоже, объясняет те же данные...

Совершенно нормально, правда? Теперь представьте, что вы на конференции, докладчик выступает с тридцатиминутной речью. Люди выстраиваются у микрофона.

Первый говорит: «Я согласен со всем, что вы сказали в своём докладе, и считаю вас гением». Затем отходит в сторону.

Второй говорит: «Слайд 14 был прекрасен, я многое из него узнал. Вы потрясающий». Отходит в сторону.

Третий —

Ну, вам так и не суждено узнать, что собирался сказать третий человек у микрофона, потому что к этому моменту вы уже с криком выбежали из зала, гонимые ужасом, пробирающим до мозга костей, словно Ктулху только что явился из-за кафедры, — страхом перед невероятно неестественным феноменом, вторгшимся на вашу конференцию.

Да, группа, которая не терпит несогласия, не рациональна. Но если вы терпите только несогласие — если вы терпите несогласие, но не согласие, — тогда вы тоже не рациональны. Вы готовы выслушивать лишь часть честных мыслей, но не другие. Вы — опасный рационалист наполовину.

Нам столь же неуютно вместе, сколь членам культов летающих тарелок неуютно порознь. Это тоже неправильно. Глупость наоборот — это ещё не ум.

Допустим, у нас есть две группы солдат. В первой группе рядовые ничего не знают о тактике и стратегии; только сержанты смыслят в тактике и только офицеры — в стратегии. Во второй группе все на любых уровнях прекрасно знают всё и о тактике, и о стратегии.

Должны ли мы ожидать, что первая группа победит вторую, потому что первая будет беспрекословно выполнять приказы, в то время как каждый во второй группе будет придумывать идеи получше, чем любые отданные им приказы?

В таком случае я вынужден усомниться в том, насколько хорошо вторая группа на самом деле разбирается в военной теории, поскольку то, что некоординированная толпа обречена на уничтожение — это элементарная истина.

Действовать хуже, имея больше знаний, означает, что вы делаете что-то совершенно неправильно. Вы всегда должны быть способны как минимум реализовать ту же стратегию, которую использовали бы по незнанию, а предпочтительно — действовать лучше. Вы уж точно не должны действовать хуже. Если вы ловите себя на том, что жалеете о своей «рациональности», то вам стоит пересмотреть то, что вы считаете рациональным.

С другой стороны, если вы рационалист лишь наполовину, вы можете запросто начать действовать хуже, имея больше знаний. Я помню прекрасный эксперимент, показавший, что политически убеждённые студенты, лучше осведомлённые в вопросах, слабее реагировали на противоречащие их взглядам свидетельства, поскольку у них было больше аргументов, чтобы оспаривать исключительно эти противоречащие свидетельства.

Похоже, мы застряли в ужасной долине частичной рациональности, где мы в итоге оказываемся скоординированы хуже религиозных фундаменталистов и способны приложить меньше усилий, чем адепты культов летающих тарелок. Правда, те немногие усилия, которые нам всё же удаётся приложить, возможно, лучше направлены на помощь людям, а не на вред — но это не может служить оправданием.

Если бы я задался целью систематически обучать рационалистов, у нас были бы уроки о том, как не соглашаться, и уроки о том, как соглашаться; уроки, призванные помочь ученикам чувствовать себя комфортнее при несогласии, и уроки, призванные помочь им чувствовать себя комфортнее при конформизме. В один день все приходят одетыми кто во что горазд, в другой — все являются в униформе. Нужно освоить обе стороны, иначе вы рационалист лишь наполовину.

Можете ли вы представить себе обучение будущих рационалистов носить униформу и маршировать в ногу, а также тренировочные сессии, на которых они соглашаются друг с другом и аплодируют всему, что говорит оратор на трибуне? Звучит как неописуемый ужас, не правда ли, словно всё это открыто признало себя зловещим культом? Но почему практиковать это — не нормально, в то время как нормально практиковать несогласие со всеми остальными в толпе? Неужели вам никогда не придётся соглашаться с большинством?

Наша культура делает весь упор на героическое несогласие и героическое неповиновение, и нисколько — на героическое согласие или героический групповой консенсус. Мы сигнализируем о своём выдающемся интеллекте и принадлежности к сообществу нонконформистов, изобретая остроумные возражения против чужих аргументов. Возможно, именно в этом кроется причина того, что сообщество технофилов и Кремниевой долины остаётся маргинализованным, проигрывая битвы менее нонконформистским фракциям в обществе в целом. Нет, мы проигрываем не потому, что мы такие выдающиеся; мы проигрываем потому, что наши исключительно индивидуалистические традиции саботируют нашу способность к сотрудничеству.

Другой важный компонент, который, на мой взгляд, подрывает групповые усилия в сообществе технофилов, — это привычка стыдиться сильных чувств. В наших головах всё ещё засел архетип рациональности в духе Спока — рациональности как бесстрастности. Или, возможно, родственная ошибка: рациональность как цинизм — попытка просигнализировать о своём превосходстве и пресыщенной искушённости, показывая, что вас всё волнует меньше, чем других. Стремление тщательно, демонстративно и публично смотреть свысока на тех, кто настолько наивен, что открыто показывает, как сильно его что-то волнует.

Разве вы не почувствовали бы себя неловко, если бы оратор на трибуне заявил, что его настолько сильно волнует, скажем, борьба со старением, что он готов умереть за это дело?

Но ни в теории вероятностей, ни в теории принятия решений нигде не написано, что рационалисту должно быть всё равно. Я просмотрел эти уравнения — и, правда, там этого нет.

Лучшее неформальное определение рациональности, которое я когда-либо слышал, звучит так: «То, что может быть разрушено истиной, должно быть разрушено». Мы должны стремиться испытывать эмоции, соответствующие фактам, а не стремиться вообще ничего не чувствовать. Если эмоция может быть разрушена истиной, мы должны от неё отказаться. Но если цель стоит того, чтобы за неё бороться, давайте во всей полноте прочувствуем её важность.

За некоторые вещи действительно стоит умереть. Да, правда! И если мы не сможем научиться спокойно признавать это и слышать это от других, то нам будет трудно быть неравнодушными в достаточной мере — как и в достаточной мере координировать свои усилия — чтобы вкладывать силы в групповые проекты. Нужно преподавать обе стороны медали: «То, что может быть разрушено истиной, должно быть разрушено» и «То, что истина питает, должно процветать».

Я слышал доводы в пользу того, будто табу на эмоциональный язык в научных статьях, к примеру, играет важную роль, позволяя фактам бороться друг с другом без отвлекающих факторов. Но это не значит, что это табу должно действовать повсеместно. Я считаю, что в жизни есть сферы, где нам следует научиться аплодировать яркой эмоциональной речи, красноречию и поэзии. Когда нужно сделать какое-то дело, поэтические призывы помогают с ним справиться, а значит, и сами заслуживают аплодисментов.

Нам нужно следить за тем, чтобы наше стремление разоблачать контрпродуктивные начинания и необоснованные призывы не губило дела, которые действительно требуют решения. Здесь важны обе стороны: готовность отвернуться от контрпродуктивных начинаний и готовность поддержать продуктивные; стойкость не поддаваться беспочвенным призывам и сила поддаться призывам обоснованным.

Думаю, в той синагоге во время ежегодного сбора пожертвований всё делали правильно. Они не обходили ряды один за другим, заставляя конкретных людей чувствовать себя неловко, пристально глядя на них и спрашивая: «А сколько пожертвуете вы, мистер Шварц?» Люди просто объявляли о своих пожертвованиях — без лишнего пафоса и гордости, просто делали заявления, — и это вдохновляло остальных поступать так же. Те, кому нечего было дать, молчали; у кого были возражения, высказывали их позже или раньше. Примерно так всё и должно происходить в разумном человеческом сообществе — с учётом того, что людям часто бывает трудно обрести желаемую мотивацию, и социальное поощрение может помочь им преодолеть эту слабость воли.

Но даже если вы несогласны с этой частью, давайте сойдёмся на том, что и поддерживающие, и противоположные мнения должны были быть высказаны публично. Ситуация, когда сторонники сталкиваются с кажущейся глухой стеной возражений и несогласия — даже если она возникла из-за их собственной неловкой самоцензуры — это не групповая рациональность. Это всего лишь зеркальное отражение того, что делают группы Тёмной стороны для удержания своих последователей. Глупость наоборот — это ещё не ум.

*

Предыдущая главаГлава 337 из 354Следующая глава