Что плохого в том, чтобы использовать фильмы или романы в качестве отправной точки для дискуссии? В конце концов, никто ведь не утверждает, что это правда. Где же здесь ложь, в чем грех рационалиста? Научная фантастика — это попытка автора визуализировать будущее; почему бы не воспользоваться интеллектуальной работой, которую уже проделали за нас, вместо того чтобы начинать все сначала?

Не всякий неверный шаг в точном танце рациональности заключается в слепой вере в ложь; существуют и более тонкие способы ошибиться.

Для начала давайте отбросим мысль, будто научная фантастика — это полноценная рациональная попытка спрогнозировать будущее. Даже самые добросовестные писатели-фантасты — это прежде всего рассказчики; законы повествования отличаются от законов прогнозирования. Как отмечает Ник Бостром:¹

Когда вы в последний раз видели фильм о том, как человечество внезапно вымирает (без предупреждения и не сменяясь какой-то другой цивилизацией)? Хотя этот сценарий может быть гораздо более вероятным, чем сценарий, в котором человеческие герои успешно отражают вторжение монстров или роботов-воинов, смотреть его было бы не слишком интересно.

Итак, в художественных произведениях существуют определенные искажения. Но просто пытаться скорректировать эти конкретные искажения недостаточно. Любая история — это никогда не рациональная попытка анализа, даже у самых добросовестных писателей-фантастов, поскольку в историях не используются распределения вероятностей. Проиллюстрирую это следующим образом:

Боб Меркельтхад осторожно проскользнул в дверь инопланетного космического корабля, поглядывая направо, а затем налево (или налево, а затем направо), чтобы проверить, не осталось ли там еще ужасных Космических Монстров. У его бедра висело единственное оружие, оказавшееся эффективным против Космических Монстров: Космический Меч из чистого титана с вероятностью 30%, обычный железный лом с вероятностью 20% и мерцающий черный диск, найденный в дымящихся руинах Стоунхенджа, с вероятностью 45% — оставшиеся же 5% распределялись между слишком многочисленными мелкими исходами, чтобы перечислять их здесь.

Меркельтхад (хотя существует значительная вероятность того, что вместо него там была Сьюзан Уиффлфуфер) сделал два шага вперед или один шаг назад, когда тишину черного шлюза разорвал оглушительный рев! Или тихий фоновый гул белого шлюза! Хотя Амфер и Вуфи (1997) утверждают, что в этот момент Меркельтхада пожирают, Спэклбэкл (2003) указывает, что...

Персонажи могут пребывать в неведении, но автор не может произнести три волшебных слова: «Я не знаю». Главный герой должен провести одну-единственную линию сквозь будущее, изобилующее деталями, которые придают истории плоть — от подобающе футуристических взглядов Уиффлфуфер на феминизм вплоть до цвета ее сережек.

Затем все эти обременительные детали и сомнительные допущения упаковываются воедино и снабжаются кратким ярлыком, создавая иллюзию, что они представляют собой единый пакет.

В задачах с большим пространством ответов самая большая сложность — не проверить правильный ответ, а для начала просто найти его в этом пространстве. Если кто-то с порога спрашивает, засунет ли нас ИИ в капсулы, как в «Матрице», он сразу перескакивает к 100-битному утверждению, не имея соответствующих 98 бит свидетельств, позволяющих поместить его в пространство ответов как возможность, заслуживающую явного рассмотрения. После первых 98 бит потребовалось бы лишь немного дополнительных свидетельств, чтобы превратить эту возможность в почти полную уверенность — и это кое-что говорит нам о том, где именно выполняется почти вся работа.

«Предварительный» шаг по выявлению возможностей, заслуживающих явного рассмотрения, включает в себя такие действия, как: взвешивание того, что вы знаете и чего не знаете, что вы можете и чего не можете предсказать, сознательные усилия по избеганию искажения абсурдности и расширению доверительных интервалов, размышления о том, какие вопросы действительно важны, попытки сделать поправку на возможных «Черных лебедей» и обдумать (ранее) неизвестные неизвестные. Перескок сразу к вопросу «Матрица: да или нет?» полностью все это пропускает.

Любой профессиональный переговорщик знает: контролировать условия дебатов — значит практически контролировать их исход. Если вы начинаете с мыслей о «Матрице», в воображении возникают марширующие армии роботов, побеждающие людей после долгой борьбы, а вовсе не сверхинтеллект, щелкающий нанотехнологическими пальцами. Это смещает фокус на противостояние по принципу «мы против них», направляя внимание на вопросы вроде «Кто победит?», «Кто должен победить?» и «Будет ли ИИ действительно таким?». Это создает общую развлекательную атмосферу в духе «Каково ваше потрясающее видение будущего?».

В гулкой пустоте бесследно теряются: размышления о том, что у «искусственного интеллекта» может быть множество вариантов устройства разума; зависимость будущего от начальных условий; могущество разума, превосходящего человеческий, и аргументы в пользу его непредсказуемости; то, что люди могут отнестись ко всему этому серьезно и попытаться что-то предпринять.

Если бы какой-нибудь коварный отравитель дискуссий решил, что для достижения нужного ему исхода лучше всего заставить спорящих начать с опровержения «Терминатора», он отлично справился бы с задачей смещения рамок. Дискутируя о контроле над оружием, представитель Национальной стрелковой ассоциации не хочет, чтобы его представляли как «фанатика оружия», а противник оружия не желает быть представленным как «сторонник разоружения жертв». Почему же вы позволяете голливудским сценаристам проделывать аналогичное смещение рамок, пусть даже случайно?

Журналисты не говорят мне: «Будущее будет как в «2001»». Но они спрашивают: «Будет ли будущее похожим на «2001» или на «Искусственный разум»?» Это точно такое же масштабное искажение рамок дискуссии, как и вопрос: «Должны ли мы сократить пособия для ветеранов-инвалидов или поднять налоги для богатых?»

В среде обитания наших предков не было движущихся картинок; то, что вы видели своими глазами, было правдой. Мимолетный взгляд на одно-единственное слово может вызвать прайминг и сделать созвучные мысли более доступными, что, как доказано, оказывает сильное влияние на оценку вероятностей. Как вы думаете, какой хаос может посеять в ваших суждениях двухчасовой фильм? Избавиться от этого ущерба даже с помощью намеренной концентрации будет достаточно трудно — зачем же добровольно впускать вампира в свой дом? В шахматах или го каждый потраченный впустую ход — это потеря; в рациональности любое не основанное на свидетельствах влияние (в среднем) ведет к энтропии.

Удается ли кинозрителям отбросить веру в то, что они видят? Насколько я могу судить, мало кто из них ведет себя так, будто напрямую наблюдал будущее Земли. Люди, смотревшие фильмы о «Терминаторе», не прятались в убежищах 29 августа 1997 года. Но те, кто совершает эту ошибку, ведут себя так, словно видели события фильма происходящими на какой-то другой планете — не на Земле, но где-то очень на нее похожей.

Вы говорите: «Представьте, что мы создали очень умный ИИ», а вам отвечают: «Но разве в «Терминаторе» это не привело к ядерной войне?» Насколько я могу судить, это рассуждение — вплоть до интонации — абсолютно идентично словам того, кто мог бы сказать: «Но разве это не привело к ядерной войне на Альфе Центавра?» или «Разве это не привело к падению итальянского города-государства Пикколо в четырнадцатом веке?» В фильм никто не верит, но он легкодоступен в памяти. Его воспринимают не как пророчество, а как наглядный исторический пример. Повторится ли история? Кто знает?

В недавней дискуссии о взрыве интеллекта кто-то упомянул, что Виндж, похоже, не считал, что нейрокомпьютерные интерфейсы значительно повысят интеллект, и сослался на роман «Затерянные в реальном времени» и Тунджа Блюменталя — самого продвинутого из путешественников, который, однако, не казался таким уж всемогущим. Я возмущенно возразил: «Но ведь Тундж потерял большую часть своего оборудования! Он был калекой!» А потом я мысленно споткнулся и подумал: «Что за чертовщину я несу?»

Разве этот вопрос не следует обсуждать по существу, независимо от того, какими Виндж изобразил своих персонажей? Тундж Блюменталь не «калека», он вымышлен. Я мог бы сказать: «Виндж решил изобразить Тюнча калекой по причинам, которые могли быть, а могли и не быть связаны с его собственными точными прогнозами», и это придало бы его авторскому выбору соответствующий вес в качестве свидетельства. Но я не могу сказать: «Тундж был калекой». Никакого «был» для Тунджа Блюменталя не существует.

Я намеренно оставил ошибку, которую допустил в первом черновике начала этого эссе: «Другие защищают использование этого примера, не соглашаясь с тем, что это логическая ошибка». Но ведь «Матрица» — это не пример!

Схожий изъян — логическая ошибка аргументации на основе воображаемых свидетельств: «Ну, если бы ты действительно дошел до конца радуги, ты бы нашел там горшок с золотом — что как раз и доказывает мою правоту!» (Обновление убеждений на основе предсказанных, но не наблюдавшихся свидетельств — это математическое зеркальное отражение ретроспективного искажения.)

У мозга есть множество механизмов обобщения наблюдений, а не только эвристика доступности. Вы видите трех зебр, у вас формируется категория «зебра», и эта категория воплощает в себе автоматическое перцептивное умозаключение. Похожие на лошадей существа в черную и белую полоску классифицируются как «зебры», следовательно, они быстры и вкусны; ожидается, что они будут похожи на других наблюдаемых зебр.

И вот люди видят (на экране) трех боргов, их мозг автоматически создает категорию «борг», и они автоматически делают вывод, что люди с нейрокомпьютерными интерфейсами относятся к классу «боргов» и будут похожи на других известных им боргов: холодные, лишенные сострадания, одетые в черную кожу, шагающие тяжелой механической поступью. Журналисты не верят, что в будущем действительно появятся борги, они не считают «Звездный путь» пророчеством. Но когда кто-то заговаривает о нейрокомпьютерных интерфейсах, они думают: «Будет ли будущее содержать боргов?» А не: «С чего я взял, что компьютерная телепатия делает людей менее добрыми?» Не: «Я никогда не видел борга, как и никто другой». И не: «Я формирую расовый стереотип на основе буквально нулевых доказательств».

Как сказал Джордж Оруэлл о клише:²

Прежде всего необходимо, чтобы смысл выбирал слово, а не наоборот... Когда думаешь о чем-то абстрактном, больше склоняешься к тому, чтобы с самого начала использовать слова, и, если не сделать сознательного усилия, существующий диалект хлынет потоком и сделает за вас всю работу, размыв или даже полностью изменив ваш смысл.

И все же, по моей оценке, самый пагубный аспект использования чужого воображения заключается в том, что оно мешает людям использовать свое собственное. Как сказал Роберт Пирсиг:³

Она зашла в тупик, потому что пыталась повторить в своей работе то, что уже когда-то слышала, — точно так же, как в первый день он пытался повторить то, что заранее решил сказать. Она не могла придумать, что написать о Бозмене, потому что не могла вспомнить ничего из услышанного, что стоило бы повторить. Она странным образом не осознавала, что может сама смотреть на вещи и видеть их по-новому, прямо по ходу письма, не оглядываясь на то, что уже было сказано прежде.

Всплывающие в памяти вымыслы врываются и думают за вас; они подменяют собой видение — самое смертоносное из всех удобств.

*

1. Ник Бостром, «Экзистенциальные риски: анализ сценариев вымирания человечества и сопутствующих опасностей», Journal of Evolution and Technology 9 (2002), http://www.jetpress.org/volume9/risks.html.

2. Оруэлл, «Политика и английский язык».

3. Пирсиг, «Дзен и искусство ухода за мотоциклом».