Мой отец часто говорил, что если бы нынешняя система существовала сто лет назад, то автомобили объявили бы вне закона ради защиты производителей сёдел.

Одно из сильнейших детских впечатлений я получил в девять лет, прочитав книгу Джерри Пурнеля «Шаг ещё дальше». Это был ответ Пурнеля Полу Эрлиху и Римскому клубу, которые в 1960-х и 1970-х годах утверждали, что ресурсы Земли на исходе и до массового голода остались считаные годы. Это был ответ на так называемый четвёртый закон термодинамики Джереми Рифкина; ответ всем тем, кто до смерти боялся ядерной энергетики и пытался задушить её регулированием.

Я рос в мире, где демаркационные линии между Хорошими и Плохими Парнями были довольно чёткими; это была не апокалиптическая финальная битва, а битва, которую приходилось вести снова и снова, битва, в которой угадывалось историческое эхо, уходящее корнями в Промышленную революцию, и в которой можно было собрать исторические свидетельства о реальных результатах.

На одной стороне стояли учёные и инженеры, обеспечившие весь рост уровня жизни со времён Тёмных веков, чья работа сделала возможными такие предметы роскоши, как демократия, образованное население, средний класс и запрет рабства.

На другой стороне — те, кто когда-то выступал против прививок от оспы, анестезии при родах, паровых двигателей и гелиоцентризма: богословы, призывавшие вернуться к никогда не существовавшему золотому веку, пожилые белые политики-мужчины, закосневшие в своих привычках, группы с особыми интересами, которые могли понести убытки, и множество людей, для которых наука была закрытой книгой и которые боялись того, чего не могли понять.

А посередине пытались лавировать претенденты на Глубокую Мудрость, изрекавшие кэшированные мысли о том, что технологии приносят пользу человечеству, только когда они должным образом регулируются; вопреки очевидным историческим фактам заявлявшие, будто наука сама по себе не является ни добром, ни злом; создававшие солидные на вид бюрократические комитеты, чтобы демонстративно показать свою осмотрительность, — и ждавшие за это аплодисментов. Как будто истина — это всегда компромисс. И как будто кто-то действительно может заглядывать так далеко вперёд. Было бы человечеству лучше, если бы в своё время велись искренние, обеспокоенные общественные дебаты по поводу освоения огня и создавались комитеты для надзора за его использованием?

Когда я погрузился в эту проблему, у меня изначально была аллергия на всё, что подпадало под паттерн: «Ах, малыш, но ведь у технологий помимо преимуществ есть и риски». Презумпция виновности состояла в том, что вы либо пытаетесь сорвать дешёвые аплодисменты, либо тайно стремитесь задушить технологию регулированием. И в любом случае — полностью игнорируете исторический опыт, который в огромной степени говорит в пользу технологий, из-за которых люди когда-то беспокоились.

Робин Хансон поднял тему медленного одобрения FDA препаратов, уже одобренных в других странах. Кто-то в комментариях указал, что талидомид продавался в 50 странах под 40 названиями, но в США распространили лишь небольшое его количество, поэтому во всём мире родилось 10 000 детей с пороками развития, тогда как в США — всего 17.

Но сколько людей умерло из-за медленного одобрения в США лекарств, которые быстрее одобрили в других странах — всех тех лекарств, с которыми не возникло никаких проблем? И я задаю этот вопрос, потому что на этот счёт можно попытаться собрать статистику, — но ведь это ничего не говорит обо всех тех препаратах, которые так и не были разработаны из-за слишком длительного и дорогого процесса одобрения. Согласно этому источнику, более долгий процесс одобрения FDA предотвращает 5000 жертв в год, отсеивая препараты, оказавшиеся вредными, но приводит как минимум к 20 000–120 000 жертв ежегодно просто из-за задержки одобрения тех полезных лекарств, которые всё же разрабатываются и в конечном итоге получают одобрение.

Так что действительно есть повод для аллергии на людей, твердящих: «Ах, но у технологий помимо преимуществ есть и риски». Исторический опыт указывает на избыточный консерватизм, когда множество незаметных смертей от регулирования перевешивают несколько наглядных смертей от его отсутствия. Если вы действительно придерживаетесь середины, почему бы не сказать: «Ах, но у технологий помимо рисков есть и преимущества»?

Что ж, это не такое уж плохое описание Плохих Парней. (За исключением того, что следовало бы сильнее подчеркнуть: это не злые мутанты, а обычные люди, действующие в рамках иного мировоззренческого гештальта, в котором они правы; некоторые из них неизбежно окажутся компетентнее других, а компетентность значит очень много.) Даже оглядываясь назад, я не думаю, что моя детская технофилия сильно ошибалась насчёт того, кто является Плохим Парнем и в чём заключалась ключевая ошибка. Но всегда гораздо проще сказать, чего делать не нужно, чем сделать всё правильно. И одним из моих фундаментальных изъянов в то время было убеждение, будто достаточно изо всех сил избегать того, что делают Плохие Парни, чтобы автоматически стать Хорошим Парнем.

Особенно пагубным, как мне кажется, был дурной пример претендентов на Глубокую Мудрость, пытавшихся застолбить за собой срединный путь; они снисходительно улыбались и технофилам, и технофобам, называя и тех, и других незрелыми. Это воистину неверный путь; и в самом деле, идея поиска срединного пути в целом обычно ошибочна. Верный Путь — это не компромисс с чем-либо; это чистое воплощение собственных критериев.

Но из-за этого молодому Элиезеру было труднее отклониться от решения «идти напролом», потому что любое отклонение казалось присоединением к претендентам на Глубокую Мудрость.

Первая трещина в моей детской технофилии появилась, кажется, в 1997 или 1998 году, когда я заметил, что мои собратья-технофилы говорят глупости о том, будто с молекулярными нанотехнологиями будет легко управиться. (Как вы, возможно, снова замечаете, молодым Элиезером в огромной степени двигала способность находить изъяны — у меня даже была собственная философия, объясняющая, почему это хорошая идея.)

Шли дебаты о молекулярных нанотехнологиях и о том, окажется ли нападение асимметрично проще обороны. И находились люди, утверждавшие, что обороняться будет легко. В области нанотехнологий, ради Гху, — программируемой материи! — притом что мы, похоже, не способны решить проблему безопасности даже в компьютерных сетях, где можем наблюдать и контролировать каждый ноль и единицу. Люди рассуждали о неприступных алмазоподобных стенах. Я же заметил, что алмаз не устоит перед ядерным оружием, что нападение держит оборону на лопатках еще с 1945 года и нанотехнологии вряд ли это изменят.

И к тому времени, как эти дебаты закончились, молодой Элиезер — увлеченный пылом спора — кажется, впервые ухитрился заметить, что выживание разумной жизни земного происхождения находится под угрозой.

Оглядываясь назад, странно думать, что было время, когда я считал, будто в будущем на кону стоят лишь отдельные человеческие жизни. В каком поразительно более дружелюбном мире я тогда жил... хотя не то чтобы я думал об этом в то время. Я не столько отвергал эту возможность, сколько ухитрялся вообще изначально её не замечать. Но стоило этой теме всплыть, как я сразу же её разглядел. Я толком не помню, как работал этот трюк. Не зря я говорю о себе прежнем в третьем лице.

Может показаться, что Элиезер_-1998 был полным идиотом, но в каком-то смысле это было бы слишком удобной отговоркой; правда гораздо страшнее. Элиезер_-1998 был толковым традиционным рационалистом, насколько это вообще было возможно. Я знал, что гипотезы должны быть проверяемыми, знал, что рационализация — недопустимая мысленная операция, знал, как играть в «Рационалистическое табу», был одержим самосознанием... еще не до конца понимал концепцию «таинственных ответов»... и вообще не знал ни Байеса, ни Канемана. И все же — толковый традиционный рационалист, намного выше среднего... Ну и что с того? Природа не ставит нам оценки по кривой распределения. Один шаг в сторону от Пути, один толчок неоправданного влияния на ваши мыслительные процессы — и все остальные защиты аннулируются.

Один из главных уроков, которые я извлекаю, оглядываясь на свою историю, состоит в том, что неудивительно, почему во внешнем мире многие считают, будто «ум — это еще не всё» или что рационалистам в реальной жизни живется не лучше других. Немного рациональности — да даже и много рациональности — не преодолевает ту астрономически высокую планку, за которой вещи действительно начинают работать.

И пусть за мое неверное истолкование Верного Пути не винят ни Джерри Пурнеля, ни моего отца, ни научную фантастику в целом. Думаю, характер молодого Элиезера наложил изрядный фильтр отбора на то, какие именно части их учений смогли пробиться в его разум. Нельзя сказать, чтобы Пурнель не говорил: «Правила меняются, стоит вам покинуть Землю, колыбель; зазеваетесь хоть раз, закрывая скафандр, — и вы покойник». Он повторял это частенько. Но эти слова почему-то не казались важными: ведь подобное происходило со второстепенными персонажами романов, а главный герой почему-то обычно не погибал на середине книги.

Сквозь какую же призму я фильтровал эти наставления? Надежда. Оптимизм. Ожидание светлого будущего. Вот в чем заключался для меня фундаментальный смысл книги «Шаг ещё дальше» — урок, который я усвоил в противовес мрачному унынию Сьерра-клуба. На одной стороне были рациональность и надежда, на другой — невежество и отчаяние.

Некоторые подростки считают себя бессмертными и гоняют на мотоциклах. Я не питал подобных иллюзий и крайне неохотно учился водить, учитывая, насколько небезопасными выглядели эти несущиеся груды металла. Но для меня существовало нечто более важное, чем собственная жизнь: Будущее. И я вел себя так, словно бессмертно оно. Отдельные жизни могли оборваться, но только не Будущее.

И когда я заметил, что нанотехнологии действительно станут угрозой вымирания?

Молодой Элиезер совершенно отчетливо подумал: «Боже мой, как я ухитрился не заметить то, что должно было быть очевидным? Должно быть, я был слишком эмоционально привязан к благам, которых ожидал от этой технологии; должно быть, я просто отпрянул от мысли о вымирании человечества».

И затем...

Я не скомандовал себе: «Остановиться, расплавиться и сгореть». Я не стал пересматривать все выводы, к которым пришел со своим прежним настроем. Я просто умудрился как-то встроить это в свое мировоззрение с минимальным каскадом последующих изменений. Старые идеи и планы пошатнулись, но мой разум нашел доводы в пользу того, чтобы их сохранить. Системного сбоя, к сожалению, не произошло.

Что примечательно, я решил, что нам нужно на всех парах двигаться к ИИ, чтобы создать его раньше нанотехнологий. Точно так же, как я изначально и планировал, но теперь — по совершенно иной причине.

Пожалуй, большинство людей именно так и устроены, верно? Традиционной рациональности оказалось недостаточно, чтобы это изменить.

Но все же пришло время, когда я полностью осознал свою ошибку. Просто для этого потребовался более чувствительный пинок по голове.

*