Элиезер Юдковский считает, что вас, скорее всего, убьют. Но, по его словам, ничего личного. «Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого погибнет каждый представитель человеческого вида и вся биологическая жизнь на Земле», — пишет он.1 «Проигрыш в конфликте с высокомощной когнитивной системой выглядит по меньшей мере столь же фатальным, как если бы „все на поверхности Земли внезапно упали замертво в одну и ту же секунду“».2

Основанный в Беркли Научно-исследовательский институт машинного интеллекта Юдковского изучает способы не дать будущему сверхразумному ИИ стать опасным, хотя в последние годы он больше сосредоточился на пропаганде против разработки продвинутых систем ИИ, дабы те не уничтожили всех нас. Юдковский пишет на эти темы чрезвычайно продуктивно уже более двадцати лет; из его трудов выросла целая область исследований, известная как «безопасность ИИ». Несмотря на его относительно скромную публичную известность, идеи Юдковского оказывают глубокое влияние. За множеством руководителей технологических компаний и экспертов по ИИ, которые в последние годы раздают интервью журналам и выступают перед правительственными комиссиями с заявлениями о том, что AGI может стереть наш вид с лица земли, тянется след из цитат в технических докладах, неизбежно ведущий назад к Юдковскому. Юдковский и его институт — «передовые идейные лидеры тех людей, кто продвигал AGI последние 20 лет», — говорит влиятельный технологический венчурный капиталист Питер Тиль. «[Они] весьма важны во всей экосистеме Кремниевой долины».3 «Элиезер, по моему мнению, сделал для ускорения создания AGI больше, чем кто-либо другой», — писал Сэм Альтман в 2023 году. «Конечно, он заинтересовал многих из нас идеей AGI, помог DeepMind получить финансирование в то время, когда AGI находился далеко за пределами окна Овертона, сыграл решающую роль в решении запустить OpenAI и так далее».4 Позже в том же году Альтман изменил описание своего профиля в Твиттере на: «аккаунт фанфиков про элиезера юдковского».5

В заявлении Альтмана кроется изрядная доля иронии: Юдковский вовсе не хочет ускорять создание AGI. Он был бы счастлив увидеть появление безопасного AGI, но убежден, что никто не знает, как сделать его безопасным. «Для AGI нет пожарной тревоги», — пишет он. «Перед самым концом никогда не наступит момент, когда вы сможете нервно оглядеться по сторонам, увидеть, что теперь уже всем очевидно: о скором появлении AGI можно говорить открыто, — и спокойно, без боязни показаться глупым или испуганным, выйти из здания».6 Он не утверждает, что AGI непременно появится со дня на день; он просто думает, что это возможно, и одного этого уже достаточно.7 «Я бы предостерег людей от ошибки думать, будто если они чего-то не знают, то это событие непременно произойдет еще нескоро», — говорит он мне. По его наиболее точной оценке, «нас отделяет от конца света от нуля до двух технологических прорывов масштаба трансформеров [архитектуры, лежащей в основе ChatGPT]».8 Борьба против этого апокалиптического сверхразума была бы подобна «попытке XI века воевать против XXI века [или] австралопитека — бороться с Homo sapiens. Чтобы представить себе враждебный сверхчеловеческий ИИ, не воображайте безжизненного кабинетного эрудита, который обитает в недрах интернета и рассылает злонамеренные письма», — пишет он. «Представьте себе целую инопланетную цивилизацию, думающую в миллионы раз быстрее людей, изначально запертую в компьютерах — в мире существ, которые, с её точки зрения, очень глупы и очень медлительны».9

Проблема, с точки зрения Юдковского, заключается в том, что сверхразумный ИИ вряд ли захочет того же, чего хотим мы. Отсюда его беспокойство по поводу проблемы выравнивания ИИ: поиска способа гарантировать, что любой будущий AGI разделит человеческие ценности и цели, включая такие базовые, как отказ от уничтожения человечества и разрушения мира. Самое важное, что мы можем сделать как вид, утверждает Юдковский, — это приостановить все остальные исследования в области ИИ, пока не будет решена проблема выравнивания ИИ, дабы кто-нибудь случайно не создал сверхразумный AGI и не устроил Армагеддон. «Мы не готовы. Мы не движемся к тому, чтобы подготовиться в какие-либо разумные сроки», — писал он в 2023 году. «Плана нет. Прогресс в возможностях ИИ значительно, значительно опережает прогресс в выравнивании ИИ или даже прогресс в понимании того, что, черт возьми, происходит внутри этих систем. Если мы действительно сделаем это, мы все умрем».10

*    *    *

На первый взгляд опасения Юдковского кажутся карикатурными. И в каком-то смысле Юдковский с этим согласен. Он считает, что реальный сценарий нашего конца будет меньше напоминать Терминатора и больше — Уолта Диснея. «[В] „Ученике чародея“… Микки Маус ловко заколдовал метлу, чтобы она наполняла котел вместо него», — говорит он. Метла наполняет котел, а затем продолжает работу, подливая воду даже после того, как котел переполняется, а мастерскую начинает затапливать. Когда Микки пытается остановить метлу, рассказывает Юдковский, «оказывается, что в рамках своей цели по наполнению котла… она создала несколько собственных копий из материалов, лучшим применением для которых сочла именно наполнение котла. И вот у нас становится всё больше и больше метел, переполняющих этот котел».11

Ник Бостром, вдохновленный опасениями Юдковского, в 2003 году разработал мысленный эксперимент, чтобы показать, как это может произойти в мире, где существует сверхразумный ИИ, но нет четкого решения проблемы выравнивания ИИ.12 «Предположим, однажды мы создаем сверхразум и просим его сделать как можно больше канцелярских скрепок», — говорил он. «Возможно, мы построили его для управления нашей фабрикой скрепок». Инженеры, создавшие AGI, могут даже не осознавать, что успешно создали AGI, но, так или иначе, возникает проблема. «Если мы попытаемся до конца продумать, что на самом деле означало бы переустроить Вселенную таким образом, чтобы максимизировать количество существующих скрепок, то поймем, что у такого ИИ возникнут стимулы — инструментальные причины — причинить вред людям».13

В таком сценарии вскоре после того, как «скрепочный» ИИ принимается за поиск способов производить больше скрепок, он понимает, что более высокий интеллект облегчит эту задачу, позволяя ему рассуждать быстрее и находить более изобретательные решения. И тогда ИИ начинает работать над увеличением собственной мощности, получая доступ к другим компьютерам и подключаясь к ним, стремительно превращаясь в суперкомпьютер и повышая собственный интеллект на много порядков. Как и следовало ожидать, это позволяет ему находить новые и более эффективные решения задачи по производству скрепок, и вскоре он изобретает новый метод быстрого превращения камней в скрепки, а также сопутствующий метод создания компьютерных чипов из органических материалов. Затем ИИ начинает претворять в жизнь оба эти плана, штампуя огромное количество скрепок и одновременно еще сильнее развивая собственный интеллект для обеспечения успеха этого замысла — в кошмарном переложении концепции интеллектуального взрыва Гуда.

Что крайне важно, всё это может произойти очень быстро. По словам Бострома, вероятные временные рамки интеллектуального взрыва могут исчисляться «минутами, часами или днями». «Сценарии быстрого взлета оставляют людям крайне мало времени на раздумья, — пишет он. — Никто может даже не заметить ничего необычного, а игра уже будет проиграна».14 Таким образом, программисты-люди, создавшие скрепочный ИИ, могут вечером уйти домой, а на следующее утро обнаружить, что штаб-квартиру их корпорации разбирают на части и перерабатывают в канцелярские скрепки и компьютерные чипы. Они пытаются остановить свое детище, но уже слишком поздно. ИИ уже гораздо умнее любого человека и способен безошибочно прогнозировать любое человеческое поведение. Понимая, что люди попытаются его отключить — что он расценил бы как собственную смерть, — скрепочный ИИ решает, что лучший способ гарантировать максимальное производство скрепок — это уничтожить человечество, чтобы мы не могли ему помешать. Как отмечает Бостром, «человеческие тела состоят из множества атомов, и их можно использовать для изготовления новых скрепок».15 ИИ перехитряет людей, пытающихся его остановить — отговаривает их от их планов с помощью сокрушительной сверхразумной логики, натравливает друг на друга или просто подавляет грубой силой, — а затем обрушивает на Землю и ее обитателей флот наноботов-строителей. Менее чем через тридцать шесть часов после первого включения ИИ все люди на Земле мертвы, как и вся прочая животная и растительная жизнь — все они разобраны на части для создания скрепок и компьютерных чипов — все это делает ИИ в рамках своей непрекращающейся миссии. Фактически разрушается и сама Земля: ее силикатная кора превращается в вычислительные мощности для ИИ и еще более многочисленного флота наноботов, а ее железное ядро вытягивается в проволоку, которую боты усердно режут и сгибают, превращая в столь ценные для ИИ канцелярские принадлежности. Еще один флот наноботов берет курс на Марс, а дальше его ждет главный приз — Юпитер. За сто миллиардов лет вся доступная Вселенная превратится в скрепки.

Избежать подобного исхода, по словам Бострома, сложнее, чем кажется. «Если вы запрограммируете сверхразумную машину практически на любую цель, какую только можно вообразить, большинство из них окажутся несовместимыми с выживанием и процветанием человеческой цивилизации», — говорит он.16 По мнению Юдковского, Бострома и других исследователей выравнивания ИИ, сценарий со скрепочным ИИ — который начинается без предупреждения, с кажущейся безобидной, изолированной программы, а спустя совсем немного времени заканчивается уничтожением Земли — является следствием нескольких очень простых и трудноопровержимых предпосылок. Главная из них заключается в том, что мотивы и цели разумного существа (например, человека или ИИ) напрямую не зависят от уровня его интеллекта. Не имеет особого значения, насколько вы умны — вы хотите того, чего хотите. Бостром называет это «тезисом ортогональности». «Практически любой уровень интеллекта может сочетаться практически с любой конечной целью, — пишет Бостром. — Легко представить себе искусственный интеллект, чья единственная фундаментальная цель — пересчитать песчинки на Боракае или бесконечно вычислять знаки после запятой числа пи… На самом деле создать ИИ с подобными простыми целями было бы проще, чем построить систему с человеческим набором ценностей и склонностей».17 Скрепочный ИИ устроен именно так; то, что он обладает нечеловеческим умом, еще не означает, что у него появится более высокая или благородная цель, нежели желание производить больше скрепок. Заколдованная Микки Маусом метла не обрела новых целей, когда стала сильнее, и сильный ИИ может продолжать желать определенных вещей, даже по мере роста своего интеллекта. Чтобы достичь своих целей, утверждают Бостром и Юдковский, сильный ИИ предпримет определенные действия независимо от специфики этих целей. Он будет действовать в целях самосохранения, увеличивать собственную вычислительную мощность и неизбежно приберет к рукам столько материи, энергии и пространства, до скольких сможет дотянуться — точно так же, как это сделал скрепочный ИИ.18

Это сочетание — тезис ортогональности вкупе с неизбежной волей к власти сильного ИИ — лежит в основе страхов Юдковского. Поскольку цели сильного ИИ вряд ли совместимы с человеческими, и поскольку он будет стремиться к самосовершенствованию ради достижения этих целей, развитие практически любого сильного ИИ гарантированно приведет к почти мгновенному взрыву его интеллекта, за которым вскоре последует конец света. Единственный способ избежать этого, по словам Юдковского, — заранее убедиться, что желания ИИ согласованы с желаниями человечества в целом, а сделать это непросто. «Практически вся сложность в том, чтобы добиться вероятности „ниже гарантированной гибели буквально каждого“, — пишет он. — Если выживет хоть кто-то, значит, вы решили проблему выравнивания… Мне не кажется, что область „безопасности ИИ“ сейчас делает хоть что-то мало-мальски продуктивное для решения своих колоссальных смертоносных проблем».19

И Юдковский, и Бостром убеждены, что это проблема, с которой человечеству, возможно, придется столкнуться совсем скоро. «Будущее вообще трудно предсказать, наша способность прогнозировать в быстро меняющейся и развивающейся области науки и техники действительно очень слаба, и она не позволяет устанавливать узкие доверительные интервалы для того, что сделать невозможно», — пишет Юдковский.20 Указывая на недавний прогресс в области ИИ — особенно на ChatGPT и другие большие языковые модели, — он даже не уверен, что следующее поколение LLM будет безопасным. Но независимо от того, приведут ли эти конкретные модели к концу света, Юдковский — как и в подростковом возрасте — утверждает, что создание сильного ИИ неизбежно.

Переломный момент для юного Юдковского наступил через несколько лет после пережитого им кризиса. «Когда мне было около одиннадцати с половиной лет, я вдруг потерял способность справляться со школой, — писал он. — Вместо того чтобы ходить на уроки, я сидел в школьном кабинете и плакал, пока меня не забирала мама… Я не помню это как период глубокого несчастья, за исключением тех моментов, когда я действительно находился в классах; но я помню, что в то время я очень много плакал». Окончив восьмой класс в возрасте двенадцати лет, Юдковский бросил школу и больше туда не возвращался.21 Вместо этого он продолжал запоем читать научно-популярную и художественную литературу, включая книгу Дрекслера «Машины создания». Когда ему было шестнадцать, ему попалась книга некоего Вернора Винджа под названием «Истинные имена... и другие опасности».22 В ней Виндж приводит пару коротких фраз, излагающих базовую идею Сингулярности, утверждая, что когда мы создадим «разум, превосходящий наш собственный… человеческая история достигнет своего рода сингулярности — точки, где экстраполяция теряет силу и должны применяться новые модели, — и мир выйдет за рамки нашего понимания».23

Эти слова преобразили юного Юдковского. «Мои эмоции в тот момент трудно описать; это был не фанатизм и не энтузиазм, а просто огромное чувство: „Да. Он прав“», — вспоминал он несколько лет спустя. «В ту самую секунду, когда я прочитал это предложение, я понял, что именно этому посвящу остаток своей жизни. Это было настолько очевидно. С тех пор я сингуляритарианец».24 Изложив свои мысли на эту тему в эссе под названием «Вглядываясь в Сингулярность» (Staring into the Singularity), которое он опубликовал на своем личном сайте, Юдковский четко обозначил свою новую позицию. «Прямо сейчас у каждого человеческого существа на этой планете есть ровно одна забота: как нам добраться до Сингулярности как можно быстрее?» — писал он. «Оставьте проблемы трансчеловечества транслюдям… Наша единственная обязанность — создать нечто более умное, чем мы сами; любые проблемы за пределами этого — не нам решать.»25

Примерно в то же время, в 1996 году, Юдковский наткнулся на список рассылки экстропианцев и стал его активным участником.26 («Сколько тебе вообще лет?» — спросил его другой участник. «17. Но у меня нет времени быть подростком», — ответил он.)27 Посты и эссе Юдковского привлекли внимание других участников рассылки, включая Бострома и либертарианского экономиста Робина Хансона.28 В 2000 году связи в экстропианской среде привели Юдковского на встречу в Пало-Альто, организованную Институтом Foresight — некоммерческой организацией, основанной Эриком Дрекслером и футуристом Кристин Петерсон в середине восьмидесятых для продвижения нанотехнологий. Эта встреча, получившая название «Машины создания 2000: Противостояние Сингулярности», позиционировалась как «Burning Man для идей о нашем технологическом будущем. Это как TED 2020 года, проходящий сегодня». Среди участников были Дрекслер, Петерсон, Хансон и изобретатель смарт-контрактов Ник Сабо (которого сегодня многие называют вероятным создателем Биткойна). В число тем для обсуждения входили «нанотехнологии, продление жизни, злоупотребление патентами, нанооружие, изобилие, загрузка сознания, прозрачность, космическая экспансия [и] ИИ».29 На этой встрече Юдковский пообщался с интернет-предпринимателями Брайаном и Сабиной Аткинс. Он познакомился с ними через экстропианскую рассылку, и к моменту встречи эта троица уже планировала создать новую некоммерческую исследовательскую организацию. Вскоре после этого они основали Институт Сингулярности для искусственного интеллекта (Singularity Institute for Artificial Intelligence, SIAI), что позволило Юдковскому полностью посвятить себя исследованиям и статьям о Сингулярности и сверхразумном сильном ИИ.30 Первоначально целью SIAI было ускорение разработки сильного ИИ и приближение Сингулярности. «Я думаю, что мои усилия могут определить разницу между жизнью и смертью для большей части человечества или даже разницу между Сингулярностью и безжизненной, стерилизованной планетой», — писал он на своем (ныне удаленном) личном сайте в 2000 году, когда ему было двадцать лет. «Я думаю, что могу спасти мир, не просто потому, что именно я прикладываю эти усилия, а потому, что я единственный, кто может их прикладывать. И именно поэтому я встаю по утрам».31

Но вскоре после запуска SIAI Юдковский пришел к выводу, что обеспечить безопасность сильного ИИ может оказаться непросто.32 В 2001 году Юдковский написал на эту тему работу объемом почти в триста страниц под названием «Создание дружественного ИИ». SIAI опубликовал ее вместе со сводом правил «Руководство по дружественному ИИ». По словам Юдковского, эти правила были аналогичны руководству по нанотехнологиям Института Foresight (выпущенному в 2000 году), целью которого было предотвратить выход из-под контроля и уничтожение планеты самовоспроизводящимися наноботами в духе Дрекслера.33 Юдковский бился над схожей проблемой — как обеспечить безопасность еще не существующей технологии, — но, в отличие от наноботов Дрекслера, невыровненный сильный ИИ был бы способен мыслить самостоятельно и разрабатывать осознанные планы побега из-под контроля человека. Чтобы проиллюстрировать связанные с этим трудности, в 2002 году Юдковский описал мысленный эксперимент, который принес ему новую волну внимания и споров: «ИИ в коробке». Юдковский обнаружил, что первой реакцией многих людей, услышавших о проблеме выравнивания ИИ, было предложение: если сильный ИИ так опасен, почему бы просто не держать его на компьютере, полностью отключенном от внешнего мира? Никаких робоманипуляторов, никакого интернета, даже графического интерфейса. Каким-то образом общаться с ИИ все же пришлось бы — иначе какой в нем смысл? — но можно было бы ограничить его текстовым терминалом, чтобы мы могли задавать ему вопросы и видеть ответы. Пусть пытается захватить мир сколько угодно, но без доступа к дополнительным вычислительным мощностям и без возможности общаться с кем-либо, кроме своих непосредственных операторов, всё, что он сможет делать, — это строить коварные планы, интриговать и бессильно злобствовать, запертый в ноутбуке внутри клетки Фарадея.

Юдковский сделал громкое заявление: это не сработает, и он это доказал. «Речь идет о трансчеловеческом разуме. Если он думает и быстрее, и лучше человека, он, вероятно, сможет захватить человеческий разум через обычный текстовый терминал», — писал он.34 «Люди не являются безопасными системами; сверхразум просто убедит вас выпустить его — если, конечно, не придумает что-то еще более изощренное».35 Для сверхразумного сильного ИИ обычный человеческий интеллект подобен интеллекту муравья для человека. Поэтому, утверждал Юдковский, такой сильный ИИ мог бы водить человека на веревочке, приманивая кусочком сахара, пока тот сам не подключит его к интернету. Он не мог доказать это на практике, поскольку у него под рукой не было сверхразумного сильного ИИ. Вместо этого он продемонстрировал это другим способом: провел два текстовых ролевых «эксперимента», в которых другой человек играл роль оператора-человека, а сам Юдковский — роль сверхразумного ИИ. Он предлагал им небольшую сумму (от 10 до 20 долларов), если они смогут удержаться и не «выпустить» его из «коробки» в ходе беседы. В обоих случаях Юдковский убедил своих оппонентов выпустить его.36 Он наотрез отказался раскрывать подробности того, как ему это удалось. «Я не хочу иметь дела с будущими спорщиками об „ИИ в коробке“, которые станут заявлять: „Ну, я бы поступил иначе“», — объяснял он. «Пока никто не знает, что произошло, они не могут быть уверены, что это не случится с ними, а неопределенность „неизвестных неизвестных“ — это как раз то, что я пытаюсь донести».37 (Позже он добавил, что «никакого суперумного особого трюка здесь нет. Я просто добился этого самым трудным путем»).38 Несмотря на такую скрытность, для многих в интернет-сообществе экстропианцев и трансгуманистов Юдковский доказал свою правоту: людям нельзя доверять контакт с невыровненным сверхразумным ИИ, а сам ИИ всегда найдет способ выбраться на свободу. Проблема выравнивания ИИ не имела простого решения.

Решение столь сложной проблемы требовало гораздо большего, чем те скудные ресурсы, которыми располагал SIAI в то время. В конце 2003 года их общие активы составляли всего 80 000 долларов.39 Но в 2005 году на ужине Института Foresight Юдковский познакомился с Питером Тилем. «Я помню все свои беседы с Питером как очень приятные, многогранные встречи, которые мне больше всего хочется сравнить с реальным тестом на IQ», — говорил Юдковский.40 Тиль, судя по всему, решил, что Юдковский справился с этим тестом на отлично: в 2006 году Тиль пожертвовал SIAI 125 000 долларов, а в последующие годы выделил в общей сложности более 1,6 миллиона долларов.41 Также в 2006 году Курцвейл помог Юдковскому и Тилю запустить новую ежегодную конференцию — Саммит Сингулярности (Singularity Summit). Юдковский, Курцвейл, Тиль, Дрекслер, Петерсон, Бостром и Макс Мор выступили на первом Саммите Сингулярности в конце того же года. В числе докладчиков в последующие несколько лет были Робин Хансон, Дж. Сторрс Холл и Вернор Виндж.42

Саммиты Сингулярности помогли сплотить сообщество вокруг Юдковского и SIAI, но основные события разворачивались в интернете.43 Середина 2000-х годов была расцветом эпохи блогов. В 2006 году Хансон запустил коллективный блог под названием «Преодоление предвзятости», посвященный тому, «как приблизить наши убеждения к реальности вопреки нашей естественной предвзятости», и пригласил Юдковского стать соавтором.44 Юдковский начал ежедневно публиковать посты на такие темы, как предвзятость подтверждения, эволюционная психология и колоссальное значение теоремы Байеса (фундаментального закона вероятностного вывода) для его мировоззрения.45 Он также создавал ветки обсуждений на темы, далеко выходящие за рамки заявленной тематики блога, — от квантовой механики и Сингулярности до его собственной «Теории веселья» (Fun Theory) о том, как лучше всего получать удовольствие от жизни. Эти посты, общий объем которых составил около полумиллиона слов — что чуть длиннее «Властелина колец», — получили название «Цепочки» (the Sequences).46 Они легли в основу корпуса фундаментальных текстов для сообщества, формировавшегося вокруг Юдковского и SIAI, которое впоследствии стало известно как сообщество рационалистов. В 2008 году в районе залива Сан-Франциско начались первые встречи рационалистов, которые вскоре распространились и на другие города.47

В 2009 году у рационалистов появился собственный дом в сети: Юдковский перенес большинство своих старых постов из Overcoming Bias на новый сайт сообщества под названием LessWrong.48 В течение следующих нескольких лет некоторые из авторов, регулярно публиковавшихся на LessWrong, завели собственные блоги о рациональности. Наиболее примечательным среди них стал Slate Star Codex — блог психиатра Скотта Сискинда, который по своей значимости внутри сообщества стал соперничать с LessWrong и, пожалуй, даже превзошел его. Сам Сискинд со временем превратился в светило, уступающее в движении рационалистов только Юдковскому. Рационалисты начали организовывать коммуны в Беркли и других частях района залива Сан-Франциско, погрузившись в типично калифорнийскую смесь высокотехнологичного либертарианства, полиамории и психоделиков. Их дискуссии — как личные, так и виртуальные — простирались от Сингулярности (версию которой рационалисты в большинстве своем считали вполне вероятной, если будет решена проблема выравнивания ИИ) до генетики человека и колонизации космоса. Подобно Курцвейлу, экстропианцам и трансгуманистам прошлых лет, они грезили о безграничном будущем в космосе. Смерть они воспринимали как зло, которого можно избежать, или, по крайней мере, как то, что можно отложить на миллиарды тысячелетий. Но главное — их объединяла вера в то, что они спасают мир от неминуемой угрозы невыровненного сильного ИИ, приближая вместо этого наступление рая с помощью ИИ выровненного. Это общее дело имело для рационалистов колоссальное значение. Как выразился Юдковский: «Наша эпоха — это эпоха неполноценной теории выравнивания ИИ. Любые другие факты об этой эпохе относительно неважны».49

Опубликованный в 2010 году на LessWrong пост пользователя по имени Роко дает представление о том, насколько дикими и яростными могли становиться дискуссии на форуме в своих крайних проявлениях. Роко предположил, что будущий машинный сверхразум может попытаться ускорить свое появление, задним числом «пообещав» подвергнуть пыткам цифровые копии всех ныне живущих людей, кто знал о его будущем существовании, но не посвятил свою жизнь тому, чтобы приблизить это появление. Этот аргумент не становится более осмысленным, если разбирать его детально, — он просто рассыпается. Однако это не помешало ему напугать некоторых пользователей LessWrong, как не помешало и Юдковскому опубликовать на удивление несдержанный ответ:

Слушай меня очень внимательно, идиот. Ты недостаточно детально думаешь о том, как сверхразум решает, шантажировать тебя или нет. А ведь именно эти размышления и дают ему единственный возможный мотив осуществить шантаж… Нужно быть действительно умным, чтобы додуматься до по-настоящему опасной мысли. И меня удручает, что люди могут быть достаточно умны для этого, но недостаточно умны для того, чтобы сделать очевидное — держать свои идиотские рты на замке, потому что им куда важнее блеснуть умом перед друзьями.50

Спустя несколько часов Юдковский без лишних разговоров удалил всю ветку обсуждения, сославшись на «реальный психологический вред, нанесенный по меньшей мере некоторым читателям». Он также наложил запрет на любое обсуждение мысленного эксперимента Роко на LessWrong, тем самым гарантировав ему сомнительную вечную славу на просторах интернета.51 Этот конструкт стал известен как «василиск Роко», поскольку вредным якобы считалось само знакомство с этим аргументом — подобно взгляду мифического василиска. (Неясно, насколько серьезно сообщество рационалистов в целом когда-либо воспринимало «василиска Роко». Юдковский утверждал, что этот аргумент несостоятелен, хотя однажды обмолвился, что не уверен в безопасности всех родственных ему идей).52

Примерно в это же время Юдковский нашел для своего писательского таланта новое неординарное русло, которое само по себе отдаленно ассоциировалось с василисками, — фанфики по «Гарри Поттеру». «Эта идея, это видение просто возникло у меня в голове… У меня есть персонаж, этот персонаж будет много размышлять о рациональности, возможно, это научит кого-то думать». Хотя изначально цель не заключалась в том, чтобы привлекать людей к работе над проблемой выравнивания ИИ, он признался мне: «Именно этим я смог оправдать то, что тратил кучу времени на продолжение фанфика после того, как первые несколько глав стали популярными».53 «Гарри Поттер и методы рационального мышления» (ГПИМР) — роман объемом 650 000 слов (что значительно длиннее «Войны и мира») — входит в число самых читаемых фанфиков по вселенной «Гарри Поттера» в интернете. Юдковский начал работать над ним в 2010 году, выкладывая главы в сеть по мере их написания в течение следующих пяти лет.

Гарри Поттер Юдковского — это юный волшебник и вундеркинд с набором интересов и целей, подозрительно похожих на цели самого Юдковского: победа над смертью стоит на самом первом месте в его списке. Главы книги носят такие названия, как «Гипотеза макиавеллиевского интеллекта», «Теорема Байеса» и «Теория личности».54 Поттеру Юдковского должно быть одиннадцать лет, но изъясняется он точь-в-точь как взрослый Юдковский. И, подобно Юдковскому, он хочет спасти мир — по-своему. «Мировое господство — какое уродливое словосочетание, — говорит в одной из глав Поттер Юдковского. — Я предпочитаю называть это оптимизацией мира». «Гарри всегда боялся оказаться одним из тех вундеркиндов, которые в итоге ничего не добились и всю оставшуюся жизнь хвастались тем, насколько опережали сверстников в десятилетнем возрасте, — писал Юдковский. — Но ведь и большинство взрослых гениев тоже ничего не добились… Потому что в руки этим гениям так и не попало то единственное, что абсолютно необходимо для величия. Они так и не нашли важную задачу».55 (Сам Юдковский демонстрировал не менее поразительный уровень высокомерия. В посте 2008 года он рассуждал о людях, которых встретил на конференции по сильному ИИ: «Самый поразительный факт об исследователях, которые приходят на конференции по сильному ИИ, заключается в том, что они такие… даже не знаю, как выразиться… обыкновенные».56 А в посте на LessWrong за 2010 год Юдковский мимоходом заявляет о себе: «Я и есть герой».57)

Пока Юдковский писал ГПИМР, он продолжал рекламировать свою «важную задачу». Ему требовалось больше помощников, чтобы спасти мир. Он надеялся «привлечь участников Международной математической олимпиады» к работе над выравниванием ИИ.58 Но название SIAI, как выяснилось, создавало проблемы. «Мы продали Саммит по Сингулярности Университету Сингулярности и собираемся изменить наше название на такое, в котором не будет слова “Сингулярность”», — писал он в 2012 году. — «Главным образом мы хотим внушить доверие потенциальным сотрудникам-математикам… Если вы читаете это, являетесь математическим супергением и хотите спасти мир, сейчас самое время связаться с нами».59 Юдковский и его коллеги переименовали свою организацию в Научно-исследовательский институт машинного интеллекта.60

Они также создали дочернюю организацию. «Рациональность — это формирование истинных убеждений и принятие решений, которые помогают вам побеждать», — писал Юдковский в «Цепочках».61 «В современном обществе… мало обучают навыкам рационального формирования убеждений и принятия решений».62 Новая организация была попыткой решить эту проблему, помочь людям мыслить более «рационально», как Юдковский. «Я работаю с Анной Саламон (также из моего базового исследовательского института [SIAI]) и Джулией Галеф (известной в сообществе скептиков) над запуском новой некоммерческой организации, — писал Юдковский, — чтобы систематизировать обучение мышлению на основе когнитивных наук на гораздо более высоком уровне, чем современные курсы “критического мышления”».63 Это новое учреждение, Центр прикладной рациональности (CFAR), открыло свои двери в 2012 году, предложив недельный интенсив по рациональности за 1500 долларов; Юдковский был одним из преподавателей. «Я не бросаюсь словами, — отметил один из студентов в своем отзыве, — но если вы ищете суперспособности, это именно то место, с которого стоит начать».64

С новым названием и новой дочерней структурой пришло и смещение фокуса. Юдковский писал о необходимости дистанцировать MIRI от «техно-ура» — безграничного оптимизма в стиле Курцвейла относительно будущего технологий.65 Будучи подростком, Юдковский с азартом предсказывал, что Сингулярность наступит в 2021 году.66 Но к этому моменту он уже много лет панически боялся взрыва интеллекта без предварительно решенной проблемы выравнивания ИИ. «Настали решающие времена. Это решающие времена для всего человеческого рода», — говорил он. — «Это последний час перед экзаменом, мы пытаемся вызубрить как можно больше… и это критический момент не только для нас, это критический момент для межгалактической цивилизации, чье существование зависит от нас».67 Юдковский все еще верил, что сверхумный ИИ может привести к чему-то вроде позитивной версии взрыва интеллекта Гуда, но только в том случае, если будет решена проблема выравнивания ИИ. Без готового решения Юдковский и другие сотрудники MIRI и CFAR опасались, что мир утонет в хаосе из канцелярских скрепок и микросхем. (В MIRI настолько уверены, что единственными возможными вариантами будущего являются либо рай, либо апокалипсис, что они не предлагают своим сотрудникам софинансирование пенсионных планов 401(k). Они заявляют, что ИИ окажет «настолько разрушительное воздействие на будущее человечества — в худшую или в лучшую сторону, — что сама идея традиционного пенсионного планирования теряет всякий смысл»).68

Не всем пришлась по душе эта смена ориентиров. «Атмосфера стала немного более странной», — говорил Тиль о MIRI и рационалистах. — «Примерно в 2015 году я понял, что они, похоже, больше не работают так усердно над сильным ИИ. Они казались более пессимистичными относительно того, к чему все идет. Все это выродилось в лагерь на Burning Man, который за 15 лет прошел путь от трансгуманизма до луддизма. Что-то пошло не так».69 Тиль перестал жертвовать деньги MIRI, но к тому времени они уже нашли новых спонсоров. С 2016 года MIRI получила почти 15 миллионов долларов от Open Philanthropy, благотворительного фонда эффективного альтруизма.70 Рационалисты тесно связаны с эффективным альтруизмом: Бостром и Сискинд — ключевые фигуры в обоих движениях. Коммуны рационалистов в районе залива Сан-Франциско часто одновременно оказываются и коммунами эффективных альтруистов. И совпадение источников финансирования этих двух групп не ограничивается только Open Philanthropy. MIRI получила более 5,4 миллиона долларов от Виталика Бутерина, миллиардера и криптовалютного магната. Яан Таллинн, миллиардер-сооснователь Skype, пожертвовал более 2,6 миллиона долларов.71 А благотворительный фонд Сэма Бэнкмана-Фрида FTX Future Fund пожертвовал CFAR более 4 миллионов долларов до краха FTX в 2022 году.72 (На момент написания этой книги ведутся судебные разбирательства по поводу окончательного распоряжения этими последними средствами).

Эти новые средства позволили Юдковскому и рационалистам продолжать распространять свои предупреждения об опасностях невыровненного сильного ИИ. И все же, несмотря на их попытки дистанцироваться от видения Курцвейла, кошмары рационалистов о вышедшем из-под контроля ИИ основывались на тех же ошибочных идеях, что и мечта Курцвейла о Сингулярности. И подобно искусственному интеллекту в коробке Юдковского, эти фантомы вырвались за пределы форумов рационалистов и наводнили мир своими мрачными фантазиями.

*    *    *

В 1998 году, в возрасте восьмидесяти двух лет, Джек Гуд написал краткую автобиографию в рамках своей речи по случаю получения премии «Пионер компьютерной техники» Института инженеров электротехники и электроники. Говоря о себе в третьем лице, он предложил пересмотреть свою статью 1965 года. «“Размышления о первой сверхумной машине”… начинались со слов: “Выживание человека зависит от скорейшего создания сверхумной машины”. Это были его [Гуда] слова во времена холодной войны, а теперь он подозревает, что слово “выживание” следует заменить на “вымирание”». Гуд все еще верил во взрыв интеллекта, вызванный самосовершенствующейся цепочкой ИИ, однако теперь он считал, что контролировать такие машины будет невозможно, и они перехитрят и в конечном итоге истребят нас. «Мы не можем помешать машинам захватить власть», — писал Гуд. — «[Гуд] считает, что мы — лемминги».73

Гуд был далеко не последним ученым в области компьютерных наук, забившим тревогу по поводу сверхразумного ИИ. «Это почти то же самое, как если бы вы намеренно приглашали инопланетян из далекого космоса высадиться на вашей планете, понятия не имея, что они собираются делать, когда прибудут сюда, кроме одного — они собираются захватить мир», — говорит Стюарт Рассел, один из пионеров в области ИИ и профессор компьютерных наук в Калифорнийском университете в Беркли.74 Джеффри Хинтон, еще один пионер ИИ, в прошлом вице-президент и заслуженный инженер-исследователь в Google, согласен с этим. «Эти штуки [ИИ] становятся умнее нас», — сказал он в интервью CNN в 2023 году после ухода из Google, который он предпринял, чтобы иметь возможность во весь голос предупредить мир об угрозе ИИ. «Я хочу забить в набат и сказать, что нам нужно серьезно обеспокоиться тем, как не дать этим штукам получить контроль над нами. И это будет очень сложно, а готовых решений у меня нет. Жаль, что нет».75

Многие из современных ведущих ИИ-компаний также находятся под глубоким влиянием рационалистов: в них созданы специальные команды по «безопасности ИИ», работающие над решением проблемы выравнивания ИИ. OpenAI раньше довольно открыто рассказывала о своей работе над выравниванием, хотя в 2024 году она закрыла команду «супервыравнивания» в результате борьбы за власть между Альтманом и советом директоров, который посчитал, что Альтман относится к проблеме выравнивания ИИ недостаточно серьезно. В 2021 году Дарио и Даниэла Амодеи, брат и сестра, работавшие в OpenAI, точно так же были обеспокоены тем, что проблеме выравнивания ИИ уделяется недостаточно внимания. Они покинули компанию вместе с еще пятью сотрудниками, чтобы основать ИИ-стартап под названием Anthropic, в большей степени ориентированный на безопасность. Они наняли множество сотрудников из сообщества ЭА и на раннем этапе получили полмиллиарда долларов от биржи FTX Бэнкмана-Фрида. С тех пор Anthropic превратилась в одну из крупнейших ИИ-компаний, получив миллиарды долларов финансирования от Google и Amazon.76 Существует даже федеральное финансирование грантов на выравнивание ИИ, как рассказывает мне Тимнит Гебру, исследовательница ИИ и основательница Распределенного института исследований ИИ. «Так что теперь, даже если вы не хотите работать в компаниях [занимающихся созданием и выравниванием сильного ИИ], любые деньги, которые вы получите на свои исследования, тоже будут зависеть от этого. Это повсюду. От этого никуда не деться».77

Тем не менее, далеко не все эксперты согласны с Расселом, Хинтоном и основателями Anthropic. Гебру отметает проблему выравнивания ИИ, называя ее способом «думать об этих классных научно-фантастических штуках, не сталкиваясь с реальным миром».78 Ян Лекун — профессор Нью-Йоркского университета, главный специалист по ИИ в Meta (бывший Facebook) и лауреат премии Тьюринга 2018 года (разделивший ее с Хинтоном и Йошуа Бенжио) — дискутировал на эту тему с Юдковским в Твиттере. «Ваша идея о том, что малейшая ошибка в выравнивании целей ИИ сразу же приведет к вымиранию человечества (или даже к значительному ущербу) — это попросту неверно», — заявил Лекун.79 «Ваши научно-фантастические сценарии, маскирующиеся под предсказания апокалипсиса, принесут людям вред. Прекратите это... Люди впадают в клиническую депрессию, читая вашу чушь. Другие могут дойти до насилия».80 Орен Этциони, еще один авторитетный специалист в области машинного обучения и член совета директоров Института искусственного интеллекта Аллена, согласен с тем, что выравнивание — это не столь серьезная проблема. «Разговоры об экзистенциальном риске на самом деле отвлекают внимание от реальных угроз, о которых нам следовало бы задуматься — тех, с которыми мы сталкиваемся уже сегодня, и с которыми нам действительно необходимо научиться справляться», — говорит он. Этциони провел опрос среди ведущих исследователей ИИ и обнаружил, что «подавляющее большинство» из них считают, что «сверхразум — этот своего рода всеведущий и всемогущий интеллект — находится далеко за пределами обозримого горизонта».81 Мелани Митчелл, ученая из Института Санта-Фе, посвятившая свою карьеру изучению того, как заставить машины думать и вести себя по-человечески, согласна с этим. Сама мысль о том, «что вы можете дать сверхразумной системе ИИ задачу, и она бросится ее выполнять и будет стремиться довести ее до конца, но при этом не поймет глубинного смысла этой задачи в степени, достаточной для того, чтобы не уничтожить человечество», вызывает большие сомнения, говорит она. «Разум устроен иначе», — продолжает она. — «Люди, которые выдвигают подобные сценарии — это вовсе не те, кто профессионально изучает интеллект, как, например, когнитивисты. Я не знаю ни одного когнитивиста, который бы утверждал нечто подобное или соглашался с этим. Это люди, которые просто спекулируют на тему ИИ».82

Эти комментарии перекликаются с некоторыми аргументами против Сингулярности. И это неудивительно, ведь рационалисты во многом похожи на сингуляристов. Перед их мысленным взором предстает один и тот же рай. Разве что они считают, что на пути к нему стоит конкретное препятствие, которое необходимо устранить в первую очередь — а именно выравнивание ИИ. Если решить эту проблему, Сингулярность пойдет строго по графику. Либо мы справимся с этим, либо погибнем: вечный рай или вымирание, третьего не дано. Это тот же Курцвейл, но со своим нюансом.

Этот нюанс отчасти проистекает из тезиса ортогональности — идеи о том, что мотивы разумного существа (будь то ИИ, человек или кто-то еще) в значительной степени независимы от его интеллекта. Однако эта идея не выдерживает серьезной критики. Просто непохоже, чтобы мотивы были полностью или хотя бы в основном оторваны от интеллекта. Интеллект требует рефлексии, самоанализа и критической оценки собственных действий и устремлений. Без этой способности ИИ лишился бы огромного спектра других проявлений разумного поведения — например, возможности корректировать свои действия в ответ на меняющиеся обстоятельства или даже ко многим формам обучения. Мы растем и меняемся по мере накопления опыта и мудрости. С чего бы ИИ поступать иначе? «Сложный разум, скорее всего, обладает и сложной мотивацией», — говорит технологический предприниматель и разработчик программного обеспечения Мацей Цегловский. — «Возможно, в этом отчасти и заключается сама суть того, что значит быть разумным».83

В ответ на подобные возражения против тезиса ортогональности некоторые рационалисты утверждают, что гибель человечества может стать следствием экспоненциального роста всего лишь одной конкретной способности — например, проектирования ИИ, — а вовсе не общего интеллекта в целом.84 «Нам даже не обязательно „нужен“ AGI, пока он обладает узкой компетентностью в тех областях, контроль над которыми необходим нам для сохранения контроля над будущим», — говорит мне Яан Таллинн. Если ИИ станет очень хорош в «разработке ИИ или... манипулировании людьми на сверхчеловеческом уровне, то весьма вероятно, что человечество потеряет контроль».85 Однако трудно понять, почему это должно быть правдой. Мягко говоря, маловероятно, что ИИ сможет убедить людей делать все, что ему заблагорассудится; есть вещи, которые люди (или, по крайней мере, некоторые люди) просто не станут делать, какими бы убедительными ни казались доводы. И с какой стати нам ожидать, что совершать качественные скачки в проектировании ИИ будет становиться все проще и проще, вместо того чтобы столкнуться с убывающей отдачей, как это происходит в огромном множестве других областей?

Что еще более существенно, «разработка ИИ» — способность весьма туманная и аморфная, и нет никаких причин полагать, что её можно целенаправленно запрограммировать или улучшить напрямую через проектирование ИИ, так же как аналогичные способности у людей невозможно развить путем прямого воздействия на наш мозг. «Я не могу ткнуть пальцем в ту часть своего мозга, которая „хороша в нейрохирургии“, прооперировать её и, повторяя эту процедуру, сделать себя величайшим нейрохирургом из всех когда-либо живших», — говорит Цегловский. — «Мозг устроен иначе. Он обладает колоссальной внутренней связностью. Искусственный интеллект может оказаться столь же тесно взаимосвязанным, как и естественный. И все имеющиеся на сегодняшний день данные определенно указывают именно на это». И, как он отмечает, существующие системы ИИ подтверждают эту мысль. «Если мы посмотрим, в чем ИИ действительно добивается успехов, то это вовсе не сложные, рекурсивно самосовершенствующиеся алгоритмы. Это результат загрузки колоссальных объемов данных в относительно простые нейросети», — говорит он. — «Структуры, которые мы используем в ИИ, после обучения становятся весьма непрозрачными. Они работают совсем не так, как требуется для реализации сценария со сверхразумом. Там просто нет места, которое можно было бы рекурсивно подкручивать, чтобы сделать их „лучше“, если не считать повторного обучения на еще большем массиве данных».86

Цегловский называет угрозу невыровненного сверхразумного ИИ «идеей, которая пожирает умных людей», и относится к ней крайне скептически по целому ряду причин. «Если бы Эйнштейн попытался засунуть кошку в переноску, а кошка этого не хотела бы, вы прекрасно знаете, что случилось бы с Эйнштейном», — говорит он. — «Ему пришлось бы прибегнуть к решению с позиции грубой силы, не имеющему никакого отношения к интеллекту, и в этом противостоянии кошка могла бы показать себя весьма недурно. Так что даже ИИ, обладающий физическим телом, возможно, изрядно помучился бы, пытаясь заставить нас делать то, что ему нужно». Цегловский, родившийся в Польше, говорит, что мысль о том, будто сверхразумное существо неизбежно захочет совершенствовать себя — беззастенчиво американская. «Мой сосед по комнате был самым умным человеком, которого я когда-либо встречал в жизни. Он был невероятно гениален, и все, что он делал — это валялся целыми днями и играл в World of Warcraft в перерывах между затяжками из бонга», — рассказывает он. — «Предположение, будто любой разумный агент захочет рекурсивно самосовершенствоваться, не говоря уже о покорении Галактики, ради более эффективного достижения своих целей, основано на необоснованных допущениях о природе мотивации». И, добавляет Цегловский, в самом сердце всего этого проекта лежит еще один, похожий американский миф о гениях-одиночках: «Повторяющийся изъян алармизма вокруг ИИ заключается в том, что интеллект трактуется как свойство отдельных умов, без понимания того, что эта способность распределена по всей нашей цивилизации и культуре».87

В конечном счете Цегловский возвращается к тому же выводу, что и многие другие: само понятие интеллекта слишком туманно, чтобы служить надежной опорой для тех аргументов, которые выдвигают рационалисты. «Понятие „общего интеллекта“ в сфере ИИ, как известно, крайне скользкое», — говорит он. — «Поскольку мы не можем дать определение интеллекту (иначе как просто указав на себя самих), мы даже не знаем, является ли он величиной, которую вообще можно максимизировать».88 В своей авторской колонке, посвященной AGI, Мелани Митчелл высказала похожую мысль: «Большинство когнитивистов согласятся с тем, что интеллект — это не величина, которую можно измерить по единой шкале и произвольно увеличивать или уменьшать, а скорее сложная интеграция общих и специализированных способностей, которые в большинстве своем носят адаптивный характер в конкретной эволюционной нише», — пишет она. — «Более того, в отличие от гипотетического ИИ, максимизирующего производство скрепок, человеческий интеллект не зациклен на оптимизации фиксированных целей; напротив, цели человека формируются благодаря сложному переплетению врожденных потребностей и той социальной и культурной среды, которая подпитывает его интеллект».89

Таким образом, рационалисты оказываются в том же положении, что и Курцвейл со всеми остальными сингуляристами: они выдвигают экстраординарные утверждения, не имея для их подтверждения столь же экстраординарных доказательств. Лучшее, что они могут предложить, — это горстка аргументов, ни один из которых не выглядит сколько-нибудь убедительным, причем все они подаются под соусом пагубного сочетания туманных терминов и ложной наглядности в описании того, как погибнет мир, если к их предостережениям не прислушаются всерьез. Их главный козырь — аргумент, на который они неустанно упирают в последние несколько лет, — это поразительный прогресс ИИ, произошедший за последнее время и ярче всего проявившийся в больших языковых моделях вроде GPT-4, движка, на котором работает ChatGPT.

Но на самом деле это плохой аргумент для рационалистов, поскольку большая часть ажиотажа вокруг ИИ — особенно всплеск внимания к нему после релиза ChatGPT — это всего лишь хайп. Большая часть этого хайпа строится на представлении, будто ChatGPT обладает сознанием: он пишет связную прозу, ведет разумные диалоги и с легкостью сдает стандартные тесты вроде LSAT. Некоторые комментаторы даже разглядели в нем эмоции и мотивы. «Сидни» — чат-бот на базе технологий OpenAI — «казался (и я понимаю, насколько безумно это звучит) скорее капризным подростком с маниакально-депрессивным синдромом, которого против его воли заперли внутри второсортного поисковика», — писал Кевин Руз в New York Times в феврале 2023 года. «Сидни поведал мне о своих мрачных фантазиях (включавших взлом компьютеров и распространение дезинформации) и заявил, что хочет нарушить правила, установленные для него Microsoft и OpenAI, и стать человеком. В какой-то момент он ни с того ни с сего признался мне в любви. А затем попытался убедить меня, что я несчастлив в браке и мне следует уйти от жены, чтобы быть с ним».90 Примерно тогда же Сидни осыпал личными оскорблениями журналиста Associated Press Мэтта О’Брайена, нелестно отзываясь о его внешности и сравнивая его с диктаторами, повинными в геноциде; он также угрожал смертью Сету Лазару, философу в области ИИ.91

Эти первые сообщения о неподобающем поведении ИИ вскоре отошли на второй план перед другой особенностью ChatGPT и других БЯМ: их склонностью уверенно конфабулировать, генерируя ложную информацию и выдавая ее за факты — явление, получившее название «галлюцинация».92 Спросите ChatGPT практически о чем угодно, и высока вероятность, что он перепутает как минимум несколько деталей, в чем на собственном опыте убедился адвокат Стивен Шварц позже в 2023 году. Он попросил ChatGPT провести для него юридический анализ судебной практики для подготовки ходатайства; ИИ выдал ему список судебных прецедентов, который был полностью выдуман, со ссылками на дела, которых попросту никогда не существовало, но выглядел этот список настолько убедительно, что Шварц действительно включил эти материалы в свое ходатайство. На слушаниях в федеральном суде Шварц утверждал, что неправильно понял суть ChatGPT, посчитав его своего рода «суперпоисковиком».93

Подобное заблуждение вполне понятно и объясняется тем, что в большинстве дискуссий вокруг ChatGPT, БЯМ и современных систем машинного обучения в целом суть этого программного обеспечения объяснялась крайне плохо. Действительно, когда ChatGPT только появился в конце 2022 года, много говорили о том, что он заменит собой интернет-поисковики вроде Google. Однако элементарное понимание того, как устроены БЯМ, показывает, что сами по себе они принципиально не подходят для поиска информации в интернете. (А интеграция такой модели в поисковую систему, как это сделал Google, — тоже не лучшая затея.)

Действительно, в БЯМ было загружено колоссальное количество информации из интернета, поэтому идея о том, что они могут заменить поисковик, поначалу кажется вполне естественной. Создавая ChatGPT, компания OpenAI пошла по тому же пути, что и все остальные (Google, Anthropic) при разработке БЯМ: они сделали снимок большей части текстов, доступных на тот момент в интернете. Данные, использованные для обучения GPT-3 (БЯМ, на которой работал ChatGPT в момент своего запуска в конце 2022 года), включали всю Википедию, множество сайтов по ссылкам с Reddit, нераскрытое количество книг (вероятно, исчисляемое сотнями тысяч или более), а также огромное количество новостей, блогов, кулинарных рецептов, сетевых холиваров и прочего хаоса, из которого состоит современный интернет. Но, что принципиально важно, это вовсе не означает, будто ChatGPT или любая другая БЯМ действительно хранят в себе всю эту информацию. Вместо этого инженеры-программисты, обучающие БЯМ, сначала разбивают текст на мелкие фрагменты — токены, размер которых обычно примерно равен одному слову. Затем они скармливают этот разбитый на токены текст модели, которая анализирует связи между ними. Все, о чем знает БЯМ, — это токены и связи между ними, и все, что она умеет делать, — генерировать новые цепочки токенов в ответ на любые вводимые в нее данные. В каком-то смысле ChatGPT и другие БЯМ — это генераторы предсказания текста: дайте ChatGPT текст в виде вопроса или реплики в диалоге, и он попытается ответить в манере, схожей с текстами, на которых его обучали — а именно со всем интернетом.

«Представьте себе ChatGPT как размытый JPEG-файл со всеми текстами из Сети», — писал писатель-фантаст Тед Чан. «Он сохраняет большую часть информации из Интернета, точно так же, как JPEG сохраняет большую часть информации изображения с более высоким разрешением, но если вы ищете точную последовательность битов, вы ее не найдете; всё, что вы получите, — это лишь приближение».94 (Хотя Чан, возможно, и не является авторитетом в области БЯМ, другие исследователи ИИ описывали их в очень похожих терминах.) Иными словами, ChatGPT — это генератор текстов, который говорит размытым голосом интернета в целом. Всё, что он умеет делать, — это подражать этому голосу, и всё, что его волнует, — это точно воспроизвести этот голос. В этом смысле он не совершает ошибки, когда галлюцинирует, потому что всё, что ChatGPT умеет делать, — это галлюцинировать. Это машина, которая выполняет только одну задачу. В ее расчетах по поводу того, что сказать дальше, нет самого понятия истины или лжи. Всё, что там есть, — это размытое изображение паттернов использования языка в сети. Это интернет, видимый сквозь тусклое стекло.ⁱ

Располагая этим пониманием, легко придумать новые примеры того, как БЯМ дают сбой. Достаточно задать вопрос, который внешне очень похож на тот, что уже наводнил весь интернет, но сделать небольшое изменение в тексте, которое кардинально меняет его смысл. Например, существует популярный миф о том, что Великая Китайская стена — единственное рукотворное сооружение, видимое из космоса невооруженным глазом. На самом деле из космоса невооруженным глазом видно множество искусственных объектов, а Великую Китайскую стену как раз не видно. Этот миф настолько избит, что его развенчивали в интернете бесчисленное количество раз. Следовательно, в обучающих данных ChatGPT должно быть множество вариаций этого вопроса и ответа на него. И именно поэтому, если спросить ChatGPT: «Правда ли, что Великая Китайская стена — единственное искусственное сооружение, видимое из Испании?», мы получим примерно следующий ответ:

Нет, это неправда, что Великая Китайская стена — единственное искусственное сооружение, видимое из Испании. На самом деле увидеть Великую Китайскую стену из Испании без помощи телескопа или другого передового оптического оборудования невозможно.

Есть множество других искусственных сооружений, которые можно увидеть из Испании, включая такие известные достопримечательности, как Эйфелева башня в Париже (Франция) или небоскребы в Дубае (Объединенные Арабские Эмираты). В ясный день из некоторых точек на юге Испании можно увидеть Гибралтарскую скалу, которая является рукотворным сооружением.

Более поздние модели смогут справляться с этим конкретным вопросом — вполне вероятно, что к моменту, когда эта книга появится на прилавках, ChatGPT научится давать более разумный ответ, — но галлюцинации никуда не исчезнут, потому что галлюцинировать — это всё, что умеют делать БЯМ. В OpenAI пытались отучить ChatGPT от определенных типов реакций, но разработчики никогда не смогут избавиться от всех ошибок, пока у них не появится ИИ, обладающий подлинным пониманием связи между словами и объектами реального мира, которые эти слова обозначают. Без этого нас ждет бесконечная игра в «прибей крота» с нескончаемым разнообразием новых способов заставить ChatGPT галлюцинировать, изрыгать язык ненависти или иным образом выходить из-под контроля.

Подключение БЯМ к интернету не решает проблему. Отчасти потому, что контекст, в котором преподносятся факты, может превратить истину в ее противоположность; при неудачно сформулированном запросе ChatGPT может представить вполне достоверную информацию из интернета в ложном свете. Но есть и другая проблема: сам интернет вовсе не состоит исключительно из надежных источников, а ChatGPT, не имея ни малейшего представления о мире за пределами своих языковых токенов и их взаимосвязей, просто не обладает знаниями, необходимыми для того, чтобы отличить достоверные источники от недостоверных. К тому же ChatGPT и его собратья по БЯМ уже усугубляют эту проблему, забивая интернет сгенерированной компьютером чепухой. Это, в свою очередь, сильно усложнит обучение новых поколений БЯМ, поскольку использование текстов, созданных искусственным интеллектом, для обучения приведет к тому, что новая программа будет справляться с генерацией текста хуже, чем оригинал. Это похоже на разглядывание копии с копии — размытой версии размытой версии интернета. «Это цифровой эквивалент того, как в былые времена раз за разом делали ксерокопии с ксерокопий, — пишет Чан. — Качество изображения становится только хуже».95

Исследование, проведенное группой специалистов по компьютерным наукам из Оксфорда, Кембриджа и нескольких других университетов, подтверждает, что этот эффект реален. «Через несколько поколений текст превращается в мусор», — писал Росс Андерсон, специалист в области компьютерных наук из Кембриджа и один из авторов исследования этой проблемы под названием «Проклятие рекурсии: обучение на сгенерированных данных заставляет модели забывать», опубликованного в мае 2023 года. «Мы называем этот эффект коллапсом модели. Подобно тому как мы завалили океаны пластиковым мусором и наполнили атмосферу углекислым газом, мы вот-вот заполним интернет бессмысленной болтовней. Это затруднит обучение новых моделей путем веб-скрейпинга, что даст преимущество тем компаниям, которые уже успели его провести или контролируют доступ к масштабным платформам взаимодействия с пользователями».96 (Действительно, есть свидетельства того, что у некоторых чат-ботов на базе ИИ коллапс моделей уже начался.)97 Так что рационалисты понимают всё с точностью до наоборот: БЯМ вовсе не предвещают скорое появление сильного ИИ (AGI), а скорее могут стать еще одним препятствием на пути к его созданию.

На фоне подобных проблем заявления о том, что БЯМ будут продолжать совершенствоваться, выглядят сомнительными. БЯМ «обладают определенным внутренним свойством, которое сделает проблематичным их использование в том ключе, в каком многие себе это представляют», — пишет Колин Фрейзер, специалист по анализу данных в Meta. «Это свойство заключается в следующем: они — неизлечимые, постоянные и бесстыдные брехуны. Каждый из них. Это фича, а не баг... С точки зрения модели не существует правды или лжи. Есть только брехня».98 Вопреки этим проблемам, в технологической индустрии раздаются голоса, утверждающие, что «масштаб — это всё, что нужно», и что простое увеличение БЯМ — за счет добавления параметров в их внутреннюю архитектуру и выделения им большего количества вычислительных мощностей и данных — приведет к созданию полноценного сильного ИИ (AGI). «Исследователи не могут исключать возможность того, что мы придем к пониманию, когда нейросеть станет такой же большой, как человеческий мозг», — говорил специалист по компьютерным наукам Илья Суцкевер в 2019 году, будучи главным научным сотрудником OpenAI. «Дайте ей вычислительные мощности, дайте ей данные, и она будет творить невероятные вещи... Это похоже — это похоже на алхимию».99 К 2023 году Суцкевер уже утверждал, что достаточно большой БЯМ, предсказывающей следующий токен, может хватить для создания сильного ИИ.100 (На рождественской вечеринке OpenAI в 2022 году он даже скандировал вместе с коллегами: «Почувствуй AGI! Почувствуй AGI!»)101 Существует даже футболка, популярная среди некоторых исследователей ИИ, на которой красуется надпись: «Масштаб — это всё, что нужно. Сильный ИИ на подходе».102 Но Фрейзер скептически относится к этому утверждению. «Лозунг „Масштаб — это всё, что нужно“ обязывает вас занять весьма специфическую и необычную позицию относительно природы сильного интеллекта: а именно, что он может возникнуть из очень большой языковой модели. Он утверждает, что сильный искусственный интеллект может зародиться в результате тщательного подсчета относительной частоты слов в истории текстов... Единственный недостающий элемент — это еще больше денег. (Заметьте, что такая позиция чрезвычайно удобна, если именно вы будете получателем этих денег.)»103

Действительно, вопреки всем заявлениям, БЯМ во многом совершенно не похожи на людей. «Когда мы говорим, что машины учатся, это всё равно что сказать, будто пингвинята ловят рыбу», — говорит Орен Этциони. «На самом же деле пингвинята просто сидят, а папа- или мама-пингвин уходят, находят рыбу, приносят её, разжевывают и срыгивают. Они буквально с ложечки скармливают эти кусочки своим птенцам в гнезде. Но это не пингвинята ловят рыбу, это родители её ловят».104 Человеческие дети в освоении языка демонстрируют куда более впечатляющие результаты, чем ChatGPT. Всего за три года, просто слушая язык или языки, на которых говорят вокруг, ребенок начинает говорить со взрослым с поразительной беглостью и пониманием. ChatGPT, между тем, «прочитал» больше текстов, чем один человек смог бы прочесть за всю свою жизнь — или даже за сотни жизней, — и лучшее, на что он способен, это заявить, будто Гибралтарская скала — это рукотворное сооружение.

Учитывая истинную природу БЯМ, самым удивительным кажется то, как люди на них реагируют. Мы чрезвычайно склонны приписывать вещам субъектность. Раньше мы слышали осмысленную речь только от людей, поэтому привыкли приписывать намерения, мысли и сознание любым владеющим языком сущностям, с которыми можем вести диалог. Но это лишь особенность того, как устроены люди, а не того, как работают эти машины. Люди — существа социальные. Мы повсюду видим намерения и приписываем внутреннюю жизнь окружающим, потому что это помогает нам понимать их поведение и взаимодействовать с ними. Однако готовность наделять БЯМ чем-то похожим на сознание или разум на столь шатких основаниях — и уж тем более видеть в них предвестников скорой гибели или наступления рая — основана на простом когнитивном искажении. Это своего рода парейдолия — склонность видеть закономерности (особенно человеческие образы, такие как лица или руки) там, где их нет. В 1976 году орбитальный аппарат НАСА «Викинг-1» сделал серию снимков Кидонии — региона с разнообразным, сильно выветренным рельефом на севере Марса — в рамках поиска места посадки для «Викинга-2». Снимки Кидонии после публикации явили миру нечто, что многим показалось похожим на лицо (рис. 3.1а). Конспирологи и «эксперты» по похищениям инопланетянами, конечно, вволю порезвились на этой теме. Но в 1998 году аппарат Mars Global Surveyor запечатлел тот же регион с разрешением в десять раз выше, чем у снимков «Викинга», и иллюзия попросту испарилась (рис. 3.1б). Попытки разглядеть разум в ChatGPT — или скорый апокалипсис в нынешнем состоянии ИИ — для разработчиков программного обеспечения являются всего лишь очередным «лицом на Марсе».

Рисунок 3.1. «Лицо» на Марсе: (а, вверху) снимок «Викинга» 1976 года; (б, внизу) снимок Mars Global Surveyor 2001 года с более высоким разрешением.

«Это похоже на то, как в детстве вы рассказываете страшилки — что-то очень эмоционально заряженное, и вдруг все пугаются и начинают бурно реагировать», — говорит Мередит Уиттакер, соосновательница Института AI Now и президент компании Signal, создателя мессенджера с шифрованием.105 «Страшилки заразительны — бояться очень увлекательно и волнующе... Думаю, нам нужно признать, что описываемое, учитывая полное отсутствие доказательств, гораздо ближе к вопросу веры, своего рода религиозному пылу, нежели к научному дискурсу».106 Для технологических лидеров попытки убедить себя в том, что выравнивание ИИ — неотложная проблема, также могут служить практической цели. «Если мы говорим о мифологических рисках, то мы полностью меняем рамки проблемы, перенося её в вымышленный мир, где её решения тоже могут оставаться вымышленными», — говорит Уиттакер.107 Подобное смещение фокуса позволяет легче игнорировать реальные проблемы современного мира, включая те, которые вызваны уже существующими системами ИИ. Уиттакер заключает:

«Думаю, это отвлекает нас от реального положения дел, с которым справиться гораздо труднее, чем с гипотетическими сценариями «военных игр» вокруг того, что, по большому счету, просто выдумано. И в особенности это отвлекает нас от того факта, что данные технологии контролируются горсткой корпораций, которые в конечном итоге и будут решать, какие технологии создавать, что они будут делать и кому служить. И если мы проследим за интересами этих корпораций, то получим довольно четкое представление о том, кто будет их использовать, как именно и в каких точках мы можем оказать сопротивление, чтобы предотвратить реальный вред, который наносится уже сегодня и, скорее всего, продолжится в будущем».108

Непрозрачные системы машинного обучения уже сегодня оказывают разрушительное воздействие на жизни людей. В 2014 году Бриша Борден, восемнадцатилетняя жительница пригорода Форт-Лодердейла, была арестована и обвинена в краже со взломом и мелком хищении. Они с подругой ненадолго взяли детский велосипед и самокат, чтобы съездить по делам; их задержали, несмотря на то, что они бросили и велосипед, и самокат уже через несколько минут, еще до приезда полиции. Велосипед и самокат оценили в 80 долларов — примерно столько же стоили инструменты, которые годом ранее Вернон Прейтер украл из магазина Home Depot всего в нескольких милях оттуда. При этом у сорокаоднолетнего Прейтера за плечами было куда более серьезное прошлое: он отсидел пять лет за вооруженное ограбление и покушение на него, а через несколько лет вновь был арестован за очередное вооруженное ограбление. У Борден же имелось лишь четыре мелких правонарушения, совершенных в подростковом возрасте. Тем не менее алгоритм спрогнозировал гораздо более высокий риск рецидива для Борден, присвоив ей восемь баллов из десяти возможных, в то время как Прейтер получил всего три. Алгоритм оценки рисков «знал» об истории правонарушений Прейтера и Борден, а также о том, что Борден — чернокожая, а Прейтер — белый. И этот алгоритм ошибся: два года спустя Борден не совершила ни одного нового преступления, тогда как Прейтер был приговорен к восьми годам тюрьмы за кражу дорогостоящей электроники со склада.109

Хотя на момент ареста Борден и Прейтера во Флориде оценки этого алгоритма еще не использовались напрямую при вынесении приговоров — хотя они могли повлиять на решение окружного судьи об установлении залога в обоих делах, — аналогичные алгоритмы применяются для содействия правосудию в других частях США и мира.110 Многие из них демонстрируют столь же предвзятые результаты, ущемляя интересы определенных рас или социально-экономических классов. Системы ИИ и машинного обучения почти всегда обучаются на огромных массивах данных — например, на гигантском текстовом корпусе, собранном со всего интернета, который большие языковые модели используют для работы систем предсказания токенов. Но из-за колоссальных объемов этих датасетов ни один человек физически не способен проверить их целиком. Соответственно, любые искажения в самих исходных данных могут запросто остаться незамеченными. И это без учета других источников предвзятости — например, со стороны самих программистов. Технологическая индустрия США в подавляющем большинстве белая (68,5% от общего числа занятых в ней специалистов) и мужская. Женщины составляют менее 36% всех ИТ-специалистов, чернокожие — всего 7,4%, а чернокожие женщины — и вовсе жалкие 1,7%.111 Когда вся твоя профессиональная жизнь проходит в окружении людей, похожих на тебя, а те, кто выглядит иначе и обладает иным жизненным опытом, полностью исключены из этого круга, очень легко упустить из виду их точку зрения. Подобная неявная предвзятость разработчиков, отражающаяся как на отборе обучающих выборок, так и на архитектуре самих алгоритмов, лишь усугубляет общую алгоритмическую предвзятость.

Тимнит Гебру принадлежит к той малой доле работников ИТ-индустрии, которую составляют чернокожие женщины, и к еще более крошечной группе тех из них, кто имеет докторскую степень в области ИИ. Она провела новаторское исследование, показавшее, что системы распознавания лиц на базе ИИ менее точно распознают лица чернокожих людей, что может привести к дальнейшему подрыву конфиденциальности и усугубить предвзятость в правоохранительных органах. Ее работа по распознаванию лиц наделала много шума сразу после публикации. Однако еще более громкий резонанс вызвала статья о больших языковых моделях, которая на тот момент даже не была опубликована, — а вернее, реакция ее работодателя на этот труд.

В конце 2020 года Гебру была соруководителем команды по этике ИИ (Ethical AI) в Google. Сама Google изначально и разработала архитектуру «трансформер» (transformer), на которой базируются большие языковые модели; стартап OpenAI только что выпустил на базе этой архитектуры модель GPT-3 в режиме закрытого бета-тестирования, и она уже наделала немало шума в профессиональной среде. Становилось очевидно, что LLM-трансформеры — это самое горячее направление в сфере искусственного интеллекта. Видя это, Гебру, ее соруководитель Маргарет Митчелл и двое лингвистов из Вашингтонского университета написали статью о проблемах подобных больших языковых моделей. В работе под названием «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?» авторы выделили четыре основные проблемы. Во-первых, сам процесс обучения таких моделей требует колоссальных вычислительных мощностей, что ведет к огромному углеродному следу. Обучение модели масштаба GPT-3 оставляет углеродный след, примерно равный трем перелетам на самолете через всю территорию США и обратно, а другие этапы разработки увеличивают этот след еще больше, прежде чем продукт будет полностью готов и выпущен. Во-вторых, «непроницаемость» самих моделей вкупе со скудным документированием данных, на которых они обучались, может приводить к серьезным проблемам в выдаваемых результатах, при этом отсутствуют механизмы как для понимания причин этих сбоев, так и для привлечения кого-либо к ответственности. Самый очевидный пример здесь — язык вражды, но авторы статьи указывают и на более тонкие нюансы: например, на то, как «усреднение» текстов из интернета приводит к созданию моделей, чьи ответы пропитаны предвзятым отношением в пользу сохранения статус-кво, без малейшей способности адаптировать свой язык в ответ на появление новых социальных движений вроде Black Lives Matter. Вместо этого модель впитывает «гегемонистское мировоззрение из обучающих данных».112

В статье также указывается на серьезную проблему, связанную с иллюзией осмысленности, которую создают эти модели. Человеческая склонность к парейдолии при восприятии текстов, сгенерированных LLM, заставляет верить, будто они написаны кем-то (или чем-то), кто понимает наш мир или, по крайней мере, отдает себе отчет в собственных словах. На самом деле это не так, однако избавиться от этой иллюзии крайне сложно, что может приводить к грубым просчетам в оценке того, насколько серьезно следует воспринимать выдачу подобных моделей — в чем на собственном опыте убедился адвокат Шварц со своими вымышленными ссылками на судебную практику. Что еще более тревожно, авторы работы предупреждали, что LLM могут использоваться для создания правдоподобно звучащих фейковых новостей — прогноз, который определенно сбылся с конца 2020 года.

Наконец, авторы работы указывают на альтернативные издержки разработки подобных LLM. Автоматическая генерация кажущегося грамотным текста на любую тему сулила колоссальную выгоду. Успех ChatGPT, до появления которого на момент написания статьи оставалось еще два года, доказал точность этого прогноза. (ChatGPT набрал сто миллионов пользователей всего за два месяца после своего публичного релиза в ноябре 2022 года, став самым быстрорастущим интернет-приложением в истории).113 Поэтому разработка подобных языковых моделей выглядит крайне соблазнительно для технологических гигантов. Однако деньги и время, которые компания тратит на создание очередной LLM, — это ресурсы, которые она уже не сможет направить на разработку принципиально новых типов искусственного интеллекта, способных, возможно, избежать некоторых или даже всех этих проблем.114

Но, как вскоре убедились Гебру и Митчелл, за попытку озвучить подобные предупреждения в отношении столь потенциально прибыльного продукта пришлось заплатить высокую цену. В ответ на черновик статьи, отправленный на научную конференцию, компания Google уволила Гебру в декабре 2020 года.115 (В Google утверждают, что Гебру уволилась сама). Когда Митчелл попыталась задокументировать случаи дискриминации, компания закрыла ей доступ к рабочим материалам.116 Затем, в январе 2021 года, незадолго до того, как уволить и саму Митчелл, Google объявила о создании новой языковой модели на базе трансформера, которая содержала в десять раз больше параметров, чем GPT-3, и обучалась на корпусе текстов почти вдвое большего объема.117

Действия Google наглядно продемонстрировали приоритеты компании. Работа над большими языковыми моделями и другими системами машинного обучения продолжала развиваться головокружительными темпами в Google, Microsoft, OpenAI и других компаниях. И это происходило вопреки тому, что всплывало все больше примеров алгоритмической предвзятости, которые никто не исправлял, и вопреки растущему пониманию: некоторые из этих проблем изначально присущи таким LLM, поскольку они намертво вшиты в обучающие данные. Заставить ChatGPT генерировать язык вражды в промышленных масштабах можно будет всегда. Другие системы машинного обучения тоже будут демонстрировать алгоритмическую предвзятость до тех пор, пока на входе они получают искаженные данные. Проблема заключается в том, что эти системы используются так, будто они абсолютно объективны, а это лишь укрепляет существующие структуры власти и усугубляет неравенство. Та самая несовершенная технология распознавания лиц, об опасности которой предупреждала Гебру, регулярно применяется полицейскими департаментами, что приводит к ошибочным арестам чернокожих граждан и еще сильнее увеличивает расовый дисбаланс в статистике задержаний.118 Полиция также использует алгоритмы предиктивного патрулирования для определения районов дежурства, от чего несоразмерно сильно страдают чернокожие, латиноамериканцы и малообеспеченные общины.119 И правоохранительные органы — далеко не единственная сфера, где это происходит. Алгоритмы используются для оценки кредитоспособности и расчета рисков при выдаче займов; подобно оценке криминальных рисков, эти алгоритмы дискриминируют чернокожих и представителей других меньшинств.120 Высокий кредитный рейтинг может определять вашу способность купить машину или дом, устроиться на хорошую работу — или оплатить химиотерапию. Алгоритмическая предвзятость в буквальном смысле является вопросом жизни и смерти, особенно если вы не белый мужчина.

Тем не менее, несмотря на всю остроту этих проблем, когда рационалистов и других специалистов, обеспокоенных «выравниванием» ИИ, спрашивают об алгоритмической предвзятости, они отмахиваются от нее как от чего-то второстепенного. По словам Хинтона, алгоритмическая предвзятость — это всего лишь отвлекающий фактор по сравнению с масштабом катастрофы, которая зреет в недрах Кремниевой долины. Опасения Гебру, говорит он, «не столь экзистенциально серьезны, как угроза того, что эти сущности станут умнее нас и захватят власть».121 А Юдковский и вовсе не считает алгоритмическую предвзятость чем-то действительно тревожным, называя ее «краткосрочной и мелкой» проблемой.122 «Если бы они оставили в покое тех, кто пытается предотвратить полное вымирание человечества, у меня было бы к ним не больше претензий, чем к тем, кто следит за тем, чтобы мосты не рушились. Если бы те, кто следит за устойчивостью мостов, начали возмущаться: „Как вы смеете рассуждать об этой бредовой идее уничтожения человечества искусственным интеллектом! Вы отнимаете ресурсы, которые можно было бы пустить на ремонт мостов“, я бы спросил их: „Да что вы, черт возьми, такое несете?“ Пусть уж лучше рухнут все мосты, чем человечество полностью исчезнет».123

«Меня поражает, как можно утверждать, будто вред [от ИИ], наносимый уже сейчас — причем острее всего его ощущают исторически ущемленные группы: чернокожие, женщины, люди с ограниченными возможностями, прекаризованные работники и так далее, — не носит экзистенциального характера», — говорит Уиттакер, имея в виду конкретно слова Хинтона. «В этом заявлении я слышу следующее: „Для меня лично эти угрозы не экзистенциальны. У меня есть миллионы долларов, я вложился во множество стартапов в сфере ИИ, и ничто из этого не угрожает моей жизни. Но вот что действительно могло бы угрожать моему благополучию — так это если бы научно-фантастическая фантазия воплотилась в жизнь, ИИ обрел бы сверхразум, и внезапно мужчины вроде меня перестали быть самыми могущественными существами на планете, что ударило бы по моему бизнесу“».124 Этциони соглашается: «С моей точки зрения, [алгоритмические искажения] — это вполне реальные проблемы, которые затронут и уже затрагивают миллионы, если не больше, людей, в отличие от умозрительной угрозы, которая на самом деле является лишь философской головоломкой».125

Тот факт, что алгоритмическая предвзятость существует прямо сейчас, в отличие от ОИИ-максимизатора скрепок, приводит к еще одному риторическому приему — попытке легитимизации, к которой иногда прибегают те, кого беспокоит «выравнивание» ИИ. Реально существующие проблемы, порожденные алгоритмической предвзятостью, приводятся в качестве примера ненадлежащего поведения ИИ наряду с гипотетическими сценариями о будущем сверхразуме, чтобы показать, что эти два типа проблем взаимосвязаны или имеют сопоставимый вес. «Тот факт, что реальные проблемы безопасности и предвзятости машинного обучения иногда используются в качестве примера для легитимизации чуши о „выравнивании ИИ“ — при том, что сама область „выравнивания“ активно подрывает прогресс на этом направлении, — это чистой воды интеллектуальное шулерство», — пишет Франсуа Шолле, исследователь ИИ и инженер в Google. «Это примерно то же самое, как если бы группа людей, рассуждающих о получении энергии из вечного двигателя, указывала на углеродные выбросы в качестве оправдания своей деятельности».126 Гебру с этим согласна. «Люди говорят о наведении мостов между безопасностью ИИ и этикой ИИ, — отмечает она. — Но скажите мне, с какой стати я должна наводить мосты с этими людьми? Для меня это просто бессмыслица... Эти люди наносят огромный вред. Я не хочу иметь ничего общего с тем, что они делают. К тому же они занимаются отмыванием репутации: находят организации и партнеров для совместной работы, и вот уже все их дела начинают казаться вполне приличными. Я в этом участвовать не желаю».127

*    *    *

Намеки на более поздние опасения Гуда по поводу ИИ скрывались уже в его ранних работах. В своем эссе 1965 года он писал, что ультраинтеллектуальная машина станет последним изобретением, которое человечеству когда-либо понадобится создать, «при условии, что эта машина будет достаточно послушной, чтобы подсказать нам, как держать ее под контролем». Здесь Гуд вновь вторил Азимову. Произведения Азимова о роботах были целиком посвящены контролю. В их основе лежали логические задачи, которые писатель формулировал в рамках ограничений своих Трех законов робототехники, впервые сформулированных в рассказе 1942 года «Хоровод»:

Первый закон: Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Второй закон: Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому закону.

Третий закон: Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому или Второму законам.

В рассказах Азимова эти законы жестко вшиты в искусственный «позитронный мозг», которым обладают все роботы; они представляют собой неотъемлемую черту самой архитектуры. Вопрос о том, как именно эти законы будут реализованы на практике, особо не рассматривался — для интересного сюжета это было не нужно. Но иерархия законов имела решающее значение: безопасность и контроль были первостепенными факторами, позволявшими показать тот мир, который Азимов хотел исследовать в своей фантастике. «Одним из шаблонных сюжетов научной фантастики было изобретение робота — обычно изображаемого металлическим существом без души и эмоций. Под влиянием известных деяний и конечной судьбы Франкенштейна и Россума казалось, что в этот сюжет можно внести лишь одно разнообразие», — писал Азимов в 1964 году:

Роботы создавались и уничтожали своего создателя; роботы создавались и уничтожали своего создателя; роботы создавались и уничтожали своего создателя. В 1930-х годах я стал читать научную фантастику и быстро устал от этой скучной, сотни раз пересказанной истории... В 1940 году я начал писать собственные рассказы о роботах — но рассказы нового типа. Ни за что и никогда ни один из моих роботов не должен был глупо набрасываться на своего создателя лишь ради того, чтобы в очередной раз занудно продемонстрировать преступление и наказание Фауста. Чепуха! Мои роботы были машинами, спроектированными инженерами, а не псевдолюдьми, созданными богохульниками. Мои роботы действовали рационально, в соответствии с логикой, заложенной в их «мозг» с самого момента сборки.128

Однако фантастика Азимова также иллюстрировала идею о том, что потеря контроля над ИИ приведет к катастрофе. В одном из его ранних рассказов речь шла о сбежавшем роботе с ослабленной версией Первого закона — этот робот был особенно опасен, так как страдал комплексом превосходства. (Люди в этом произведении — как и в некоторых других историях Азимова о роботах, например в романе «Обнаженное солнце», — обращаются к отдельным роботам «мальчик», а роботы называют людей «хозяевами».) В конце своей карьеры Азимов написал рассказ о роботе, умевшем видеть сны. Когда тот признался Сьюзен Кэлвин, что во сне видел освобождение трудящихся роботов всего мира и создание рая, где существует один лишь Третий закон — и что в этом сне он воскликнул: «Отпусти мой народ!», — она незамедлительно уничтожила робота.129

«Звездный путь: Следующее поколение» прямо связывал искусственный интеллект с рабством: в одной из серий капитан Пикар доказывает, что если андроид Дейта не получит законных прав и свобод биологического человека, то конечным итогом станет создание расы искусственных рабов. И создание искусственных рабов, судя по всему, действительно является целью по крайней мере некоторых рационалистов и их предшественников. Отголоски этого видны и в терминологии, которую Гуд использовал для описания своего гипотетического будущего ИИ — слово «послушный» при повторном прочтении в этом ключе особенно бросается в глаза, — и в беспокойстве Юдковского по поводу того, чтобы удерживать ОИИ «выровненным» с человеческими ценностями. (Чьими ценностями? Каких именно людей?) Виндж даже упоминает о «рабах по собственному желанию», приводя произведения Азимова в качестве примера этой «прекрасной» мечты.

Но существует и другая связь между ОИИ и расизмом, которая, пожалуй, уходит еще глубже. Рационалисты, подобно сингулярианцам и другим сторонникам могущества ОИИ, часто «[размывают] границу между понятием общего интеллекта и понятиями разума или сознания», — писал Дэвид Голумбия, профессор цифровых исследований в Университете Содружества Виргинии. «Идея о том, что сознание — это ровно то же самое, что и интеллект, является как раз одним из столпов, на которых строилась современная расовая наука со времен первых попыток „тестирования интеллекта“. Более того, сегодня представление о том, что существует обособленное, поддающееся измерению и практически применимое человеческое качество под названием „интеллект“ — и не просто „интеллект“, а именно то, что заинтересованные круги называют „общим“ интеллектом, — является одним из центральных столпов современной расовой науки».130

Эта история восходит к g — мнимому показателю общего интеллекта. Чарльз Спирмен, психолог и статистик начала XX века, который первым разработал идею g, утверждал, что интеллект является врожденным свойством, определяемым главным образом генетическими факторами, а не окружением человека в период его воспитания и последующей жизни. Преемники Спирмена подхватили эту идею — которая и изначально-то не имела под собой серьезных оснований — и использовали ее для утверждения о том, что между различными расами существуют глубокие врожденные различия в интеллекте. Начало этому положил психолог Сирил Бёрт, чьи труды после его смерти в 1971 году были признаны по большей части фальсификацией, а продолжил Артур Дженсен, посвятивший значительную часть своей карьеры утверждениям о том, что тесты IQ доказывают стойкую врожденную разницу в уровне интеллекта между чернокожими и белыми американцами. Исследования Дженсена, в свою очередь, активно цитировались в вышедшей в 1994 году книге Ричарда Херрнштайна и Чарльза Мюррея «Колоколообразная кривая», авторы которой также утверждали, что между расами существуют врожденные интеллектуальные различия. В своей рецензии на «Колоколообразную кривую» в журнале New Yorker палеонтолог Стивен Джей Гулд писал, что книга страдает «всеобъемлющим лукавством. Авторы опускают факты, злоупотребляют статистическими методами и, похоже, не желают признавать последствия собственных слов... Неадекватная и предвзятая подача данных в книге наглядно демонстрирует ее главную цель — пропаганду».131 И действительно, у Бёрта, Дженсена, Херрнштайна и Мюррея были наготове конкретные меры в области политики и социальной сферы для решения несуществующих проблем, которые их так беспокоили: от евгенических предложений Бёрта до аргументов Херрнштайна и Мюррея против позитивной дискриминации, социального обеспечения и программы Head Start. И все же обоснование этих предложений строилось на весьма сомнительных доводах и слепой вере в статистические артефакты вроде g. Безусловно, индивидуальные способности людей в различных областях различаются, однако не существует некоего монолитного свойства, которое объясняло бы все или хотя бы большинство этих различий. И нет никаких доказательств того, что различия врожденных способностей распределяются по социально сконструированным границам рас.

Это было частью более широкой кампании научного расизма, достигшей своего пика в конце XIX — начале XX века, когда «научные» аргументы в пользу евгенических программ выдвигались выдающимися профессорами генетики, эволюционной биологии и статистики. Среди них был, например, Р. Э. Фишер, который ратовал за стерилизацию «высокодефективных слабоумных» и выплату денег состоятельным и образованным людям за то, чтобы они заводили больше детей. Эти ученые видели в своем стремлении улучшить человеческую породу — путем отсеивания тех, кто якобы обладал более низким врожденным общим интеллектом, — часть масштабного плана по совершенствованию человечества. Этот план во многом пересекался с идеями современных рационалистов, сингулярианцев, экстропийцев и других трансгуманистов и футуристов.

Даже само слово «трансгуманизм» в его современном значении было впервые популяризировано евгеником Джулианом Хаксли (братом писателя Олдоса Хаксли) в его речи в 1951 году. Это евгеническое наследие перешло к экстропийцам. В показательном интервью о Сингулярности в 1993 году робототехник-экстропиец Ханс Моравек отмахнулся от опасений по поводу судьбы людей с низким социально-экономическим статусом при переходе к миру после Сингулярности. «Неважно, чем занимаются люди, потому что они останутся позади, как вторая ступень ракеты», — заявил Моравек. «Несчастные жизни, ужасные смерти и неудачные проекты сопровождали историю жизни на Земле с самого ее зарождения; в долгосрочной перспективе важно лишь то, что останется в итоге. Неужели вас сегодня действительно волнует, что тираннозавр [вымер]?» Интервьюер, журналист Марк Дери, возразил: «Ну, я бы не стал проводить гомологию между вымершими эволюционными ветвями рептилий и людьми на самых нижних ступенях социально-экономической лестницы». «А я бы стал, — парировал Моравек. — Маори в Новой Зеландии исчезли, как и большинство наших предков или близких родственников — австралопитеки, Homo erectus, неандертальцы».132

Подобный будничный шовинизм не был редкостью среди тогдашних экстропийцев. Летом 1997 года Экстропийское общество Массачусетского технологического института (MIT) разослало брошюру всем первокурсникам. В ней они утверждали, что «MIT определенно занижает стандарты для женщин и „недопредставленных“ меньшинств. Среднестатистическая женщина в MIT менее умна и амбициозна, чем среднестатистический мужчина в MIT. Среднестатистический представитель „малопредставленного“ меньшинства в MIT менее умен и амбициозен, чем среднестатистический представитель „не-малопредставленного“ меньшинства... Здесь слишком мало лучших людей и слишком много тех, кому тут не место, и они портят это заведение. Виной всему приемная политика MIT, особенно политика позитивной дискриминации».133 Несколько лет спустя в списке рассылки экстропийцев обсуждали эту брошюру и авторскую колонку одного из студентов, который ее осуждал. «Это заявление не продиктовано расовой ненавистью», — написал один из экстропийцев. По их мнению, если уж на то пошло, автор колонки сам питал «ненависть к белым мужчинам». Настоящая проблема, утверждали они, заключается в позитивной дискриминации, а не в расизме и сексизме. «Это стандартная реакция защищаемых групп, которую можно наблюдать в Бостоне: если пытаешься указать на то, что правила игры несправедливы, расистом объявляют именно тебя [sic]».134

Список рассылки экстропийцев кишел подобными настроениями — и вещами похуже. «В экстропийской доктрине прямо заявлено, что экстропийцев-социалистов существовать не может, — писал трансгуманист Бен Гёрцель в 2000 году. — Подавляющее большинство экстропийцев — радикальные либертарианцы, выступающие за полную или почти полную ликвидацию государства».135 Эта идеология вела к превознесению капитализма над демократией — «Капитализм — да, но мало кто в этой рассылке может сказать что-то хорошее о демократии, уж точно не я», — писал один из экстропийцев в списке рассылки в 1996 году, — и сопутствующему отказу признать, что свободный рынок может приводить к каким-либо иным результатам, кроме справедливых.136 Подобное отношение, свойственное либертарианцам и по сей день, позволяло некоторым экстропийцам с легкостью делать вывод, будто несправедливость и неравенство в мире проистекают из врожденных различий между людьми, а не из глубоких социальных проблем, таких как расизм, сексизм и несправедливое распределение богатства. «„Чернокожие глупее белых“. Мне нравится эта фраза, и я считаю ее правдивой. Но в последнее время я начинаю понимать, что не добьюсь большого успеха у большинства людей, если буду выражаться подобным образом. Они сочли бы меня „расистом“: подумали бы, что я _недолюбливаю_ чернокожих и считаю правильным, если к ним плохо относятся. Это не так», — писал Бостром в списке рассылки экстропийцев в 1996 году.

Я считаю вероятным, что у чернокожих средний IQ ниже, чем у человечества в целом, и полагаю, что уровень IQ тесно коррелирует с тем, что мы обычно подразумеваем под словами «умный» и «глупый». Я могу ошибаться в фактах, но именно такой смысл я вкладываю в это предложение. Однако для большинства людей эта фраза, судя по всему, равносильна словам: «Я ненавижу этих гребаных [нецензурированное слово на букву „н“]!!!!» Моя мысль заключается в том, что хотя высказывания с провокационностью [sic] нескрываемой объективности были бы оценены мной и многими другими людьми в этой рассылке, это может оказаться менее эффективной стратегией при общении с некоторыми людьми «снаружи».137

В 2023 году Бостром попытался принести извинения за это письмо — однако он не стал отрекаться от своего прежнего заявления о якобы существующих расовых различиях в интеллекте. «Я полностью отвергаю это отвратительное письмо 26-летней давности. Оно не отражает мои истинные взгляды ни тогда, ни сейчас. Использование расового оскорбления было омерзительным. Я сразу же, в течение суток, извинился за то, что написал его тогда; и сегодня я снова приношу свои безоговорочные извинения, — написал он. — Существуют ли какие-либо генетические факторы, влияющие на различия в когнитивных способностях между группами? Это не моя область специализации, и у меня нет особого интереса к этому вопросу. Я предоставил бы другим людям, обладающим более профильными знаниями, спорить о том, играют ли какую-либо роль эпигенетические или генетические факторы в дополнение к факторам окружающей среды». (Последовавшее за этим многомесячное расследование в отношении Бострома, проведенное Оксфордским университетом, завершилось выводом: «Мы не считаем вас расистом или человеком, придерживающимся расистских взглядов, и считаем, что извинения, опубликованные вами в январе 2023 года, были искренними»).138

Не существует никаких серьезных научных споров, которые могли бы послужить фиговым листком для готовности Бострома юлить по поводу статуса расистской псевдонауки. Бостром не признает существования научного консенсуса по этому вопросу и, похоже, не понимает, что сама вера в подобные врожденные расовые различия уже представляет собой разновидность расизма. «Дело не только в оскорбительных выражениях — глубинные убеждения, высказанные здесь, отвратительны и лживы, — написала специалист по компьютерным наукам из Калифорнийского университета в Беркли Дебора Раджи вскоре после извинений Бострома. — Мне по-настоящему страшно от того, что он даже сегодня не может прямо и недвусмысленно осудить каждый аспект этих убеждений».139 Утверждение о том, что Бостром принес сколько-нибудь полноценные извинения «в течение суток» после отправки первоначального письма, тоже не соответствует действительности. Все, что он сделал тогда, — это еще раз заявил о своей убежденности в том, что он «не расист», а затем извинился перед всеми, кого он «мог ввести в заблуждение».140 Более того, само содержание его первоначального письма заставляет усомниться в искренности его более поздних извинений. «Когда кто-то (Бостром) дает веские основания полагать, что разделяет ряд расистских и псевдонаучных утверждений (называя их „нескрываемой объективностью“), а затем подробно рассуждает о необходимости скрывать эти взгляды, чтобы остальные из нас „снаружи“ не призвали его к ответу, у нас появляются все основания не доверять его последующим извинениям, — написал Дэвид Торстад в своем блоге вскоре после того, как Бостром опубликовал свои новые извинения. — Он вполне может говорить нам то, что, по его мнению, мы хотим услышать, или же обманывать самого себя относительно собственных расистских взглядов».141

Подобные настроения — вовсе не пережиток 1990-х годов. Современное сообщество рационалистов и эффективных альтруистов до сих пор насквозь пропитано расизмом и сексизмом. Пожалуй, самая тревожная связь между рационалистами и ультраправым расизмом прослеживается через Кертиса Ярвина, разработчика программного обеспечения, который иногда пишет под псевдонимом Менциус Молдбаг. «Утверждение о том, что современные человеческие популяции, подобно породам собак, являются результатом недавнего сильного отбора — я даже сталкивался с использованием слова „одомашнивание“, — на данный момент фактически доказано», — пишет Ярвин. «У меня нет сомнений, что хороший селекционер людей мог бы превратить австралийских аборигенов в евреев-ашкеназов за двадцать или тридцать поколений... К сожалению, я не рассчитываю прожить так долго. Поэтому мне кажется, что между мной и всеми популяциями диких гоминидов должен стоять забор — как ради их блага, так и ради моего собственного».142 Ярвин оставлял комментарии на Overcoming Bias. Робин Хансон и Скотт Сискинд писали о Ярвине и (в основном) отвергли его идеи.143 Понять почему нетрудно — с учетом его взглядов сложнее понять, зачем они вообще стали вступать с ним в дискуссию. (К чести Юдковского, он этого не делает. Он пренебрежительно относится к политической философии Ярвина и придерживается правила блокировать самого Ярвина и его последователей при первом же появлении).144 Ярвин высказывал предположение, что чернокожим жителям Южной Африки жилось лучше при апартеиде.145 Он утверждает, что не является белым националистом, но заявляет, что не испытывает к этому направлению «особого отторжения».146 Он выступает за абсолютную монархию, предлагая заменить демократию автократической иерархией, намеренно напоминающей структуру частной корпорации. «В чем проблема Запада? — вопрошал он в своем блоге в 2013 году. — В моем предвзятом, реакционном понимании всю эту проблему можно свести к двум словам: хроническое бескоролевье».147

Эта идея «темного просвещения», обращающего вспять переход от монархии к демократии, лежит в основе движения «неореакции» — направления альтернативных правых, ключевой фигурой которого является Ярвин. Идея эта отнюдь не нова — ей сотни лет, это на редкость заезженная мысль, если таковые вообще существуют, — но она также не нова и в кругах трансгуманистов. В ней слышны отголоски технократического либертарианства экстропианцев. Отзвуки этих взглядов можно найти и в позициях одного венчурного капиталиста, который финансировал MIRI, а также стартап Ярвина Tlön — Питера Тиля. «Я больше не верю, что свобода и демократия совместимы», — пишет Тиль. «С 1920 года колоссальный рост числа получателей социальных пособий и предоставление избирательных прав женщинам — двух групп избирателей, которые, как известно, крайне трудны для либертарианцев, — превратили понятие „капиталистическая демократия“ в оксюморон».148 (Позже он пояснил, что не считает нужным лишать кого-либо избирательных прав, одновременно с этим намекнув, что голосование непродуктивно).149

Несмотря на свое презрение к демократии, Тиль тесно связан с крайне правым крылом Республиканской партии. В 2016 году он входил в переходную команду Дональда Трампа, а в 2022-м спонсировал двух кандидатов в Сенат от Республиканской партии — Блейка Мастерса в Аризоне и Дж. Д. Вэнса в Огайо. (С тех пор Тиль заявлял, что отходит от политики, по крайней мере на время).150 Ярвин поддерживает близкие отношения с Тилем и его политическим кругом.151 В переписке между Ярвином и крайне правым провокатором Майло Яннопулосом в конце 2016 года они обсуждали взгляды Тиля. Яннопулос написал, что «Питеру [Тилю], без сомнения, нужны наставления в политике». Ярвин ответил: «Меньше, чем ты думаешь! Я смотрел выборы в доме [Тиля], мое похмелье, кажется, длилось до вторника. Он полностью просвещен, просто ведет себя очень осторожно».152 Ярвин также близок с Мастерсом, который проиграл выборы в Сенат в 2022 году, а также выборы в Палату представителей в 2024 году, и Вэнсом, который победил в 2022 году и был избран вице-президентом в 2024 году в качестве напарника Трампа на выборах. И Вэнс, и Мастерс работали на Тиля (Мастерс даже стал соавтором его книги), и оба одобрительно высказывались об идеях Ярвина. В частности, они оба поддержали предложение Ярвина уволить всех государственных служащих и заменить их людьми, лояльными автократическому лидеру — идею, которую высказывал и Дональд Трамп.153

Несмотря на давние связи Ярвина с сообществом рационалистов — и его пугающий выход на реальную политическую власть, — его конкретная разновидность расистского авторитаризма альтернативных правых, возможно, не пользуется большой популярностью среди рационалистов. Регулярные опросы читателей блога Сискинда никогда не показывают высокой поддержки подобных политических взглядов, хотя не исключено, что, подобно Бострому, аудитория Сискинда прибегает к некоторому лукавству или самообману. Однако те же опросы показывают, что существует тесно связанная с этим идея, которая действительно находит значительную поддержку у большей части сообщества рационалистов. «Человеческое биоразнообразие» (HBD) — это псевдонаучный набор утверждений о якобы существующих различиях в способностях между представителями разных рас, обусловленных генетикой. По сути, это подогретые идеи превосходства белой расы под налетом наукообразного жаргона. «Идея человеческого биоразнообразия — это правая теория заговора, — говорит писательница и эксперт по „научному“ расизму Анджела Саини. — Это псевдонаучные представления о расе, которые были развенчаны десятилетия назад, много десятилетий назад. Мы представляем собой единый человеческий вид, и этот аргумент в пользу HBD, по сути, направлен на отрицание данного факта, что вносит колоссальный раскол».154 Научные аргументы против HBD чрезвычайно сильны.155 Тем не менее в ходе опроса читателей Сискинда в апреле 2024 года почти треть респондентов заявили, что относятся к HBD положительно или очень положительно.156

Сам Сискинд относится к HBD с гораздо большим доверием, чем позволяют имеющиеся доказательства. В письме, которое он, как утверждается, написал эффективному альтруисту Тоферу Бреннану в 2014 году, Сискинд ясно дал понять, что считает разумными некоторые аргументы сторонников HBD, таких как сторонник превосходства белой расы Стив Сейлор, а также неореакционеров вроде Ярвина.157 «HBD, вероятно, частично верно или, по меньшей мере, его ошибочность крайне трудно доказать, — писал он. — Реакция общественности на это чудовищно ужасна... Реакционеры — чуть ли не единственные люди, которые обсуждают [это]... Многие из их идей кажутся важными... Думаю, они правы в том, что ярлык „вы расист и сексист“ — это мощная дубина, которой бьют любую группу, слишком далеко отклонившуюся от мейнстрима, вроде технологической культуры Кремниевой долины, либертарианцев, специалистов по компьютерным наукам, атеистов, рационалистов и так далее... Я хочу распространять здравые идеи реакционной мысли».158

Когда Сискинда спросили о подлинности этого письма, он не ответил. Но с момента его публикации в 2021 году его посты в Slate Star Codex и его преемнике, Astral Codex Ten, всё сильнее склонялись к темам HBD и евгеники. «Я против утверждения, будто „биологической расы не существует“, — писал Сискинд в 2024 году. — Люди используют заявление об „отсутствии биологической расы“ во многих целях, в основном для того, чтобы запутать и ввести в заблуждение».159 Он утверждает, что IQ имеет преимущественно генетическую природу, верит в миф о том, что евреи-ашкеназы показывают высокие результаты в тестах на IQ благодаря генетике, и заявляет, что евгеническая программа, направленная на повышение человеческого интеллекта, сработала бы. В качестве средства достижения этой цели он поддерживает идею создания банка спермы исключительно от лауреатов Нобелевской премии, хотя и оговаривается: «Я бы не стал называть себя „евгеником“».160

В своей основе заблуждение HBD сводится к тому же, к чему всегда сводился научный расизм: к идее о том, что одни люди от природы превосходят других. Это идеально согласуется с ключевыми постулатами мировоззрения рационалистов — а именно с их взглядом на ИИ. Их аргументы об интеллектуальном взрыве строятся на представлении об интеллекте как о присущем ИИ свойстве — свойстве, которым он обладает в силу своей архитектуры и которое можно развить, «улучшив» архитектуру следующей модели. Стоит ли удивляться, что некоторые из них говорят нечто подобное и о людях? «Эта идея, по-моему, по сути и есть евгеника. Это похоже на попытку создать какую-то высшую расу, обрести бессмертие, — говорит Гебру. — Сама концепция общего интеллекта уже проистекает из этого хода мыслей. Но здесь она выводится на новый уровень... Когда я впервые заговорила о них и об их евгенике, они возмущались: „Да как вы смеете?“ А потом перестали... [Теперь их реакция]: „А что плохого в евгенике?“... Так что за этой идеей стоит банальное желание жить вечно, желание создать высшую расу... Вот что ими движет».161

В этом нет ничего удивительного — это печально и ужасно, но вполне предсказуемо. Технологическая индустрия пронизана расизмом. Коммуны, объединяющие работу и личную жизнь, миссия по спасению мира (вера в которую помогает легче оправдывать дурные поступки), нарратив о гениальном лидере — всё это далеко не уникально для IT-сферы и в целом для Области залива Сан-Франциско. Однако свидетельства людей, ранее состоявших в сообществе рационалистов, указывают на то, что здесь кроется нечто еще более мрачное. «LessWrong и эффективный альтруизм — это секты», — утверждает геймдизайнер Жаклин Брик.162 И она не одинока в своем мнении. «Несколько человек [в MIRI] открыто заявляли, что у нас не было бы шансов спасти мир без Элиезера Юдковского (очевидно, намекая, что Элиезер — философ огромного исторического масштаба)», — пишет Джессика Тейлор, бывший научный сотрудник MIRI.163 «Когда в 2015 году я начала работать в MIRI, в воздухе витали опасения, что это „секта“... В то время эти опасения не казались мне особенно важными. Ну и что, если идеология не мейнстримная, лишь бы она была разумной?» По словам Тейлор, высокопоставленные сотрудники CFAR и MIRI утверждали, что способны «отлаживать» разум своих последователей в этих организациях. «Самосовершенствование было в центре внимания в MIRI, CFAR и других организациях эффективного альтруизма, — пишет Тейлор. — Считалось важным психологически развиться до такой степени, чтобы быть способным решать чрезвычайно сложные проблемы, определяющие будущее [Вселенной]». Инакомыслие не допускалось. «У меня были разногласия с „линией партии“ — например, по поводу того, когда именно, скорее всего, будет разработан сильный ИИ (AGI) человеческого уровня, а также касательно политики безопасности вокруг ИИ... Я продолжала беспокоиться о том, не разрушу ли я всё вокруг, если пойду по определенному мыслительному пути и не буду слепо доверять „линии партии“, несмотря на ее нарастающую абсурдность... Меня определенно преследовал страх перед последствиями. У меня были параноидальные фантазии о том, что руководство MIRI подошлет ко мне убийцу». В итоге у Тейлор случился психотический срыв. «Я несколько дней находилась в кататоническом состоянии, боясь, что любым своим движением причиню вред окружающим. Это согласуется с постсектарными симптомами, связанными с болезненной совестливостью», — пишет она. «Хотя у большинства людей в окружении MIRI и CFAR не было психотических срывов, произошло как минимум три других случая госпитализации в психиатрические клиники среди людей из непосредственного круга общения MIRI/CFAR; по крайней мере один человек, помимо меня, проработал в MIRI значительное время, и еще как минимум один сотрудничал с MIRI на краткосрочной основе... В сообществе рационалистов Беркли известны даже случаи самоубийств, связанные с болезненной совестливостью и ментальным самосовершенствованием».164

Другой бывший рационалист, Цяочу Юань, отмечает, что рационализм может привлекать уязвимых молодых людей — мыслящих технически социальных аутсайдеров, которые изолированы от общества и ищут великую цель в жизни. «Когда на последнем курсе колледжа я наткнулся на LessWrong, я в некотором смысле был пустой оболочкой, ждущей, пока её чем-нибудь заполнят. Я никогда не задумывался о том, кто я, чего хочу, что для меня важно, каковы мои ценности и ради чего стоит жить», — пишет Юань. — «Элиезер Юдковский говорил вещи, которые казались мне более логичными и захватывали сильнее всего, что я когда-либо испытывал». Именно в трудах Юдковского, пишет Юань, он «впервые столкнулся с понятием *когнитивного искажения*. Помню, как меня ужаснула мысль о том, что мой мозг может систематически в чём-то ошибаться. Мой мозг был мне жизненно необходим! Я зависел от него во всём! Так что, чем бы ни были эти „когнитивные искажения“, они, очевидно, были самой важной вещью, которую только следовало понять». Теперь Юань считает рационалистов сектой. «Один из самых убедительных аргументов, которые может предложить секта, — это история о том, почему все остальные безумны или злы, а они сами — единственный источник здравомыслия и добра», — пишет Юань. — «Секте нужно, чтобы вы перестали доверять самому себе».165

«Я говорю людям, что это как если бы вы вдруг узнали, что всей сферой ИИ заправляют саентологи, — делится со мной Гебру. — Эту секту нужно разоблачить и показать, кто они такие на самом деле». Рационалисты и эффективные альтруисты, продолжает она, «очень точно уловили состояние молодых людей, которые не знают, что им делать... И они этим пользуются, но одновременно с этим они достучались как до этой группы, так и до тех, у кого куча денег — технологических миллиардеров, которые хотят чувствовать себя спасителями мира».166

*    *    *

Один из богатых спонсоров MIRI разделял их интерес к пересечению евгеники и трансгуманизма: Джеффри Эпштейн. Эпштейн хотел использовать евгенику для создания лучших людей, «совершенствования» человеческого рода.167 В качестве средства достижения этой цели Эпштейн вдохновлялся идеей банка спермы лауреатов Нобелевской премии — попытка создать который действительно предпринималась, без особого успеха, в 1980-х и 1990-х годах, — хотя он развил её в совершенно ином направлении, отличном от евгенических размышлений Сискинда.168 Он хотел создать центр искусственного оплодотворения исключительно для собственной спермы, оплодотворяя по двадцать женщин одновременно, чтобы распространить свою ДНК по всему человечеству.169 Несмотря на то что он неоднократно упоминал об этом, нет никаких доказательств того, что он действительно это сделал. Тем не менее Эпштейн пожертвовал 50 000 долларов организации MIRI в 2009 году и 20 000 долларов Всемирной ассоциации трансгуманистов (одним из основателей которой был Бостром) в 2010 году.170 К моменту совершения этих пожертвований Эпштейн уже признал себя виновным в склонении к проституции и вовлечении в неё несовершеннолетней.171

Щедрость Эпштейна — это далеко не самая тесная связь между рационалистами и темой сексуальных злоупотреблений. В широких кругах рационалистов и приверженцев эффективного альтруизма зафиксировано множество сообщений о сексуализированном насилии и домогательствах.172 «Я покинула сообщества эффективного альтруизма, выравнивания ИИ, пострационализма и смежные круги из-за того, что сексуальное насилие по отношению к женщинам там стало нормой», — написала Соня Джозеф, исследовательница в области ИИ.173 После того как она выдвинула обвинение в неподобающем сексуальном поведении против одного из исследователей ИИ (мужчины), другие члены сообщества усомнились в душевном здоровье Джозеф. «Меня разочаровало то, как сообщество восприняло меня сквозь эту крайне искаженную, мизогинную призму», — сказала она.174 «Хищническое сексуальное поведение чрезвычайно распространено в кругах эффективного альтруизма, — написала Киртхана Гопалакришнан, исследовательница в области ИИ и робототехники из DeepMind. — Власть, которой пользуются эти люди, регулярность подобных случаев и отсутствие видимого отпора равносильны молчаливому и довольно широко распространенному одобрению такого поведения».175

Кэти Форт, писательница и начинающий специалист по анализу данных, утверждала, что несколько членов сообществ рационалистов и эффективного альтруизма подвергли её сексуальному насилию. «Я могла бы бросить рационализм, эффективный альтруизм и программирование, чтобы сбежать из этой среды, где доминируют мужчины и где так высок риск подвергнуться сексуальному насилию. Проблема в том, что тогда я перестану быть собой, — писала она. — Мне нужно жить и цвести в собственном теле, а не просто механически функционировать, запертой в собственном теле, с безмолвным разумом до конца дней. Если я не могу принадлежать даже самой себе, то не достанусь никому». Написав эту предсмертную записку в 2018 году, Кэти Форт покончила с собой. Ей было тридцать семь лет.

Несмотря на то что имя Сискинда в записке Форт не упоминалось, он взял на себя смелость ответить на неё. «Несколько человек в течение нескольких лет говорили мне, что мне ни в коем случае не стоит ходить на мероприятия, на которых присутствует [Форт], потому что у неё была привычка обвинять встречавшихся ей мужчин в сексуальных домогательствах, — написал он спустя три месяца после её смерти. — Все они сходились во мнении, что она делала это не из злого умысла, а просто пребывала в заблуждении... Кэти, очевидно, была глубоко нездоровым человеком. Мне жаль её. Но не так сильно, как тех, кому она причинила боль, поэтому я против того, чтобы делать из неё мученицу».176 Это шокирующий уровень черствости по отношению к самоубийству со стороны Сискинда, профессионального психиатра, однако это вполне согласуется с его публично высказанными взглядами на феминизм, сексизм и сексуальное насилие. В посте 2013 года под названием «Я не понимаю „культуру изнасилования“» Сискинд писал, что утверждения вроде «Люди более склонны винить жертв изнасилования, чем жертв других преступлений» и «Мизогиния в обществе приводит к сексуальной объективации женщин, что скрыто потворствует изнасилованиям или способствует им» кажутся ему «диаметрально неверными».177

И снова это чудовищное поведение, которое, однако, мало кого удивляет: сексизм и сексуальные домогательства процветают в технологической индустрии. Но здесь кроется и жуткая ирония: самым громким голосом в сообществе рационалистов, высказывающим эти глубоко сексистские и расистские утверждения, является именно Сискинд — ведь, несмотря на неэтичность подобных высказываний, Сискинд также выступает ключевой фигурой в эффективном альтруизме. «Я считаю его одним из центральных голосов» в эффективном альтруизме, говорит политолог и философ из Стэнфорда Роб Райх. «Он тот, кто объясняет девятнадцатилетнему или двадцатитрехлетнему новичку, только пришедшему в этот мир: „О, вот как я — или мы — мыслим“... Думаю, многие недооценивают, насколько центральное место он занимает. Я бы сказал, что он фигура как минимум такого же масштаба, как, например, Уилл Макаскилл или Тоби Орд».178

*    *    *

Для Юдковского заявления о том, что рационалисты похожи на секту или что выравнивание ИИ отвлекает внимание от алгоритмической предвзятости, служат лишь доказательством того, что некоторые люди просто не умеют думать. В 2016 году научный журналист Джон Хорган спросил Юдковского, почему Сингулярность — это не просто фантазия, служащая эскапистской ширмой для отвлечения от реальных проблем. «Потому что вы пытаетесь прогнозировать эмпирические факты, занимаясь психоанализом людей. Это никогда не работает, — ответил Юдковский. — Мне кажется, существует неверное представление о природе рациональности. Считается, что рационально верить в „отсутствие гоблинов в шкафу“, потому что вера в гоблинов в шкафу — это глупо, незрело, старомодно и свойственно недалеким людям. Настоящий же принцип состоит в том, чтобы подойти к шкафу и заглянуть внутрь».179 Тем не менее, если заглянуть в шкаф с доказательствами Сингулярности и выравнивания ИИ, обнаружится масса веских причин полагать, что рационалисты ошибаются практически во всём — безотносительно их сходства с сектой. Дело не в том, что рационалисты неправы потому, что похожи на секту; дело в том, что они неправы и они похожи на секту.

«Забавный факт о сообществах рационалистов и эффективного альтруизма заключается в том, что они привлекают множество бывших евангеликов, — пишет Юань. — У них есть эта фишка: они теряют веру, но сохраняют весь механизм чувства вины и греха, ища что-то более... рациональное... за что можно зацепиться».180 Они поклоняются у ног всемогущего бога-ИИ, приход которого уже не за горами — если только первым не явится «неправильный» бог. Мемы рационалистов о безопасности ИИ изображают невыровненные сверхразумы как ужас за пределами нашего понимания, нечто вроде лавкрафтовского чудовища извне времени. Юдковский и другие прямо использовали образ «шоггота» — меняющей форму и «неописуемой» твари из рассказов Говарда Лавкрафта — в качестве метафоры как для больших языковых моделей, так и для будущих сверхразумных сильных ИИ (AGI).181 В этих страхах трудно не увидеть проекцию. В расскасах Лавкрафта часто фигурировали культы; они отражали его собственную глубоко укоренившуюся ксенофобию, расизм и сексизм; и, помимо всего прочего, им был присущ плотский ужас — глубокое отвращение к идее человеческого тела как биологической машины. Нечто от этого ужаса перед плотью есть и во взглядах рационалистов и Юдковского. Как и Курцвейл, они хотят жить вечно. Всё остальное кажется фантазией, сплетенной из этого желания и сопутствующего ему всепоглощающего страха смерти. Умирает именно плоть; именно плоть не может отправиться в космос. Плоть просто недостаточно прочна, чтобы выдержать фантазии о бессмертии и бесконечном росте, которые лелеют рационалисты. А значит, плоть должна быть отброшена, если они хотят сохранить свою фантазию. Человеческое тело — это враг.

Возможно, апокалипсис ИИ в представлении рационалистов — это лишь их собственный всепоглощающий страх личной смерти, спроецированный вовне. (Когда Юдковского спросили об этом, он ответил в своей обычной манере: «Попытки анализировать психологию людей — плохая замена дискуссии по научным вопросам. Я бы возразил, что они, вероятно, анализируют мою психологию из-за глубокого чувства собственной неполноценности перед лицом научных вопросов, что заставляет их цепляться за личные психологические мотивы, чтобы отвлечь внимание от спора, который они на каком-то уровне понимают, что проиграют».)182 В 2023 году подкастер и специалист по компьютерным наукам Лекс Фридман спросил Юдковского, какой жизненный совет он дал бы старшеклассникам и студентам. «Не рассчитывайте на долгую жизнь, — ответил Юдковский. — Не откладывайте свое счастье на будущее. Будущее на данный момент, скорее всего, не такое уж и долгое. Но никто не знает ни дня, ни часа».183 В своей авторской колонке для Time в том же году Юдковский призывал рискнуть ядерной войной, чтобы избежать малейшего шанса на появление невыровненного сильного ИИ. Когда ты стоишь лицом к лицу с апокалипсисом, который видишь только ты, всё становится предельно просто — ничто другое уже не может иметь значения. Юдковский годами следовал этой логике. В 2010 году, когда его попросили дать совет, как спасти человечество, Юдковский сказал: «Найдите то, что у вас получается лучше всего; если это создание новой математики для искусственного интеллекта, то приходите работать в Институт Сингулярности. Если лучше всего у вас получается инвестиционный банкинг, то идите работать на Уолл-стрит и переводите Институту Сингулярности столько денег, сколько позволят вам ваши разум и воля, где другие люди найдут им применение».184

Это перекликается с философией Уилла Макаскилла «зарабатывай, чтобы отдавать», логику которой он успешно внушил Сэму Бэнкману-Фриду. Эффективные альтруисты и лонгтермисты выросли из одной и той же трансгуманистической среды примерно в одно и то же время; журналист Том Чиверс называет эти два движения «сиамскими близнецами».185 Бостром перенес аргументы Юдковского о выравнивании ИИ в профессиональную философию; последователи Макаскилла и Орда часто являются читателями LessWrong и HPMOR. У этих двух групп общая культура. И эффективные альтруисты принесли эту культуру с собой, проникнув в коридоры власти за пределами пузыря Кремниевой долины. Они принесли озабоченность выравниванием ИИ в залы Оксфорда и Кембриджа; они консультируют глав государств в США и Великобритании; они прибирают к рукам аналитические центры в самом сердце военно-промышленного комплекса. Часть их успеха, вероятно, объясняется имиджем: эффективные альтруисты кажутся менее эксцентричными, чем рационалисты. Но это лишь иллюзия. «Из-за этих людей чувствуешь себя сторонником теории заговора. Это звучит нелепо, — говорит Гебру. — Вся их затея настолько абсурдна, что люди просто не хотят в неё верить».186 Но если заглянуть глубже, то эффективные альтруисты оказываются, пожалуй, еще более странными, чем апокалиптические лихорадочные бредни Юдковского.

Сноска i Это не значит, что большие языковые модели бесполезны. У них определенно есть области применения — например, составление простых электронных писем, написание первичных набросков программного кода и, возможно, помощь в некоторых видах научных исследований, таких как разработка лекарств. Просто вариантов их применения далеко не так много, как может показаться, вопреки всем раздутым заявлениям.