Рэй Курцвейл практически уверен, что его отец не останется мертвым навсегда. «У меня дома хранится пятьдесят коробок с его вещами: письма, ноты, счета и докторская диссертация», — рассказывает Курцвейл, изобретатель, писатель и футурист. Его план по воскрешению родителя включает загрузку этих документов в компьютер наряду с более осязаемыми источниками информации об отце. «Мы можем найти образцы его ДНК на месте захоронения, — говорит Курцвейл. — ИИ отправит туда наноботов, добудет фрагменты костей или зубов, извлечет ДНК и соберет все воедино. Затем они соберут информацию из моего мозга и мозга любого другого человека, который его еще помнит... [Они] просто запустят наноботов в мой мозг и реконструируют мои воспоминания».1 Вооружившись всеми этими данными, ИИ создаст программу, способную воспроизвести поведение отца Курцвейла: она будет реагировать на новые ситуации так же, как реагировал бы он, и даже сможет вести беседу. «Я смогу разговаривать с этой воссозданной копией... В конечном счете она окажется настолько реалистичной, что это будет все равно что говорить с моим отцом», — утверждает Курцвейл. «С философской точки зрения, конечно, можно возразить, что это не ваш отец, — продолжает он, — но я могу убедительно доказать, что эта копия будет даже больше похожа на моего отца, чем сам отец, если бы он продолжал жить».2

Курцвейл, которому уже за семьдесят, говорит с размеренным и слегка хрипловатым нью-йоркским акцентом, произнося свои удивительные заявления на редкость будничным тоном. Однако за этими заявлениями стоит глубокий и обширный технологический опыт: за свою долгую карьеру Курцвейл был зарегистрирован в качестве изобретателя в десятках патентов. Диапазон его изобретений простирается от новых видов электронных синтезаторов и раннего программного обеспечения для распознавания текста до вспомогательных устройств для незрячих. С компьютерами он начал работать еще в 1960 году, в возрасте двенадцати лет, когда собрал «компьютероподобное устройство» для научной выставки в своей средней школе, после чего перешел на мейнфреймы IBM и программирование на Фортране с помощью своего дяди, инженера из Bell Labs.3 Он часто обсуждал свои идеи с отцом — дирижером и музыкальным педагогом, который получил докторскую степень по музыковедению в Венском университете, а в 1938 году бежал из Австрии, спасаясь от нацистов.4 «Мы много говорили о природе музыки и математической структуре, а также о том, что компьютеры и музыка имеют естественное родство», — рассказывал Курцвейл журналу Rolling Stone в 2009 году. «Он говорил: „Когда-нибудь ты займешься созданием синтетической музыки с помощью компьютеров“. Он понимал, что со временем компьютеры смогут справляться с этим лучше». Но в 1970 году, когда Курцвейлу было двадцать два года — в тот самый год, когда он окончил MIT, — его отец скончался от сердечного приступа в возрасте пятидесяти семи лет. Оплакивая отца, Курцвейл после колледжа некоторое время размышлял о способе вернуть мертвых к жизни, подходя к этой древней теме с инженерной точки зрения. «Человек — это файл разума. Человек — это программное обеспечение, очень сложное, и у нас нет резервной копии. Поэтому, когда наше «железо» умирает, наше программное обеспечение погибает вместе с ним, — сказал он Rolling Stone. — Я сделал преодоление смерти своей личной целью... И мой самый сильный личный опыт столкновения со смертью — это трагедия».5

Эта трагедия, по словам Курцвейла, послужила первоначальным толчком к его интересу к исследованию возможностей, которые принесут технологии ближайшего будущего, — исследованию, которое привело его к твердой уверенности в том, что его отец скоро вернется. Но никто не знает, как извлекать воспоминания из живого человеческого мозга, равно как никто не знает, как создать ИИ, способный синтезировать всю эту информацию и выдать чат-бота, идеально имитирующего общение с уже умершим человеком. Тем не менее за плечами Курцвейла немало точных прогнозов о будущем технологий, особенно в области ИИ. В 1990 году он заявил, что к 2000 году компьютер обыграет человека в шахматы; это произошло в 1997-м.6 А в 1999 году он точно предсказал, что к 2009 году беспилотные летательные аппараты станут привычным явлением в военных конфликтах. Билл Гейтс однажды заметил, что никто не умеет предсказывать будущее искусственного интеллекта лучше Курцвейла.7 В 2010 году Курцвейл оценил точность собственных прогнозов в 86 процентов (хотя некоторые независимые оценки были гораздо ниже). Возможно, этим объясняется его спокойная уверенность в своих предсказаниях, даже когда они кажутся совершенно немыслимыми.8 И его прогнозы на ближайшие двадцать лет уж точно нельзя назвать заурядными. Он неоднократно утверждал, что к 2029 году ИИ сможет «делать все то же, что способен делать любой человек».9 К 2045 году, по его словам, «мы увеличим наш эффективный интеллект в миллиард раз, слившись с созданным нами интеллектом» — это событие Курцвейл и другие называют «Сингулярностью».10

Свое название Сингулярность получила по аналогии с точкой, в которой математическая функция теряет смысл — обычно из-за того, что устремляется в бесконечность. В данном же случае такой функцией является сам темп прогресса. В частности, Курцвейл утверждает, что существует «закон ускоряющейся отдачи» — экспоненциальный тренд в технологическом прогрессе, доказывающий, что Сингулярность не просто вероятна, а неизбежна и наступит уже скоро. «Люди интуитивно полагают, что нынешние темпы прогресса сохранятся и в будущем. Даже у тех, кто прожил достаточно долго, чтобы заметить, как со временем ускоряется темп перемен, неосмысленная интуиция создает впечатление, будто изменения происходят с той же скоростью, которую мы наблюдали в последнее время», — пишет он. «Но серьезный анализ истории технологий показывает, что технологические изменения носят экспоненциальный характер».11 Эти экспоненциальные изменения, по его словам, радикально преобразят человеческую жизнь, изменив ее до неузнаваемости, причем произойдет это в самом ближайшем будущем. Отсюда и название одной из книг Курцвейла: «Сингулярность близко».

«В XXI веке мы переживем не 100 лет прогресса — это будет скорее 20 000 лет прогресса», — утверждает Курцвейл.12 После Сингулярности наше нынешнее общество станет далеким воспоминанием, каким для нас сегодня являются доземледельческие общества людей ледникового периода. Не будет ни бедности, ни болезней, ни нужды; все человеческие желания будут мгновенно удовлетворяться повсеместными и почти всемогущими машинами, улучшающими нашу жизнь и нас самих. «Мы станем остроумнее, мы будем лучше разбираться в музыке. Мы станем сексуальнее, — говорит Курцвейл. — Мы действительно воплотим в себе в гораздо большей степени все то, что мы ценим в людях».13 И любой из нас, кто доживет до того времени, будет «жить столько, сколько захочет», писал Курцвейл в «Сингулярности близко».14 В 2009 году он утверждал, что к 2024 году технологии разовьются настолько, что позволят омолодить его до биологического возраста сорока лет; судя по всему, этот план не сработал.15 (Я и сам надеялся расспросить его об этом, но он отказался от интервью для этой книги.) Но это его не обескуражило. «Мы приближаемся к моменту, когда достигнем „скорости убегания“ от старости», — заявил он на фестивале South by Southwest в 2024 году. «К 2029 году, если вы будете стараться, за каждый прожитый год вы будете тратить год своего долголетия, но при этом получать назад целый год, а после 2029 года — возвращать даже больше года. Так что фактически вы будете двигаться во времени вспять [то есть молодеть с течением времени]». На вопрос, проживет ли кто-нибудь из присутствующих в зале пятьсот лет, он ответил без колебаний: «Безусловно. Я имею в виду, если вы собираетесь прожить еще пять лет — а я полагаю, что все вы проживете еще пять лет», — сказал он.16 И даже если сам Курцвейл не доживет до 2029 года, он все равно настроен довольно оптимистично относительно своих перспектив обрести бессмертие. Смерть до этого момента «стала бы досадной помехой», признает он. Но в этом худшем случае, по его словам, он просто оставит инструкции роботам эпохи постсингулярности, чтобы те разобрали его вещи и просканировали его замороженный труп — вернув к жизни версию его самого, совсем как его отца.17

*    *    *

Чтобы в точности понять, почему Рэй Курцвейл уверен, что сможет воскресить своего отца, и почему любой, кто будет жив в 2029 году, проживет как минимум до 2529 года — и вообще чтобы понять, что такое Сингулярность, — необходимо внимательно разобраться, что именно Курцвейл имел в виду под линейным и экспоненциальным ростом. Нечто растет линейно, когда к нему раз за разом прибавляется одна и та же фиксированная величина. Зарабатывайте по доллару в день, и общая сумма ваших доходов будет увеличиваться на 1 доллар каждый раз: 1, 2, 3 доллара и так далее. Что крайне важно, при линейном росте не имеет значения, сколько у вас уже есть: на десятый день вы все так же получаете лишь 1 доллар, и ваш баланс увеличивается с 9 до 10 долларов. С экспоненциальным ростом все иначе. Здесь вместо прибавления постоянной величины вы умножаете на нее, увеличивая общую сумму на фиксированный процент от того, что у вас уже есть, а не просто добавляя постоянное число. Вместо того чтобы получать по доллару в день, вы в первый день кладете один доллар на счет под 100 процентов в день, что ежедневно удваивает ваши деньги. И вот теперь то, сколько у вас уже скопилось, имеет огромное значение. На второй день вы получаете всего один дополнительный доллар. Но на следующий день — уже два доллара, а еще через день — четыре. При экспоненциальном росте наличие большего объема ведет к получению еще большего, а это, в свою очередь, приносит еще больше. Сложные проценты приводят к тому, что экспоненциальный рост в кратчайшие сроки может стать поразительно быстрым. После третьего дня на вашем банковском счете лежит 4 доллара, тогда как у вашего друга, выбравшего линейный путь, — всего 3 доллара; вы ушли вперед совсем ненамного. Но уже после одиннадцатого дня у вашего друга будет всего 11 долларов, тогда как у вас на счету окажется более 1000 долларов. В конце месяца, на тридцать первый день, у вашего друга будет 31 доллар, в то время как вы только что стали миллиардером. К концу же следующего месяца у вас будет более 1 квинтиллиона долларов — сумма, более чем в пять тысяч раз превышающая весь мировой ВВП за 2021 год.

По мнению Курцвейла, технологии работают точно так же. Пожалуй, самым известным примером экспоненциального тренда в технологиях является закон Мура, названный в честь первопроходца в производстве микрочипов и сооснователя корпорации Intel Гордона Мура. В 1965 году Мур сделал свое знаменитое наблюдение: число транзисторов, которые можно разместить на кремниевой пластине, удваивается каждый год. Десять лет спустя он скорректировал свой прогноз, заявив об удвоении каждые два года; как вскоре отметили другие специалисты, из этого следовало, что быстродействие самых передовых компьютерных чипов (состоящих из кремниевых пластин, заполненных транзисторами) будет удваиваться примерно каждые восемнадцать месяцев. Эта тенденция сохранялась на протяжении десятилетий после заявления Мура, вплоть до конца XX века.18

Для Курцвейла это проявление более общего свойства человеческих технологий. «Технология, как и любой эволюционный процесс, опирается на собственные достижения», — пишет он. «Сегодня люди работают со все более совершенными технологиями, создавая новые поколения технологий».19 Поскольку наши инструменты позволяют нам создавать более совершенные инструменты, которые, в свою очередь, дают возможность делать инструменты еще лучше, Курцвейл считает логичным, что технологический прогресс растет по экспоненте. Тысячи лет назад появление гончарных печей сделало возможным плавку руды, что привело к возникновению металлургии, благодаря которой бронза, а затем и сталь в конечном счете вытеснили камень из орудий труда и оружия. В более близкие к нам времена все более мощные компьютеры облегчили проектирование практически чего угодно — включая новые поколения самих компьютеров. Отсюда и сформулированный Курцвейлом закон ускоряющейся отдачи, который он считает фундаментальной характеристикой человеческих технологий.

Для Курцвейла это не просто теоретический аргумент. Он собрал воедино важнейшие технологические вехи в истории человечества и обнаружил, что они сменяют друг друга все быстрее и быстрее, следуя экспоненциальному тренду. Потребовалось пять тысяч лет, чтобы пройти путь от конной повозки до автомобиля, но менее века, чтобы пройти путь от автомобиля до высадки человека на Луну; между почтовыми голубями и телеграфом прошло не менее двух тысяч лет, но всего около 130 лет разделили появление телеграфа и зарождение интернета.

Курцвейл также не считает, что закон ускоряющейся отдачи ограничивается исключительно технологиями. По его мнению, экспоненциальные тренды можно проследить и в глубоком эволюционном прошлом. «Экспоненциальный рост — это свойство любого эволюционного процесса», — пишет он.20 «Эволюции форм жизни потребовались миллиарды лет для совершения первых шагов (первобытные клетки, ДНК), а затем прогресс ускорился. Во время кембрийского взрыва крупные сдвиги парадигмы занимали всего десятки миллионов лет. Позже гуманоиды развивались в течение миллионов лет, а Homo sapiens — на протяжении всего сотен тысяч лет».21 (См. Рисунок 2.1.) И, по словам Курцвейла, он не единственный, кто это замечает. Он обнаружил ту же тенденцию, сопоставив ключевые вехи, выделенные в пятнадцати различных источниках по истории жизни, Вселенной и технологий.22 Наши технологии, согласно Курцвейлу, — лишь продолжение экспоненциального тренда, который начался миллиарды лет назад с появлением на Земле первых самовоспроизводящихся молекул.23

Рисунок 2.1: Заявленный Курцвейлом экспоненциальный тренд в эволюционной и технологической истории. На самом деле на графике в логарифмическом масштабе показан линейный обратный отсчет до настоящего момента, а не экспоненциальный тренд.

Следующим шагом в рамках этого тренда является искусственный интеллект. Под этим Курцвейл понимает вовсе не существующие системы ИИ и алгоритмы машинного обучения (МО). Он имеет в виду нечто гораздо более мощное — и глубокое. Курцвейл называет это «сильным» искусственным интеллектом или «общим искусственным интеллектом» (AGI), который он определяет как «искусственный интеллект, превосходящий человеческий».24 Это определение выглядит более чем расплывчатым, но Курцвейла это не смущает. Как только людям удастся создать AGI, утверждает Курцвейл, мы сможем запускать его на скоростях, значительно превышающих скорость человеческого мышления, что позволит ему решать сложные интеллектуальные задачи гораздо быстрее, чем это под силу человеку.

Одной из таких задач, естественно, станет проектирование следующего AGI. Именно в этом механизме Курцвейл и другие «сингуляристы» видят путь к воплощению Сингулярности. Предположим, что на создание первого AGI силами людей ушло тридцать лет. Создание еще более совершенного и умного ИИ могло бы занять у тех же людей скорее лет шестьдесят. Но имея под рукой готовый AGI, ускорить этот процесс не составит труда: достаточно поручить проектирование самому AGI и предоставить ему колоссальные вычислительные ресурсы. Тогда этот первый AGI сможет всего за год или даже за несколько дней проделать работу, на которую у людей ушло бы шестьдесят лет. А как только будет построен этот более умный AGI, он сможет еще быстрее спроектировать версию, превосходящую его самого, а та сделает то же самое — и так далее, что приведет к внезапному, лавинообразному росту (экспоненциальному или даже более стремительному) интеллектуальных способностей AGI. Таким образом, первый AGI, созданный людьми, может оказаться и последним: все последующие, спроектированные и построенные сменяющими друг друга поколениями машин со все возрастающей скоростью, быстро вознесутся на непостижимые высоты сверхинтеллектуальной мысли, превосходя наши способности в той же мере, в какой мы превосходим муравьев или бактерий. «Как только компьютер достигнет человеческого уровня интеллекта, он неизбежно взлетит далеко за его пределы», — пишет Курцвейл.25 «Этот цикл итеративного совершенствования машинным интеллектом собственной конструкции будет становиться все быстрее и быстрее».26 Когда это произойдет, по его словам, мы окажемся безнадежно позади — если только не присоединимся к этому процессу. Сингулярность «станет результатом слияния колоссального объема знаний, заложенных в нашем собственном мозге, с гораздо более широкими возможностями, скоростью и способностью обмениваться знаниями, присущими нашим технологиям», — пишет Курцвейл. «[Это] позволит нашей человеко-машинной цивилизации преодолеть ограничения человеческого мозга с его жалкими ста триллионами крайне медленных соединений… Сливаясь с нашими технологиями, мы станем неизмеримо умнее».27 И поскольку закон ускоряющейся отдачи продолжит приумножать вычислительные мощности человечества, «в конечном счете небиологическая часть нашего интеллекта станет преобладающей».28

Далее Курцвейл указывает, что в этом нет ничего принципиально нового. Мы уже живем в тесной связи с нашими технологиями. Телефоны уютно устроились в наших карманах, часы закреплены на запястьях, во многих сердцах работают кардиостимуляторы, а все более совершенные протезы заменяют утраченные конечности. Для Курцвейла слияние нашего мозга с машинами — это просто очередной шаг в рамках тенденции, которая зародилась давным-давно с появлением колеса, рычага и огня. А после наступления Сингулярности, по его словам, наша человеко-машинная цивилизация перейдет к финальному шагу на этом пути, исполняя наше высшее предназначение: изменению структуры самой Вселенной.

*    *    *

В 1962 году под названием «Ученый рассуждает: антология недопеченных идей» вышел в свет своеобразный небольшой сборник эссе. «Недопеченная идея, или НПИ, — это либо гипотеза, либо некий новый вопрос, либо предложение провести оригинальный эксперимент, либо многообещающая аналогия, либо (в редких случаях) классификация», — писал составитель сборника И. Дж. «Джек» Гуд в первом эссе книги. «"Пропеченность" идеи следует оценивать по ее потенциальной ценности, вероятности довести ее до полной готовности, ее оригинальности, увлекательности, способности будоражить мысль, лаконичности, ясности и живости. Зачастую лучше будоражить умы и ошибаться, чем быть скучным и правым».29 Всю остальную часть книги составляют более 120 коротких эссе с названиями вроде «Намеренные очепятки», «Роботизированный крокет», «Подмигивание компьютерам», «Прекогниция и обратная причинность» и «Теория, в которую невозможно поверить, будь она правдой» — первое и последнее из них были написаны самим Гудом, который называл себя «главным зачинщиком» этой книги.30 Среди других авторов были выдающиеся ученые (Юджин Вигнер, Майкл Полани, Джон Мейнард Смит), писатели (Артур Кёстлер, Айзек Азимов, Артур Кларк), как минимум один известный чудак (Герберт Дингл) и несколько человек, пожелавших остаться неизвестными. Одно или два эссе впоследствии стали классикой в своих областях, большинство же остальных были быстро забыты.31

К моменту публикации этой книги Гуд работал с вычислительными машинами уже двадцать лет. Во время Второй мировой войны молодой Гуд, только что защитив докторскую диссертацию по математике в Кембридже, присоединился к группе дешифровщиков в Блетчли-парке. Вскоре после его прибытия руководитель группы Алан Тьюринг застукал Гуда дремлющим на рабочем месте вместо того, чтобы расшифровывать нацистские коды. Однако Гуд быстро завоевал расположение Тьюринга, решив задачу по дешифровке, с которой сам Тьюринг никак не мог справиться. «Мне казалось, я это уже пробовал», — смущенно сказал Тьюринг Гуду после его успеха.32

После войны Гуд метался между академическими кругами, правительственными ведомствами и аналитическими центрами, пока спустя несколько лет после публикации сборника «Ученый рассуждает» наконец не обосновался в Виргинском политехническом институте, где и оставался до конца своей долгой жизни. Но на протяжении всей своей карьеры Гуд живо интересовался возможностями, которые компьютеры — и в особенности искусственный интеллект — могли открыть для человечества. В рецензии на книгу, написанной в 1951 году, он высказал идею о том, что самостоятельно мыслящая «сверхчеловеческая» машина могла бы стать «современным оракулом». «Граница, отделяющая машину, которая интеллектуально уступает человеку, от машины, превосходящей его, вероятно, будет пройдена, когда машина сможет программировать сама себя», — писал он.33 Он возвращался к этой теме несколько раз на протяжении многих лет, в том числе в одной из своих многочисленных заметок в сборнике «Ученый рассуждает» под названием «Социальные последствия искусственного интеллекта», где писал, что как только будет создан компьютер, способный самостоятельно спроектировать более совершенную машину, «в науке, несомненно, произойдет взрывной рост». Он даже предсказал, когда именно, по его мнению, это произойдет: он утверждал, что это случится, скорее всего, к 1978 году и обойдется примерно в 500 миллионов долларов (плюс-минус порядок величины). Гуд назвал это «дешевой ценой».34 Эту идею он развил в более подробной статье 1965 года «Размышления о первой сверхинтеллектуальной машине»:

Выживание человека зависит от скорейшего создания сверхинтеллектуальной машины… Под сверхинтеллектуальной машиной будем понимать машину, которая способна далеко превзойти любую интеллектуальную деятельность любого человека, насколько бы умен он ни был. Поскольку проектирование машин относится к подобной интеллектуальной деятельности, сверхинтеллектуальная машина могла бы создавать еще более совершенные машины; тогда, несомненно, произошел бы «интеллектуальный взрыв», а разум человека остался бы далеко позади. Таким образом, первая сверхинтеллектуальная машина — это последнее изобретение, которое человеку когда-либо понадобится сделать, при условии, что эта машина окажется достаточно покладистой, чтобы подсказать нам, как держать ее под контролем.35

Гуд был не единственным, кому пришла в голову эта мысль. Концепцию сверхинтеллектуальной машины обдумывал и его бывший начальник Тьюринг, а также пионеры в области ИИ Рэй Соломонофф и Марвин Минский (последний также написал два эссе для сборника «Ученый рассуждает», а позже стал наставником молодого студента Массачусетского технологического института по имени Рэй Курцвейл). В более широком смысле концепцию технологического ускорения, ведущего к сингулярности, как принято считать, сформулировал легендарный математик и физик Джон фон Нейман. Фон Нейман работал с первыми вычислительными машинами в рамках Манхэттенского проекта и создал базовую архитектуру, которую все электронные компьютеры используют и по сей день. Он также написал один из первых современных трудов о самовоспроизводящихся машинах. После безвременной кончины фон Неймана в 1957 году в возрасте пятидесяти трех лет его друг Станислав Улам — тоже известный математик и физик — написал подробный некролог. «Беседы фон Неймана с друзьями на научные темы могли длиться часами», — писал Улам. «Один из разговоров коснулся все более ускоряющегося прогресса технологий и изменений в укладе человеческой жизни, что создает впечатление приближения к некой важнейшей сингулярности в истории человечества, за пределами которой жизнь людей в привычном нам понимании продолжаться уже не сможет».36

Сам фон Нейман никогда не писал об этой идее. Но спустя десятилетия после его смерти Вернор Виндж подхватил эту концепцию — и само название «сингулярность» — и дал ей ход. По образованию Виндж был специалистом по компьютерным наукам и математиком, но наибольшую известность ему принесли научно-фантастические романы, особенно удостоенные премии «Хьюго» книга «Пламя над бездной» и ее приквел «Глубина в небе». Однако концепцию Сингулярности читателям своей художественной прозы Виндж впервые представил в более раннем романе — «Брошенные в реальном времени», опубликованном в 1986 году.37 В «Брошенных» Виндж использовал цивилизацию после Сингулярности в качестве сюжетного приема: герои просыпаются в далеком будущем после пребывания в анабиозе и обнаруживают, что человеческая цивилизация, по-видимому, исчезла или перешла на новый уровень существования, причем наиболее вероятной причиной этого называют технологическую Сингулярность. В любопытном послесловии к книге Виндж пояснил, что считает это не просто художественным вымыслом. По мере приближения 2000 года, писал он, это было «ироничной случайностью календаря, что весь этот религиозный интерес к трансцендентным событиям смешался с объективными доказательствами того, что мы скатываемся в технологическую сингулярность… Именно вы, а не Делла и Уил [главные герои «Брошенных»], поймете, что такое Сингулярность, единственно возможным способом — прожив ее».38 Развивая эти идеи в статье 1993 года под названием «Грядущая технологическая сингулярность», Виндж сослался на фон Неймана и особенно на Гуда как на своих предшественников. «Я верю, что создание интеллекта, превосходящего человеческий, произойдет в ближайшие тридцать лет», — писал Виндж, повторяя тот же аргумент, который Курцвейл приведет более чем через десять лет в книге «Сингулярность уже близко».

Когда прогресс будет направляться интеллектом, превосходящим человеческий, этот прогресс станет намного более стремительным. На самом деле нет причин, по которым сам этот прогресс не включал бы в себя создание еще более разумных сущностей — в еще более сжатые сроки… С человеческой точки зрения это изменение будет означать отказ от всех прежних правил, возможно, в мгновение ока, экспоненциальный разгон, не оставляющий никаких надежд на контроль. События, которые раньше, как считалось, могли произойти лишь через «миллион лет» (если вообще когда-либо), скорее всего, произойдут в следующем веке.39

Виндж в основном неохотно строил догадки о деталях технологий или цивилизации после Сингулярности. «Когда меня начинают настойчиво расспрашивать о том, на что будет похожа Сингулярность, — говорил он, — моим самым частым ответом-убежищем становится: „Как вы думаете, почему я назвал ее Сингулярностью?“»40

Тем не менее перспектива технологического апофеоза цивилизации отлично вписывалась в идеологический фундамент футурологических групп, которые уже вовсю роились в Кремниевой долине в 1980-х и 1990-х годах — и они в большинстве своем не разделяли нежелания Винджа рассуждать о том, что может принести Сингулярность. «Мы видим, что эта потребность в трансцендентности глубоко заложена в человечестве», — говорил футурист Макс Мор в 1994 году. — «Похоже, нам изначально присуще желание выйти за рамки того, что мы считаем своими границами. В прошлом у нас не было для этого технологий, и прямо сейчас мы переживаем трудный период, когда у нас еще нет необходимых технологий, но мы уже видим их приближение… Мне нравится быть человеком, но я этим не удовлетворен».41 Мор (урожденный Макс О’Коннор) был одним из основателей «экстропианского» движения, названного так «в качестве метафорической противоположности» энтропии — физической меры беспорядка и распада, которую экстропианцы объявили «главным врагом человеческой надежды».42 Мор вместе с Томом Морроу (урожденным Томом Беллом) в 1988 году начали выпускать журнал Extropy (первоначально выходивший с подзаголовком «Вакцина от футурошока»). В первом выпуске заявлялось, что журнал будет освещать такие темы, как «искусственный интеллект, когнитивные науки и нейробиология, технологии повышения интеллекта, продление жизни, крионика и биостаз, нанотехнологии, спонтанные порядки, колонизация космоса, экономика и политика (особенно либертарианская), научная фантастика и обзоры на нее, разумное использование психохимикатов, экстропийная психология, майндфак, экстропийные моральные и аморальные теории, экстропийные научные разработки, меметика и эстетика».43

В 1992 году Мор и Морроу также основали Институт экстропии, что в короткие сроки привело к созданию чего-то гораздо более влиятельного, нежели их журнал: списка рассылки по электронной почте для экстропианцев. «В середине девяностых многие впервые познакомились с трансгуманистическими взглядами благодаря списку рассылки Института экстропии», — писал философ Ник Бостром в 2005 году.44 Сам Бостром был одним из таких людей и проявлял большую активность в этой рассылке в 1990-х годах, будучи аспирантом по философии. В 1998 году Бостром стал сооснователем Всемирной трансгуманистической ассоциации — организации, посвятившей себя изучению «возможности изменения человеческой природы, включая такие параметры, как неизбежность старения, ограничения человеческого и искусственного интеллекта, невыбранные особенности психики, страдания и наша привязанность к планете Земля», как гласила Трансгуманистическая декларация группы. «При планировании будущего необходимо принимать во внимание перспективу колоссального прогресса технологических возможностей», — продолжали они, вторя Винджу. — «Нам нужно создавать площадки, где люди смогут рационально обсуждать, что необходимо сделать, и социальный порядок, при котором ответственные решения смогут претворяться в жизнь».45

Большинство этих дискуссий проходило в интернете, но устраивались также экстропианские вечеринки, конференции и существовала как минимум одна студенческая организация в Массачусетском технологическом институте.46 Об экстропианцах и их интеллектуальных единомышленниках писали в таких журналах, как Wired, и в нескольких книгах.47 К концу 1990-х годов экстропианцы и трансгуманисты, такие как Ханс Моравек и Рэй Курцвейл, опубликовали собственные научно-популярные книги, в которых подробно описывали скорое появление ОИИ и других преобразующих технологий на фоне якобы надвигающейся Сингулярности.48 Курцвейл даже процитировал «Принципы экстропии» Мора в своей книге «Сингулярность уже близко».49

Но, как отметил Виндж в своей статье 1993 года, идея Сингулярности произвела куда более мощный и стремительный эффект в научной фантастике. Там, по его утверждению, ее предвосхищали на протяжении десятилетий. «Писатели [фантасты] все острее ощущали непроницаемую стену, преграждающую будущее. Когда-то они могли переносить подобные фантазии на миллионы лет вперед», — писал он. — «Теперь же они увидели, что их самые усердные экстраполяции привели к непостижимому... причем в самом ближайшем будущем».50 Всего несколько лет спустя Сингулярность стала общим местом в научно-фантастических романах с такими названиями, как «Акселерандо», «Небо сингулярности» и «Эксцессия». «Мир, в котором мы живем, — это мир, приговоренный к Сингулярности», — писал в 2003 году фантаст Кен Маклауд.51 К тому времени Сингулярность настолько прочно укоренилась в научной фантастике, что, как выразилась писательница и критик Джо Уолтон, «большей части современной фантастики приходится называть себя "постсингулярной" и пытаться писать о людях, которые по определению находятся за пределами нашего понимания, или же объяснять, почему Сингулярность так и не наступила».52 Писатель Чарльз Стросс был несколько менее деликатен. Сингулярность, заявил он в 2006 году, — это «дерьмо в чаше с пуншем для НФ ближнего прицела. Вы можете вежливо притворяться, что его там нет, но считаться с этим приходится каждому».53

Так Сингулярность вернулась в свой родной дом.54 В 1950 году, за год до того, как Гуд впервые написал о «сверхчеловеческой» машине, самостоятельно занимающейся своим программированием, журнал Astounding Science Fiction опубликовал рассказ звезды этого жанра — некоего Айзека Азимова. Рассказ под названием «Разрешимое противоречие» переносит нас в 2052 год. В нем описывается встреча Сьюзен Кэлвин, эксперта по робототехнике — слова, которое сам Азимов придумал в одном из своих рассказов несколькими годами ранее, — и Стивена Байерли, координатора мирового правительства. Однако Байерли обладает меньшей властью, чем предполагает его должность, поскольку миром фактически управляют огромные «Машины» — бесплотные роботизированные «позитронные мозги», которые диктуют наилучшие варианты действий практически во всех сферах экономической, научной и политической деятельности. Несмотря на предполагаемую непогрешимость Машин, Байерли замечает странные несоответствия в мировой экономике. Но он знает, что Машины не могут делать это намеренно, поскольку они, как и все роботы, запрограммированы подчиняться Трем законам робототехники, первый из которых гласит, что ни один робот ни при каких обстоятельствах не может причинить вред человеку. Поэтому, рассказывает Байерли Кэлвин, первым делом он попросил техников, отвечающих за Машины, провести их диагностику, чтобы убедиться, что они работают как надо. К своему удивлению, он обнаруживает, что это невозможно, поскольку Машины стали слишком сложными для понимания любого человека: «Группа математиков в течение нескольких лет рассчитывает позитронный мозг, способный производить аналогичные расчеты. С помощью этого мозга они делают дальнейшие расчеты, чтобы создать еще более сложный мозг, который они снова используют для создания еще более сложного, и так далее... То, что мы называем Машинами, — результат десяти таких ступеней».55 Сингулярность avant la lettre — еще до появления самого термина.

В то время эта идея даже не была новой для научной фантастики. Азимов вторил рассказу Джона В. Кэмпбелла-младшего «Последняя эволюция», написанному в 1932 году.56 Позже Кэмпбелл редактировал рассказы Азимова о роботах в журнале Astounding Science Fiction, и Азимов говорил, что тот стал «крестным отцом роботов».57 Но хотя в рассказе Кэмпбелла и содержалась та же идея о компьютерах, проектирующих более совершенные компьютеры, в произведении Азимова также четко сформулирована глубинная мотивация Сингулярности. Как выясняется в конце «Разрешимого противоречия», вопреки сомнениям Байерли, Машины непогрешимы. Решение его загадки кроется лишь в том, что Машины определили: некоторые люди пытаются помешать их правлению. Вследствие этого они предприняли шаги, чтобы аккуратно убрать этих людей с дороги, не причиняя им вреда и не нарушая жизнь общества в целом. «Машина направляет наше будущее за нас, и не просто в виде ответов на наши прямые вопросы, но и в качестве общего ответа на ситуацию в мире и на человеческую психологию в целом», — говорит Кэлвин Байерли. — «Машина не может, она не должна делать нас несчастными».58 Алгоритмически гарантированная утопия. Точно так же и сверхразумные благодетельные машины Сингулярности якобы сведут многообразные трудноразрешимые проблемы политики, экономики и социологии к одной лишь задаче достаточно умного программирования для достаточно мощного компьютера. В этом и кроется истинная притягательность современной идеи Сингулярности: соблазнительное обещание подогнать все вопросы, потребности и желания под единое прокрустово решение в виде кода и вычислений.

*    *    *

В первые недели 2020 года мне попался на глаза тревожный график, изображавший то, что, вне всяких сомнений, было экспоненциальным ростом. График был прикреплен к твиту — части ветки обсуждения нового коронавируса COVID-19, на которую я случайно наткнулся. Уровень заболеваемости в Соединенных Штатах в то время был еще очень низким, сообщалось лишь о единичных случаях. Но этот твит указывал на то, что, хотя случаев пока немного, ситуация вот-воз стремительно изменится: если пустить все на самотек, к концу марта число заболевших в США вырастет до сотен тысяч. Я встревожился и тут же принялся искать причины, по которым это утверждение могло быть ошибочным. Мне не удалось найти никаких очевидных изъянов в утверждениях анонимного автора твита. Однако на первый взгляд казалось крайне маловероятным, что они могут оказаться правдой. Если бы они были правы, все должно было измениться быстро и непредсказуемо, но при этом не наблюдалось никаких явных предвестников грядущих перемен. Как они могли быть правы? Теряясь в догадках, я вернулся к своим повседневным делам, терзаемый новыми сомнениями и пытаясь понять: беспокоюсь ли я о чем-то реальном или меня просто напугал мираж, созданный случайным пользователем интернета? Несколько недель спустя я получил ответ.

Возникает соблазн просто с порога отвергнуть утверждения Курцвейла. Они кажутся слишком дикими, слишком неправдоподобными, чтобы принимать их всерьез. Если грядут столь масштабные перемены, должны быть хоть какие-то признаки — нечто, предвещающее, что мы стоим на пороге колоссального сдвига, стремительного и непредсказуемого, во всех сферах человеческого общества. Как он может быть прав? Но в одном Курцвейл безусловно прав: людям трудно осознать и принять саму возможность экспоненциального роста, даже когда они прекрасно знакомы с этим понятием, как был знаком я в начале 2020 года. «Почти все, кого я встречаю, смотрят на будущее линейно», — пишет он. — «Вот почему люди склонны переоценивать то, чего можно достичь в краткосрочной перспективе (поскольку мы упускаем из виду необходимые детали), но недооценивать то, чего можно достичь в долгосрочной (поскольку экспоненциальный рост игнорируется)».59

Так что от идей Курцвейла нельзя просто отшутиться. Он не сумасшедший и не глупец. И он далеко не одинок. Сегодня Сингулярность — это не просто то, что воспринимают всерьез маргинальные группы вроде экстропийцев. Книги Курцвейла становились бестселлерами. Его видение Сингулярности привело его на страницы таких крупных журналов, как Time, Wired и Rolling Stone. Его регулярно приглашают выступать на крупнейших медийных мероприятиях вроде South by Southwest. Университет Сингулярности, где «технологические эксперты и предприниматели, увлеченные решением великих вызовов человечества» могут «обмениваться идеями и способствовать использованию быстро развивающихся технологий», был основан Курцвейлом в 2008 году при финансовой поддержке Google, Autodesk и других фирм Кремниевой долины.60 А в 2012 году Курцвейл занял должность технического директора в Google по личному приглашению сооснователя и тогдашнего генерального директора компании Ларри Пейджа.61 «Эти идеи имеют колоссальный вес в Кремниевой долине; для многих наиболее влиятельных технологов это руководящие принципы, а не просто забава», — объясняет специалист по компьютерным наукам Джарон Ланье.62 Многие лидеры технологической индустрии — включая Билла Гейтса и Илона Маска — высокого мнения о Курцвейле и его идеях. «Сформулированное Рэем Курцвейлом абстрактное обобщение закона Мура — это самое важное, что когда-либо было представлено в виде графика», — утверждает миллиардер и венчурный инвестор Стив Джурветсон. — «Его непрерывность, прослеживающаяся на протяжении всей писательской карьеры Курцвейла, — главный вывод для будущего человечества и будущего разума».63

Идея Сингулярности проникла даже в академические круги, где этой концепции уделили внимание философы. Бостром, который более пятнадцати лет был профессором философии в Оксфордском университете, много писал о гипотетическом взрыве интеллекта как в научных статьях, так и в своей книге 2014 года «Сверхинтеллект» — неожиданном бестселлере, горячо поддержанном Биллом Гейтсом. «Я думаю, что в какой-то момент мы создадим сверхразумные машины», — сказал Бостром незадолго до выхода книги. — «Среди экспертов весьма распространено мнение, что существует реальный шанс, что это произойдет в ближайшие несколько десятилетий или, по крайней мере, в этом веке».64 Дэвид Чалмерс, профессор философии Нью-Йоркского университета, в 2010 году написал пространную статью на эту тему. «Идея сингулярности, безусловно, важна», — писал он. — «Аргумент в пользу сингулярности — это то, к чему нам следует отнестись серьезно».65 Чалмерс утверждает, что эта идея основана на предпосылках, которые не так уж сложно принять. «Что касается технологического мира, заявления об экспоненциальном росте не являются чем-то из ряда вон выходящим. Они довольно обычны», — сказал он мне. — «[Если] мы дойдем до точки, когда системы ИИ будут работать примерно на уровне человеческих возможностей и с человеческой скоростью, и при этом у нас будет экспоненциальный рост производительности оборудования — удваивающийся каждые пять лет или с любой другой скоростью, — тогда станет очевидно, что в результате... кривая интеллекта устремится вверх по экспоненте».66 И хотя Чалмерс и Бостром были одними из первых философов, воспринявших идею Сингулярности всерьез, теперь они больше не одиноки: Бостром был директором-основателем Института будущего человечества (FHI) в Оксфорде, который работал с 2005 по 2024 год и где Сингулярность была постоянным предметом исследований.

Так что Курцвейл — вовсе не чудак-одиночка. Он публичное лицо целого движения. И данные, которые он собрал, чтобы проиллюстрировать действие своего закона ускоряющейся отдачи на протяжении истории, действительно поражают. Однако при более внимательном рассмотрении графика Курцвейла обнаруживается проблема. Функция, обратная экспоненциальной, — это логарифм. Представьте его как функцию, которая примерно показывает, сколько нулей стоит в конце числа (или, говоря более обобщенно, сколько знаков в этом числе). Логарифм 1000 в три раза больше логарифма 10; логарифм миллиона (1 000 000) — еще в три раза больше этого. Логарифмы ближе нам, чем кажется. Мы часто мыслим логарифмически, особенно когда думаем о прошлом: что вы делали в это же время в прошлом месяце? Год назад? Десять лет назад?

Чак Клостерман, писатель и критик, отлично иллюстрирует этот момент с помощью простой игры: не подглядывая в источники, назовите реально существовавшего человека, жившего в каждом веке, двигаясь в обратном направлении от XXI века. Для нынешнего и прошлого веков легко вспомнить множество имен, включая людей, которых мы знаем лично. С XIX веком тоже не должно возникнуть особых трудностей, хотя вы, скорее всего, назовете известных политических или исторических деятелей (Гарриет Табмен, Наполеон). С XVIII веком будет чуть сложнее, но тоже вполне выполнимо (Бенджамин Франклин). Начиная с XVII века задача существенно усложняется, и у вас, вероятно, останется лишь несколько имен, в которых вы точно уверены, если вообще вспомните хоть кого-то (Исаак Ньютон). И если у вас нет специализированных знаний в конкретных областях истории, вы вряд ли сможете продвинуться намного дальше XVI века (Шекспир, Галилей) или XV века (Жанна д’Арк). Как пишет Клостерман, если кто-то добирается до XII века, «это обычно означает, что он либо много знает о первооткрывателях, либо до хрена знает о римских папах».67

Но это не значит, что вы не сможете назвать никого, кто жил ранее примерно 1400 года. Ваши знания просто становятся более фрагментарными. Где-то там всплывают Манса Муса, Алиенора Аквитанская и Ибн Рушд; еще дальше в прошлом — религиозные и философские деятели, такие как Мухаммед, Иисус и Конфуций; а затем — горстка политических лидеров вроде Клеопатры, Тутанхамона и Хаммурапи — и если вы в курсе интернет-мемов о клинописных табличках с жалобами, то у самого начала письменной истории обнаружатся Эа-насир и Ибби-Илабрат.68 Но вы больше не можете двигаться по истории линейно. Наш взгляд на историю логарифмичен. И дело вовсе не в том, что в каком-нибудь VII веке все было скучно — миф о Темных веках остается лишь мифом, к тому же за пределами Европы было полно других мест, где в то время кипела жизнь, — все дело лишь в ракурсе из вашей конкретной точки истории. Через триста лет, если Соединенные Штаты все еще будут существовать, вполне вероятно, что среднестатистический американец вообще не сможет назвать ни одного президента XX века — точно так же, как мы не можем с уверенностью назвать политических лидеров XVII века. Память угасает, а выборка наиболее ярких событий, которые мы помним из истории, в лучшем случае лишь отдаленно связана с их истинной важностью. Наш взгляд на историю логарифмичен просто потому, что мы физически не способны узнать и удержать в памяти все, что происходило до нашего рождения.

Если взглянуть на это под таким углом, тенденции, выделяемые Курцвейлом, вызывают еще больше сомнений. Похоже, он путает логарифмическое восприятие истории с экспоненциальным трендом в биологическом и технологическом развитии. Это выдает его список ключевых биологических вех: вместо того чтобы отобрать действительно важные события в эволюции всей жизни на Земле, он в основном выбирал вехи, ведущие к эволюции человека, будто люди — конечная цель эволюции. (У эволюции нет цели, о чем Курцвейл, безусловно, знает.) Подобная предвзятая выборка позволяет легко создать видимость экспоненциального тренда. Его список научных и технологических достижений составлен столь же избирательно: среди множества отсутствующих вех — изобретение пороха в Китае в IX веке, развитие ньютоновской физики в XVII веке, микробная теория болезней, периодическая система химических элементов, железная дорога и телеграф. Ни одно из этих достижений не укладывается в экспоненциальную модель, хотя найти их было нетрудно, ведь целые исторические периоды вообще никак не представлены в списке Курцвейла.ⁱ Маловероятно, что эти пробелы оставлены намеренно, как и практически полное игнорирование технологических или культурных достижений за пределами Евразии. И то и другое — лишь следствие предвзятого взгляда, ограниченного рамками конкретного времени и места. Это похоже на взгляд с вершины небоскреба: вблизи все кажется огромным и значимым; вдали же виднеются лишь редкие примечательные ориентиры. Но на самом деле предметы не увеличиваются в размерах по мере приближения к вам, да и сами вы не находитесь в каком-то особенно важном или уникальном месте. Курцвейл усматривает своего рода телеологию — цель и направленность — там, где их нет и в помине.

Или почти нет. Разумеется, в истории технологий действительно существуют некоторые экспоненциальные тренды — например, закон Мура. Однако при ближайшем рассмотрении судьба самого закона Мура служит еще одним доказательством неправоты Курцвейла. «На самом деле все зависит от того, как вы определяете закон Мура», — говорит Цу-Джей Кинг Лю, декан Инженерного колледжа Калифорнийского университета в Беркли и член совета директоров Intel. Изначально Мур выделил две различные экспоненциальные тенденции: экспоненциальный рост числа транзисторов на интегральной схеме и экспоненциальное снижение стоимости одного транзистора. Курцвейл использует оба этих прогноза в книге «Сингулярность уже близко», проецируя их далеко в будущее. Однако «в последних поколениях стоимость транзистора фактически выросла... [Так что], если понимать под законом Мура исключительно снижение стоимости транзистора, то да, он прекратил свое действие», — отмечает Лю. «Если же речь идет о том, что количество транзисторов на самой передовой интегральной схеме удваивается примерно каждые два года, тогда закон Мура все еще продолжает работать... Общее количество транзисторов, интегрированных в единый корпус, действительно продолжает расти экспоненциальными темпами».69

Лю сама приложила руку к тому, чтобы сохранить эту версию закона Мура: она является соизобретателем FinFET-транзистора, который на сегодняшний день представляет собой самую передовую конструкцию транзисторов. Однако, по ее словам, живучесть этой версии закона Мура обусловлена конкретной формулировкой его предсказания, касающейся количества транзисторов, размещаемых на одном чипе. Это число по-прежнему растет экспоненциально и продолжит расти до конца этого десятилетия, утверждает Лю, поскольку теперь транзисторы укладывают вертикально друг на друга. «Количество транзисторов на единицу объема продолжит расти (но не экспоненциальными темпами), так как слои транзисторов накладываются друг на друга, а чипы укладываются один на другой со все более высокой плотностью», — рассказала мне Лю.70 Сами транзисторы тоже продолжают уменьшаться, но это не может продолжаться бесконечно. «Скорость, с которой горизонтальные размеры транзисторов продолжают уменьшаться с каждым новым поколением технологий производства микросхем, замедлится или даже сойдет на нет из-за физических ограничений и/или финансовых соображений».71 Физические ограничения, на которые намекает Лю, возникают где-то в диапазоне от 0,1 до 1 нанометра, поскольку диаметр самих атомов кремния составляет около 0,2 нанометра, а транзистор невозможно создать из чего-то меньшего, чем один атом. Этот предел невозможно преодолеть, и мы находимся на грани его достижения — диаметр самых маленьких из уже созданных транзисторов действительно составляет около 0,3 нанометра. Кремниевые транзисторы больше никогда не станут сколько-нибудь ощутимо меньше. Экспоненциальный тренд завершен. (Лю действительно сказала, что экспоненциальный рост числа транзисторов, упакованных на один чип, продолжится, но и этому должен прийти конец, причем скорее раньше, чем позже. Поскольку объем одного транзистора больше не может существенно уменьшаться, это означает, что либо число транзисторов на чипе вскоре перестанет расти экспоненциально, либо чипы будут экспоненциально расти в высоту — а последнего точно не произойдет.) Сам Гордон Мур предвидел это. «Это не может продолжаться вечно. Природа экспонент такова, что вы продвигаете их все дальше, и в конце концов происходит катастрофа», — сказал он в интервью в 2010 году. «Что касается размеров [транзистора], то видно, что мы приближаемся к размерам атомов, а это фундаментальный барьер... У нас есть еще от 10 до 20 лет, прежде чем мы достигнем фундаментального предела».72

Но проблемы закона ускоряющейся отдачи Курцвейла обусловлены не только физическими ограничениями. Чтобы получить стабильный рост вроде закона Мура, «нельзя просто [сказать]: "Ладно, вычислительные алгоритмы будут работать быстрее, и поэтому мы сможем быстрее создавать технологии следующего поколения"», — говорит мне Лю. «На самом деле для поддержания этого так называемого закона Курцвейла все равно требуются инновации, какие-то передовые творческие идеи. Мне кажется, закон Курцвейла несколько упрощен, поскольку он не учитывает тот факт, что по мере развития технологий экспоненциально возрастает и их сложность».73 История закона Мура подтверждает это. С 1971 по 2014 год, в период расцвета закона Мура, количество транзисторов, размещаемых на чипе, увеличилось примерно в два миллиона раз. Это был устойчивый экспоненциальный рост, при котором удваивание происходило примерно каждые два года. Но поддержание этого устойчивого роста требовало экспоненциального увеличения усилий и ресурсов: в 2020 году группа экономистов из Стэнфорда и Массачусетского технологического института (MIT) обнаружила, что за тот же период инвестиции в финансирование НИОКР в полупроводниковой сфере и численность персонала выросли в восемнадцать раз только ради поддержания прежних темпов роста. «Иными словами, — писали они, — сегодня обеспечивать экспоненциальный рост, лежащий в основе закона Мура, примерно в 18 раз труднее, чем в 1971 году». Их вывод заключается в том, что продуктивность исследований снизилась, поскольку «идеи и предполагаемый ими экспоненциальный рост становится все труднее находить».74 Таким образом, закон Мура — это не пример ускоряющейся отдачи, а пример убывающей отдачи при том же уровне инвестиций.

Судьба закона Мура — это судьба всех экспоненциальных трендов: они заканчиваются, о чем говорил и сам Мур. Либо все постепенно усложняется, выполаживая кривую роста от экспоненциальной до S-образной (известной как логистическая кривая; см. рис. 2.2), либо процесс упирается в жесткий предел и просто останавливается, что нередко сменяется крахом. Поместите несколько бактерий на чашку с питательной средой, и их численность будет расти экспоненциально — пока у них не закончится пища, после чего рост прекратится и все они погибнут. В книге «Сингулярность уже близко» Курцвейл иллюстрирует экспоненциальный рост на примере кувшинок, которые экспоненциально разрастаются в пруду, каждые несколько дней удваивая площадь покрываемой ими воды. По его словам, если в первый день они покрывают 1 процент пруда, то через несколько недель пруд будет покрыт полностью.75 Это правда, но на этом рост кувшинок и заканчивается, поскольку они не могут покрыть более 100 процентов пруда. Так устроен любой экспоненциальный тренд.76 Все ресурсы конечны; ничто не длится вечно; у всего есть пределы. В этом и кроется главный изъян в рассуждениях Курцвейла. Экспоненциальные тренды существуют — но единственное, что абсолютно гарантировано в будущем любого экспоненциального тренда, — это то, что рано или поздно он закончится. Отдача убывает. Экстраполировать экспоненциальные тренды бесконечно в будущее — значит с уверенностью утверждать именно то, чего гарантированно не произойдет.

В этом нет ничего нового. В 1960 году группа исследователей из Иллинойсского университета заметила, что рост численности человечества за предыдущие две тысячи лет был не просто экспоненциальным, а гиперболическим — он ускорялся быстрее любой экспоненциальной кривой. Экстраполировав эту кривую, они получили поразительный результат: 13 ноября 2026 года численность человечества должна стать бесконечной. «Наши прапрануки умрут не от голода. Их раздавит насмерть», — полушутя заключили они, давая понять, что прекрасно осознают: гиперболическому тренду роста населения Земли скоро придет конец.77 И они оказались правы: уже к 1964 году годовые темпы роста населения планеты начали снижаться. На пике в 1963 году этот показатель составлял 2,2 процента, в 1973 году — 2,0 процента, а к 2023 году снизился до скромных 0,9 процента. Организация Объединенных Наций в настоящее время прогнозирует, что рост населения прекратится примерно к 2080 году (плюс-минус пара десятилетий), после чего численность жителей планеты начнет медленно сокращаться с пикового значения около десяти миллиардов человек — что ненамного больше тех восьми миллиардов, которые живут сегодня. Прогнозируемая кривая численности человечества со временем укладывается в почти идеальную логистическую S-образную кривую, разделяя судьбу большинства видов экспоненциального роста в реальном мире.

Рисунок 2.2. S-образная кривая логистического роста.

Надо отдать ему должное, Курцвейл понимает, что экспоненциальный рост всегда переходит в логистический. Он даже согласен с тем, что закон Мура не может бесконечно действовать для кремния из-за непреложных физических ограничений. Но это его не останавливает. «S-образные кривые типичны для биологического роста, — пишет он. — [Но] общий экспоненциальный рост эволюционного процесса (будь то молекулярный, биологический, культурный или технологический) преодолевает пределы роста, характерные для любой конкретной парадигмы (отдельной S-кривой), благодаря росту мощности и эффективности, развивающихся в каждой последующей парадигме. Таким образом, экспоненциальный рост эволюционного процесса охватывает множество S-образных кривых».78 В качестве иллюстрации Курцвейл указывает на историю вычислительной техники с начала двадцатого века. Сначала, по его словам, были электромеханические компьютеры, затем компьютеры на вакуумных лампах, после них — дискретные транзисторы, и, наконец, мы перешли к интегральным схемам на кремниевых пластинах — технологии, на которой компьютеры работают и сегодня.79 В каждую из эти эпох, по мнению Курцвейла, вычислительная мощность машин действительно описывала S-образную кривую: экспоненциальный рост, который в конечном итоге упирался в потолок по мере достижения технологических пределов. Однако он отмечает, что эти S-образные кривые складываются вместе, поддерживая общий экспоненциальный тренд роста вычислительной мощности. (См. рисунок 2.3.) «Конкретная парадигма... генерирует экспоненциальный рост до тех пор, пока ее потенциал не будет исчерпан. Когда это происходит, случается сдвиг парадигмы, что позволяет экспоненциальному росту продолжаться».80

Рисунок 2.3. Экспоненциальный рост за счет наложения S-образных кривых.

Но это не более чем очередное сочетание предвзятого отбора фактов с чистой воды выдачей желаемого за действительное. Наложенные друг на друга S-образные кривые Курцвейла игнорируют тысячелетия технологий механических вычислений, предшествовавших двадцатому веку — от абака и Антикитерского механизма до аналитической машины Чарльза Бэббиджа. Они совершенно не укладываются в описываемую им тенденцию. Но даже если оставить в стороне раннюю историю, нет никакой гарантии, что новые вычислительные технологии будут разрабатываться по тому жесткому графику, которого требует гипотеза Курцвейла. Разработка новых технологий может становиться все сложнее; может появиться технология, которая выглядит многообещающе, но имеет неустранимые проблемы, препятствующие ее внедрению; наконец, на пути прогресса могут встать другие факторы, такие как экономическое давление, социальные изменения или дефицит необходимых ресурсов.

В истории человеческих технологий это происходило снова и снова. Экспоненциальные тренды, основанные на технологических возможностях, рано или поздно сходят на нет. Двести лет назад максимальная скорость, с которой человек мог надежно передвигаться, ограничивалась возможностями лошади и составляла примерно 35 миль в час (55 км/ч). Так продолжалось тысячелетиями. Но затем появились паровые поезда, которые к 1830 году сравнялись по скорости с лошадью, а затем и превзошли ее. За паровозами последовали автомобили с двигателями внутреннего сгорания. За автомобилями — самолеты, за самолетами — ракеты на жидком топливе. На протяжении всего XIX века и значительной части XX века максимальная скорость, когда-либо развитая человеком, росла по экспоненте. Но 26 мая 1969 года этот рост прекратился. В тот день Томас Стаффорд, Юджин Сернан и Джон Янг развили скорость 24 816 миль в час (39 938 км/ч), возвращаясь на Землю после полета по окололунной орбите на корабле «Аполлон-10». С тех пор ни один человек не двигался быстрее. Даже если мы когда-нибудь отправим людей на Марс, их максимальная скорость вряд ли сильно превысит рекорд экипажа «Аполлона-10», если вообще превысит. И даже если мы расширим рамки этого определения и включим в него космические зонды и другие рукотворные объекты, это мало что изменит. Рекорд скорости среди всех созданных человеком объектов в настоящее время принадлежит солнечному зонду «Паркер», который (на момент написания этой книги), как ожидается, к концу 2024 года промчится мимо Солнца на скорости более 430 000 миль в час (690 000 км/ч) — это 0,064 процента скорости света. Это почти в три раза превышает предыдущий рекорд, установленный зондом «Гелиос-2» в 1976 году при его максимальном приближении к Солнцу. Тот факт, что оба этих невероятно быстрых аппарата двигались вблизи Солнца, далеко не случаен — именно в этой близости и кроется причина их рекордов. С точки зрения гравитации Солнце находится не просто в центре Солнечной системы, а на самом ее «дне». В Солнце сосредоточено 99,86 процента всей массы нашей системы, а сама его масса более чем в 300 000 раз превышает массу Земли. Солнечные зонды могут развивать столь высокую скорость просто потому, что они падают на эту колоссальную массу с высоты почти в сто миллионов миль (150 миллионов километров) в отсутствие сопротивления воздуха, которое могло бы их затормозить. После тысячелетий технологического прогресса лучший способ, придуманный человечеством, чтобы заставить вещи двигаться по-настоящему быстро, — это просто их уронить.

Почему мы не можем заставить вещи двигаться еще быстрее? Исторические причины этого сложны; пожалуй, главная из них — политическая. Но политические бюджеты имеют отношение к делу лишь потому, что ресурсы, необходимые для того, чтобы двигаться заметно быстрее «Аполлона-10» или солнечного зонда «Паркер», столь колоссальны, что мобилизовать их под силу только крупным державам (и, возможно, транснациональным корпорациям). Так что, хотя исторические детали сложны, первопричина возникновения S-образной кривой довольно проста: не появилось никакой прорывной технологии, которая позволила бы легче увеличивать скорость, — просто потому, что двигаться значительно быстрее, чем мы уже умеем, чрезвычайно трудно.

Убывающая отдача от технологий не ограничивается проектированием микросхем и увеличением скорости. Исследование закона Мура, проведенное в 2020 году Стэнфордским университетом и MIT, было частью более масштабной работы, авторы которой пришли к аналогичному выводу относительно всей экономики в целом. Авторы этого исследования приводят убедительные доказательства того, что продуктивность научных исследований сегодня — если весьма приблизительно измерять ее как конвертацию промышленных НИОКР в экономический рост — более чем в сорок раз ниже, чем в 1930-е годы. Рост удается поддерживать вопреки этой убывающей отдаче лишь за счет экспоненциального увеличения ресурсов и числа специалистов, занятых в сфере исследований за тот же период. Но этот тренд не может продолжаться вечно. Что касается причин столь резкого падения продуктивности исследований, общий вывод авторов совпадает с их выводом для полупроводниковой индустрии: «Идеи становится находить все труднее и труднее», — пишут они. — «Иными словами, просто для того, чтобы поддерживать постоянный рост ВВП на душу населения, Соединенным Штатам приходится удваивать объем исследовательских усилий каждые 13 лет, чтобы компенсировать возрастающую сложность поиска новых идей»81. В этом есть интуитивно понятная логика. В любой новой области всегда есть легкодоступные плоды; когда они собраны, находить новые хорошие идеи становится труднее. И по мере того как многочисленные научные революции XIX и начала XX веков уходят все дальше в прошлое, технологические плоды, которые они принесли и которые было проще всего собрать, оказываются практически полностью сорванными. Новые идеи есть. Скорее всего, они будут всегда. Но находить их и придумывать способы их применения становится все сложнее.

Новые вычислительные технологии не являются исключением из этой тенденции. Интегральные схемы подходят к пределу своих возможностей, и на горизонте нет очевидной замены, которая позволила бы курцвейловской версии закона Мура действовать и после окончания текущего десятилетия82. В 2005 году Курцвейл предсказывал, что «трехмерные молекулярные вычисления» на основе углеродных нанотрубок станут следующей парадигмой в электронике и придут на смену кремниевым чипам, когда те исчерпают свой потенциал — то есть как раз примерно сейчас. Эта технология до сих пор себя не оправдала, и вряд ли это произойдет в ближайшем будущем, если вообще произойдет. Сегодня принципиально новой вычислительной технологией, привлекающей наибольшее внимание, являются квантовые вычисления. Однако квантовые вычисления не позиционируются как замена существующим компьютерам и не способны продолжить действие закона Мура. Вместо этого потенциал квантовых вычислений заключается в их теоретической способности выполнять несколько специализированных задач значительно эффективнее и быстрее, чем обычные компьютеры, таких как криптография, молекулярное моделирование и решение определенных типов оптимизационных задач. Возможно, квантовые компьютеры и окажутся способны на впечатляющие достижения, но даже если они оправдают возложенные на них надежды, это вряд ли приведет к созданию более быстрых компьютеров в целом.

Но даже если какая-то новая технология и спасет закон Мура на некоторое время, это не означает, что Сингулярность вернется в график. Если мощность компьютеров продолжит расти по экспоненте, это вовсе не гарантирует, что интеллект запущенного на них универсального искусственного интеллекта (AGI) тоже будет расти экспоненциально. Интеллект не обязательно напрямую зависит от вычислительной мощности. «Если мы хотим определить интеллект так, чтобы он масштабировался линейно с ростом вычислительной мощности, то это будет совсем не то понимание интеллекта, на которое мы ориентируемся», — говорит Дэвид Торстад, философ из Университета Вандербильта. — «Поэтому, если интеллект должен также масштабироваться вместе со способностью прогнозировать события и действовать в реальном мире, играть в игры, проходить тесты на уровень интеллекта или делать что-либо еще, что мы стандартно определяем как интеллектуальную деятельность, он не будет расти линейно с увеличением вычислительной мощности»83. На самом деле наращивание вычислительной мощности для решения конкретных задач зачастую приносит — в который уже раз — убывающую отдачу. Исследование, проведенное в 2022 году учеными из MIT и Университета Бразилиа, показало, что экспоненциальный рост вычислительной мощности приводит лишь к линейному улучшению способности компьютеров прогнозировать погоду, решать задачи фолдинга белков, находить новые месторождения нефти на основе геологических данных, а также играть в го и шахматы84.

Интеллект — это не просто решение задач. Но до сих пор неясно, что же такое интеллект на самом деле, и тем более непонятно, как его измерять. Психологи систематически изучают интеллект уже более века; само существование некоего показателя совокупных интеллектуальных способностей, который они называют «общим интеллектом» или сокращенно g, в лучшем случае спорно. С точки зрения статистики нет никаких убедительных аргументов в пользу реального существования g. «Миф о g легитимизирует целую индустрию тестирования интеллекта и теоретизирования вокруг него», — пишет статистик Косма Шализи, называющий g «статистическим мифом». — «Чем скорее мы перестанем обращать внимание на g, тем быстрее сможем направить свои силы на понимание разума»85.

Без конкретного представления об общем интеллекте неясно, что именно должно представлять собой «взрыв интеллекта» и что значит, если один компьютер вдвое интеллектуальнее другого86. Да и само определение AGI изначально выглядит весьма шатким. Но даже если мы примем расплывчатое временное определение AGI в духе Курцвейла — что-то вроде «искусственная машина, способная делать все то же, что и обычный взрослый человек», — все равно не очевидно, что современный компьютер сможет обеспечить работу AGI. В книге «Сингулярность уже близко» Курцвейл много говорит о реверс-инжиниринге человеческого мозга: глава 4 этой книги называется «Создание программного обеспечения человеческого интеллекта: как провести реверс-инжиниринг человеческого мозга»87. По оценкам Курцвейла, компьютеру потребуется выполнять от 10¹⁴ до 10¹⁶ вычислений в секунду, «чтобы достичь функциональной эквивалентности всех областей мозга», а объем памяти человеческого мозга составляет около 10¹³ бит, то есть примерно один терабайт88. «Суперкомпьютеры сравняются с возможностями человеческого мозга к концу этого десятилетия, а персональные компьютеры достигнут этого примерно к 2020 году — или, возможно, раньше», — писал он в 2005 году89.

Но, добавил он, «мощность аппаратного обеспечения необходима, но недостаточна. Понимание организации и наполнения этих ресурсов — программного обеспечения интеллекта — имеет еще более решающее значение». Для этого, утверждал он, нам понадобятся очень детальные снимки мозга, и Курцвейл был весьма оптимистичен в отношении перспектив такого сканирования. «Наша способность проводить реверс-инжиниринг мозга — заглядывать внутрь, моделировать его и симулировать его области — растет по экспоненте», — писал он90. — «Разрешение приборов неинвазивного сканирования мозга удваивается примерно каждые двенадцать месяцев... В 2020-х годах мы сможем наблюдать за всеми ключевыми особенностями работы нейронов с очень высоким разрешением изнутри самого мозга»91. Ни один из этих прогнозов не оправдался. На самом деле максимальное разрешение неинвазивного сканирования живого человеческого мозга в 2024 году не намного лучше, чем в 2000 году, что служит очередным примером S-образной кривой логистического роста и его убывающей отдачи, а вовсе не заявленного Курцвейлом экспоненциального роста. Мы по-прежнему не способны видеть, что происходит в живом мозге на уровне отдельных синапсов или даже сотен синапсов. Подобная технология может быть разработана когда-нибудь в будущем, но нет никаких признаков того, что ее появление не за горами. Курцвейл знает об этом: в 2024 году он заявил, что усовершенствование нейрокомпьютерных интерфейсов отстает от его графика из-за соображений безопасности. Тестирование подобных систем на реальном человеческом мозге естественным образом заставляет людей беспокоиться о рисках. Однако Курцвейл не видит в этом серьезной проблемы, поскольку утверждает, что вскоре компьютеры позволят нам симулировать работу мозга достаточно хорошо, чтобы создавать устройства для сканирования мозга и интерфейсы без испытаний на живых людях92. Чего он не объяснил, так это того, как именно можно построить такие симуляции, изначально не обладая технологией сканирования мозга.

Даже если бы это было возможно, существующие компьютеры недостаточно мощны для реализации подобного плана. Персональные компьютеры, как правило, выполняют не более триллиона операций в секунду, что в сто раз меньше самой скромной оценки вычислительной мощности человеческого мозга, данной Курцвейлом. Самые быстрые из существующих сегодня суперкомпьютеров способны выполнять 10¹⁸ вычислений в секунду, что превосходит расчетный диапазон Курцвейла для «функциональной эквивалентности всех областей мозга». Однако они все еще не дотягивают до его истинного верхнего предела для симуляции человеческого мозга, который он оценивает в 10¹⁹ вычислений в секунду93. И эта оценка сама по себе вызывает сомнения. Она основана на количестве синапсов в человеческом мозге — связей между нейронами, — однако эти нейроны выполняют важные функции и внутри себя, задействуя феноменально сложные белковые структуры, лежащие в основе всей жизни. Кроме того, синапсы не производят ничего похожего на простые бинарные вычисления «вкл/выкл» цифрового компьютера; они аналоговые и принимают значения из непрерывного спектра возможностей. Более того, связи между нейронами опосредуются нейромедиаторами, которые оказывают колоссальное влияние на работу мозга (собственно, именно так действует большинство психиатрических препаратов). А еще существуют глиальные клетки, которых в мозге как минимум не меньше, чем нейронов, и которые играют собственную важную роль в его функционировании94. Вполне вероятно, что верхние границы вычислительной мощности и объема памяти мозга, установленные Курцвейлом, занижены на много порядков. Действительно, в исследовании 2008 года, соавтором которого выступил Ник Бостром, высказывалось предположение, что вычислительная мощность мозга вполне может быть в десять миллионов раз выше верхнего предела Курцвейла95. «Существует масса неизвестных неизвестных и известных неизвестных относительно того, какая именно информация вам действительно нужна от мозга, чтобы создать нечто достаточно похожее на человека» для симуляции человеческого мозга на компьютере, говорит Майкл Хендрикс, нейробиолог из Университета Макгилла. — «Синапсы отличаются друг от друга самыми разными способами, нейроны могут находиться в самых разных состояниях в зависимости от состава ионных каналов и экспрессии тех или иных генов. Это не просто какие-то типовые детальки, это совершенно разные вещи. И то, какой объем информации вам необходим, остается неизвестным, но, скорее всего, этот объем превышает все вычислительные мощности, которые наше общество произведет за многие десятилетия»96.

Если мозг обладает столь колоссальной мощностью, а закон Мура действительно подошел к концу, то компьютеры в их нынешнем виде просто непригодны для эмуляции интеллекта человеческого уровня. Для создания AGI потребовался бы принципиально иной подход. В более широком смысле, мозг, возможно, вообще не стоит рассматривать как компьютер. «Хотя я твердо верю, что мозг — это машина, является ли эта машина компьютером — совсем другой вопрос», — писал в 2008 году робототехник из MIT Родни Брукс. Он продолжил:

В прошлые века мозг считали гидродинамической машиной. Рене Декарт не мог поверить, что движущиеся жидкости способны порождать мысль, поэтому он пришел к дуализму разума и тела, настаивая на нефизической природе ментальных явлений. Когда я был ребенком, преобладало мнение, что мозг — это своего рода телефонный коммутатор. Когда я был подростком, он превратился в электронный компьютер, а позже — в массивно-параллельный цифровой компьютер. Несколько лет назад во время одного из моих выступлений кто-то спросил: «Разве мозг не устроен точно так же, как Всемирная паутина?» Мы используем эти метафоры в качестве основы для наших философских размышлений и даже позволяем им пронизывать наше понимание того, как на самом деле функционирует мозг. Ни одна из прежних метафор мозга не выдержала испытания временем, и нет никаких причин ожидать, что идея об эквивалентности работы мозга и современных цифровых вычислений окажется долговечной97.

Архитектура современных компьютеров, включающая центральный процессор, соединенный с оперативной памятью и долговременным хранилищем, совершенно не похожа на наши передовые представления о логической организации человеческого мозга. Действительно, современные научные данные указывают на то, что человеческий мозг вообще не устроен как рукотворный объект, что делает его реверс-инжиниринг чрезвычайно сложным98. «Мозг, в отличие от любой машины, никто не проектировал. Это органы, которые эволюционировали более пятисот миллионов лет, поэтому практически нет оснований ожидать, что они действительно функционируют подобно создаваемым нами машинам», — пишет зоолог и историк науки Мэтью Кобб. «Мозг — это не компьютер, но он больше похож на компьютер, чем на часы... На протяжении веков каждый новый пласт технологических метафор добавлял что-то к нашему пониманию, позволяя проводить новые эксперименты и переосмысливать старые открытия. Но крепко цепляясь за метафоры, мы в итоге ограничиваем то, о чем и как мы способны думать»99. Современные системы ИИ на базе «нейронных сетей» якобы обладают архитектурой, вдохновленной нейронами, однако они похожи на настоящий мозг не больше, чем эмодзи с дождевой тучей — на свирепый северо-восточный ураган. Мозг и компьютер работают совершенно по-разному, а потому концепции, заимствованные из компьютерных наук, как правило, неприменимы к мозгу. «Даже попытка решить такую, казалось бы, простую задачу, как расчет емкости памяти человеческого мозга, терпит крах при ближайшем рассмотрении», — пишет Кобб. «Нейроны не являются цифровыми... Каждый мозг непрерывно меняет количество и силу своих синапсов, и, что самое главное, он работает далеко не только за счет синапсов. За то, как именно функционирует мозг, отвечают также нейромодуляторы и нейрогормоны»100. И это только в мозге. Как указывали Брукс, Кобб и другие исследователи, понимание человеческого познания требует выхода за пределы мозга. «Физиологическая реальность любого мозга такова, что он взаимодействует с телом и внешней средой с самого начала своего развития», — пишет Кобб. «Животные — это не роботы, управляемые мозгом; все мы, будь то личинки или люди, являемся индивидуумами, обладающими субъектностью, а также историей индивидуального и эволюционного развития»101. В этом заключается один из главных уроков относительно новой научной дисциплины — «воплощенного познания»: мы — это не только наш мозг. Мы — это наше тело, помещенное в окружающую среду.

Если для достижения интеллекта и сознания человеческого уровня требуется нечто, обладающее мощностью человеческого мозга — наряду с неким эквивалентом связей мозга с остальным телом и внешним миром, — то до создания AGI еще очень и очень далеко. «Нет никаких оснований, за исключением нашего невежества в вопросе о том, как работает сознание, полагать, что [Сингулярность] произойдет в обозримом будущем», — пишет Кобб. «Масштаб сложности даже самого простого мозга затмевает любую машину, которую мы можем себе представить сегодня. На десятилетия — если не на века — вперед сингулярность останется уделом научной фантастики, а не науки»102. Существуют теоретические аргументы в пользу того, что AGI принципиально возможно создать на базе тех типов компьютеров, которые мы используем сегодня, при условии, что они будут достаточно мощными103. Но даже если эти аргументы верны и даже если достаточно мощный компьютер может быть построен, создание AGI на базе существующих компьютеров может оказаться теоретически возможным, но непомерно сложным на практике — особенно с учетом того, что у нас нет ни четкого теоретического понимания того, как в принципе должен работать AGI, ни детальной теории того, как мозг порождает сознание. У нас даже нет внятного определения того, что такое AGI.

Компьютер другого типа — или вообще принципиально иная машина — мог бы значительно облегчить исследования в области ИИ104. Это было бы долгожданной новостью, поскольку работа над созданием ИИ почти всегда оказывалась сложнее, чем предполагали специалисты по компьютерным и когнитивным наукам. «Каждый путь к ИИ на сегодняшний день оказывался на удивление трудным. История ИИ — это длинная череда оптимистичных прогнозов от пионеров очередного метода, за которыми неизменно следовали периоды разочарования и переоценки», — пишет Дэвид Чалмерс105. Так обстояли дела в этой области с самого начала. Летом 1956 года междисциплинарная группа исследователей собралась на восемь недель, чтобы обсудить новую область знаний, которую организатор встречи, специалист по компьютерным наукам Джон Маккарти, назвал «искусственным интеллектом». «Мы предлагаем провести двухмесячное исследование искусственного интеллекта силами десяти человек летом 1956 года в Дартмутском колледже в Хановере, штат Нью-Гэмпшир», — писали Маккарти и его соорганизаторы в заявке на грант для этого семинара, поданной годом ранее. «Будет предпринята попытка выяснить, как научить машины использовать язык, формировать абстракции и понятия, решать задачи, которые сейчас под силу только человеку, и совершенствоваться самостоятельно. Мы полагаем, что в решении одной или нескольких из этих проблем может быть достигнут существенный прогресс, если тщательно подобранная группа ученых поработает над этим вместе в течение лета». Семьдесят лет спустя у нас все еще нет ни одной компьютерной программы, способной выполнять все пункты из этого списка. В истории ИИ бывали периоды бурного роста — вроде того, что ворвался в общественное сознание в 2022 году благодаря большим язывым моделям (LLM), — и на сегодняшний день за каждым из них неизменно следовала «зима ИИ», когда прогресс замедлялся, а передовые технологии топтались на месте годами или десятилетиями в ожидании следующего прорыва. И Брукс считает, что очередная зима уже на подходе. «[LLM] идут по проторенному пути цикла хайпа, который мы наблюдали снова и снова на протяжении более чем 60-летней истории ИИ», — писал он в 2024 году. «Доставайте теплые пальто. Не исключено, что за углом нас ждет очередная зима ИИ, а возможно, и полномасштабная технологическая зима. И она будет холодной»106.

Вся эта неопределенность отражает тот факт, что мы попросту не знаем, что потребуется для создания машины, способной делать все то же, что и человек. На фоне этого неведения заявления Курцвейла об экспоненциальных трендах в будущем технологий вообще и AGI в частности выглядят чрезмерно самоуверенными. Как таковые, они несут на себе то же бремя доказательства, что и любые другие экстраординарные заявления: они требуют экстраординарных доказательств. А этих доказательств нет. Курцвейл не сумасшедший и не глупец. Он просто ошибается. Однако сегодня, спустя двадцать лет после того, как он впервые предсказал Сингулярность к 2045 году, и после стольких несбывшихся по пути прогнозов о новых технологиях — от сканеров мозга на клеточном уровне до препаратов для похудения на основе РНК, от триумфа транзисторов на углеродных нанотрубках до продолжения господства закона Мура, — Курцвейл по-прежнему считает, что Сингулярность наступит уже скоро. В марте 2024 года он заявил, что мир, по его мнению, все еще движется по графику к достижению Сингулярности в 2045 году. Позже в том же году на очередной волне хайпа вышла его новая книга под названием «Сингулярность еще ближе». И в отличие от писателя-фантаста Винджа, Курцвейл полагает, что способен приоткрыть завесу над кажущимися волшебными технологиями по ту сторону Сингулярности. «Несмотря на глубокую ограниченность нашего мышления, мы обладаем достаточными способностями к абстрагированию, чтобы делать осмысленные утверждения о природе жизни после Сингулярности», — писал он в книге «Сингулярность близко»107. В этом будущем, по его словам, мы будем жить в мире, лишенном опасностей, боли и лишений — да и практически всего остального тоже.

*    *    *

Почти за двадцать лет до выхода книги «Сингулярность близко» К. Эрик Дрекслер опубликовал собственный проект будущего. Дрекслер, исследователь из Массачусетского технологического института (MIT), приехавший туда подростком более десяти лет назад с мечтами о космосе, направил свой интеллект и воображение на мир сверхмалого108. Именно там, по его утверждению, крылась возможность преодолеть земные ограничения, которую он так искал. Вдохновленный сложной и слаженной работой белков в живых клетках, Дрекслер предсказал будущее нанотехнологических чудес в своей книге «Машины создания», вышедшей в 1986 году. Первым шагом, по его словам, должно было стать создание органических механизмов, подобных рибосомам и РНК, транслирующим генетический код ДНК. Это первое поколение наномашин затем использовалось бы для создания второго поколения механизмов — уже из «более прочного материала», например алмаза, который не требовал бы воды для работы и позволял бы осуществлять «контроль над структурой материи» вплоть до атомного уровня. «Молекулярные машины второго поколения смогут построить практически все, что только можно спроектировать», — утверждал Дрекслер109. Что крайне важно, сюда относились и новые молекулярные машины того же типа: одно устройство могло создать другое, затем каждое из них — еще по одному, далее эти четыре могли скопировать себя и так далее; неумолимая математика экспоненциального роста вела к стремительному увеличению числа наномашин, готовых построить все, о чем только способен мечтать человек.

Появление этих наномашин — или «молекулярных ассемблеров», как их окрестил Дрекслер, — по его словам, произвело бы тотальную революцию не только в производстве, но и во всех аспектах жизни и человеческой цивилизации. Ассемблеры, утверждал Дрекслер, создали бы постоянное изобилие энергии и пищи; они искоренили бы болезни и вылечили бы «болезнь под названием старение»; они сделали бы возможным создание продвинутого ИИ. И они кардинально ускорили и миниатюризировали бы любое производство, позволив производить буквально все что угодно110. Нанотехнологии, по мнению Дрекслера, были бы быстрее, дешевле и мощнее любой другой технологии в истории человечества. В труде «Наносистемы», вышедшем в 1992 году продолжении «Машин создания», он утверждал, что нанотехнологические двигатели могут выдавать триллион киловатт на кубический метр. «Трудно... осознать колоссальную первозданную мощь и потенциал настоящих нанотехнологий», — писал в 2021 году Дж. Сторрс Холл, инженер, писатель и коллега Дрекслера111. Чтобы проиллюстрировать это, Холл на основе работ Дрекслера подсчитал, сколько времени потребуется для воссоздания всех «основных фондов» Соединенных Штатов — «чтобы заново построить каждое здание, завод, шоссе, железную дорогу, мост, самолет, поезд, легковой автомобиль, грузовик и корабль», как выразился Холл, — начав всего с одного килограмма «зрелой нанотехнологии». Ответ Холла, основанный на экспоненциальном росте наномашин в стиле Дрекслера, составил одну неделю112.

Дрекслер не был первым, кто задумался о возможности создания столь малых машин. Физик Ричард Фейнман выступил с докладом на эту тему в 1959 году, а несколько лет спустя Марвин Минский написал об этом в одном из эссе для сборника «Ученый размышляет». Но Дрекслер стал первым, кто представил детальную картину того, что подобные наноботы могут дать для расширения человеческих возможностей. Его видение безграничных технологий породило лавину мечтаний и желаний. Холл утверждал, что нанотехнологии обеспечат «бессмертие в пике физического здоровья» и дадут энергию летающим автомобилям, наряду с множеством других ретрофутуристических фантазий прямиком из мультсериала «Джетсоны»113. Дрекслер писал в «Машинах создания», что нанотехнологии сделают крионику — криогенную заморозку и оживление недавно умерших — реально осуществимой технологией; он даже записался на криосохранение на случай собственной смерти. Дрекслер также писал, что нанотехнологии сделают космические путешествия гораздо более простыми, быстрыми и комфортными. Неудивительно, что зарождающееся трансгуманистическое движение и другие футуристы 1980-х годов ухватились за идеи Дрекслера. Экстропианцы в 1990-х годах часто обсуждали нанотехнологии в своей почтовой рассылке, причем сам Дрекслер иногда участвовал в этих дискуссиях онлайн, а изредка и лично на экстропианских конференциях. «Я согласен с большинством идей экстропианцев, — говорил Дрекслер. — В целом это устремленная в будущее, смелая группа людей, которые размышляют о важных вопросах технологии и человеческой жизни и пытаются подходить к этому этично. Это здорово и поразительно редко встречается»114.

В трудах Дрекслера Курцвейл увидел средство для переустройства не только Земли, но и всей Вселенной. «Нанотехнологии обещают инструменты для перестройки физического мира — включая наши тела и мозг — молекулярный фрагмент за молекулярным фрагментом, а в перспективе и атом за атомом», — пишет он115. Атомы имеют размер в среднем около двух десятых нанометра в поперечнике; это восемь миллиардных долей дюйма и одна пятимиллионная доля миллиметра, что в полмиллиона раз меньше толщины листа бумаги. В чайной ложке сахара с горкой содержится 10²⁴ атомов; на Земле и внутри нее — около 10⁵⁰. Во всей Вселенной насчитывается примерно 10⁸⁰ атомов — единица с восемьюдесятью нулями после нее.

Курцвейл хочет использовать все эти атомы — или почти все — для создания компьютеров. «Закон ускоряющейся отдачи будет действовать до тех пор, пока небиологический интеллект почти полностью не „насытит“ материю и энергию в нашей части Вселенной нашим человеко-машинным интеллектом, — пишет он. — Под насыщением я подразумеваю оптимальное использование паттернов материи и энергии для вычислений, основанное на нашем понимании физики вычислений»116. Он представляет себе нанотехнологии галактического масштаба, когда флотилии наномашин переписывают структуру чужих планетных систем, заполняя их звезды и планеты электронными схемами. «Мы могли бы отправить рои из многих триллионов наномашин, причем некоторые из этих „семян“ пустили бы корни в другой планетной системе, а затем размножились, найдя подходящие материалы, такие как углерод и другие необходимые элементы, и создав копии самих себя», — пишет Курцвейл117. Каждая «колония наноботов», в свою очередь, порождала бы новые флотилии наноботов, пока вся доступная часть Вселенной не окажется заполненной, что превратит космос в один гигантский компьютер. Как только это будет достигнуто, по оценкам Курцвейла, получившийся вселенский суперкомпьютер сможет выполнять около 10⁹⁰ вычислений в секунду и хранить сопоставимое количество битов118. Вся эта вычислительная мощность и память будут предназначены не только для наших ИИ, утверждает Курцвейл; они пригодятся и нам самим, как только мы сольемся с нашими машинами. Машины будут становиться экспоненциально мощнее, в то время как наши биологические мозги останутся прежними, а значит, все большая часть нашего мышления будет происходить на машинах, пока мы сами практически полностью не превратимся в машины, живущие внутри компьютера, который заменил собой Вселенную119. Либо наноботы просто отсканируют наш мозг и загрузят детали состояний нашего мозга в компьютер, позволяя копиям нас самих вести чисто цифровую жизнь120.

Если мы сольемся с нашими машинами или превратимся в цифровые копии, то флотилии наномашин, строящие компьютерные схемы из всех доступных атомов, превратят все звезды и планеты, все галактики и туманности, каждый камень и пылинку вокруг далекой звезды в элементы наших новых синтетических мозгов. Именно тогда, по словам Курцвейла, «Вселенная проснется»: «„Немая“ материя и механизмы Вселенной трансформируются в изысканно возвышенные формы интеллекта», — пишет он121. Для Курцвейла это неизбежный, универсальный процесс, который произойдет с любой цивилизацией, здесь или где-либо еще в космосе. «Как только на планете появляется вид, создающий технологии, и этот вид изобретает вычисления (как это произошло у нас), проходит всего несколько веков, прежде чем его интеллект насытит материю и энергию в своих окрестностях и начнет расширяться вовне со скоростью, по меньшей мере равной скорости света, — пишет он. — Такая цивилизация затем преодолеет гравитацию (благодаря изысканным и масштабным технологиям) и другие космологические силы — или, если быть предельно точным, будет маневрировать этими силами и управлять ими — и спроектирует ту Вселенную, которую пожелает. В этом и заключается цель Сингулярности»122.

Курцвейл утверждает, что эта цель настолько универсальна, что на ее основе делает еще один удивительный вывод. «Вероятно, мы одни во Вселенной... Исходя из закона ускоряющейся отдачи, как только ВР [внеземной разум] достигает примитивных механических технологий, проходит всего несколько столетий, прежде чем он обретет те колоссальные возможности, которые я спрогнозировал для двадцать второго века здесь, на Земле». И если бы какая-то инопланетная цивилизация уже сделала это, пишет он, «не заметить это было бы трудно»123.

Утверждение Курцвейла о неизбежности звучит поразительно безапелляционно, учитывая, что его вселенский план опирается на абсолютно недоказанные технологии. Все это — от детального сканирования мозга и компьютеров, достаточно мощных для его эмуляции, до самих нанотехнологий — носит крайне умозрительный характер, без каких-либо существующих доказательств концепции или хотя бы правдоподобных схем. «Никто не знает, что именно нужно сделать в компьютере, чтобы создать нечто, способное чувствовать. Никто не знает, какая степень детализации или зернистости необходима для симуляции, — говорит мне Хендрикс. — И нельзя просто симулировать мозг. Придется симулировать все тело, само ощущение воплощенности в мире. Придется симулировать весь мир. Все это отнюдь не тривиально. А [трансгуманисты] ответят: „Конечно, это не тривиально“. Они просто заявят: „Нет никаких причин, мешающих нам сделать это, если мы приложим достаточно усилий“. Но мир устроен иначе!» И, добавляет он, приближение к успеху может оказаться еще хуже. «Риски метода проб и ошибок здесь просто ужасающие. Допустим, мы начнем приближаться к созданию в компьютере чувствующей модели человеческого мозга... Если у вас возникнет малейшее расхождение между информацией, которую вашему мозгу передают глаза и которую передают уши, это уже ужасное ощущение. Это похоже на морскую болезнь, тошноту или разные виды боли. Получается, мы обещаем создать в компьютерах тысячи или миллионы чувствующих существ, которые, скорее всего, будут страшно мучиться, а потом их просто выключат. То есть можно представить себе этот по-настоящему жуткий процесс создания — если вообразить, что мы на это способны — чувствующих сущностей в компьютерах. Ошибиться можно во множестве вещей. И последствия этих ошибок ужасны»124.

Однако здесь кроется еще более глубокая проблема. Отложим в сторону адские пытки неправильно загруженного мозга, а также тернистые философские вопросы о том, будет ли цифровая копия действительно вами. Отложим даже вопросы о том, как именно будут осуществляться путешествия на световые годы от звезды к звезде или от галактики к галактике без технологий, сошедших прямиком с борта звездолета «Энтерпрайз». В идее Курцвейла об «оживлении Вселенной» все равно остается серьезный изъян: это эвфемизм для тотального уничтожения. Это стало бы концом природы, колониализмом вселенского масштаба, когда планеты и звезды целых галактик будут перемолоты, чтобы обеспечить больше вычислительной мощности для цифровых остатков человечества. Отсюда и настойчивое утверждение Курцвейла о маловероятности существования инопланетной жизни: это заверение в том, что Вселенная ждет, когда мы придем и возьмем ее, и беспокоиться больше не о ком.

Подобный ход мыслей морально отвратителен, не говоря уже о том, что он научно несостоятелен. Не существует надежного способа оценить распространенность внеземной жизни с той степенью точности, на которую претендует Курцвейл. (И выглядит весьма удобным, что Курцвейл настроен столь оптимистично в отношении стольких гипотетических возможностей, за исключением перспективы существования инопланетной жизни.) Даже если не принимать во внимание бедственное положение гипотетических пришельцев, остается вопрос: имеем ли мы моральное право уничтожить буквально всю природу — и кто такие эти «мы», принимающие подобное решение в таком сценарии? Ответом на первый вопрос должно быть решительное «нет»: превращение всего во Вселенной в гигантский компьютер — это чудовищно по своей сути. Курцвейл пытается сгладить эти опасения, предполагая, что мы могли бы сохранить большую часть Вселенной. «Нам не нужно планировать посвятить всю массу и энергию Вселенной вычислениям, — пишет он. — Если бы мы использовали всего 0,01 процента, это оставило бы 99,99 процента массы и энергии нетронутыми, но все равно дало бы потенциал около 10⁸⁶ [вычислений в секунду]... Интеллект, хотя бы приближающийся к этим уровням, будет настолько колоссален, что сможет выполнять эти инженерные подвиги с достаточной осторожностью, чтобы не нарушить любые природные процессы, сохранение которых он сочтет важным»125. Тем не менее он так много рассуждает о «насыщении материи и энергии» Вселенной для «оптимальной вычислительной эффективности», о неумолимой силе закона ускоряющейся отдачи — и о способности виртуальной реальности на базе нанотехнологий предоставлять будущим сверхинтеллектам идеальные симуляции всего, чего они только пожелают, — что любые подобные жесты в сторону умеренности трудно воспринимать всерьез.

К счастью для тех, кому не по душе идея уничтожения Вселенной ради ее превращения в гигантский компьютер, этические соображения — не единственная преграда на этом пути. Перспективы молекулярных нанотехнологий в том виде, в каком их представляют Курцвейл, Дрекслер и Холл, весьма призрачны. Действительно, наши тела, как и тела всех живых существ, наполнены органическими наноразмерными молекулами, которые слаженно работают для выполнения конкретных задач — причем в большинстве случаев весьма надежно: будь то выращивание волос и ногтей, заживление поврежденного участка кожи или сросшейся кости, либо феноменально сложный процесс превращения участка генетического кода ДНК в белок. Верно и то, что за последние три десятилетия некоторые ученые научились приспосабливать эти молекулярные механизмы для новых целей — например, создавая крошечные «шагающие» молекулы на основе ДНК, — а другие черпали вдохновение в природных молекулярных машинах для создания собственных, новых устройств. Но эти достижения не имеют ничего общего с той нанотехнологией, которую имеет в виду Курцвейл, когда рассуждает о «переносе изменчивых свойств виртуальной реальности в реальный мир», о миллиардах наноботов в нашем кровотоке, обращающих вспять процессы старения, или об «оживлении» Вселенной путем ее уничтожения126.

Дрекслер черпал вдохновение в молекулярной биологии, но у биологии есть свои пределы. «Биология изумительна [sic] в огромном разнообразии того, что она способна создать, но она не может вырастить кристалл кремния или произвести сталь, медь, алюминий, титан — практически любой из ключевых материалов, на которых зиждется современная технология, — писал химик Ричард Смолли. — Как без таких материалов самореплицирующийся нанобот [Дрекслера] сможет создать радио, лазер, сверхбыструю память или практически любой другой ключевой компонент современного технологического общества, состоящий не из камня, дерева, плоти и костей?»127 Смолли, большую часть своей карьеры проработавший профессором в Университете Райса, был ключевым участником команды, открывшей бакминстерфуллерен — так называемые «бакиболы», представляющие собой шестьдесят атомов углерода, уложенных в форму футбольного мяча диаметром около нанометра. Эта работа принесла ему и двум его коллегам Нобелевскую премию по химии в 1996 году. Смолли был «очарован» книгой Дрекслера «Машины творения». «Ее чтение стало тем самым триггером, с которого началось мое собственное путешествие в мир нанотехнологий», — писал он позже. Но он был крайне скептически настроен по отношению к тому, смогут ли идеи Дрекслера работать на практике. Смолли выступал с докладами и публиковал статьи с критикой идей Дрекслера, что вылилось в письменную дискуссию между ними на страницах журнала Chemical & Engineering News в 2003 году. Отвечая Смолли, Дрекслер утверждал, что возможно производить «все продукты органического синтеза, а также металлы, полупроводники, алмазы и нанотрубки», используя «компьютеры для цифрового высокоточного контроля, конвейеры для транспортировки деталей и позиционирующие устройства различных размеров для сборки мелких деталей в более крупные», запуская химические реакции путем размещения соответствующих атомов в непосредственной близости друг от друга. Смолли это не впечатлило. «Нет, вы не понимаете, — возразил он. — Точно так же, как нельзя заставить юношу и девушку влюбиться друг в друга, просто столкнув их вместе, невозможно заставить протекать точную химическую реакцию между двумя молекулярными объектами с помощью простого механического движения... Я изложил вам причины, по которым подобный ассемблер не может быть построен и не будет работать на основе предлагаемых вами принципов. Я считаю, что ваша неспособность предложить рабочую стратегию указывает на то, что вы косвенно согласны — даже если открыто это отрицаете, — что идея нежизнеспособна»128.

Смолли, возможно, ошибался, считая, будто Дрекслер втайне с ним согласен, однако он был совершенно прав в том, что Дрекслер так и не представил сколько-нибудь полного объяснения, как могут быть построены подобные системы. «Рефлекторной реакцией Дрекслера и его последователей на любую критику... было отсылать критика к главному труду Дрекслера, «Наносистемы: молекулярные машины, производство и вычисления», будто бы там можно найти исчерпывающий ответ на все вопросы», — пишет биохимик и научный журналист Стивен Эдвардс. Книга «Наносистемы» была адаптирована на основе междисциплинарной докторской диссертации Дрекслера в Медиа-лаборатории Массачусетского технологического института (MIT), научным руководителем которой выступал Минский. «Наносистемы» были гораздо более технической книгой, чем «Машины», однако и в ней не объяснялось, как воплотить в жизнь дрекслеровское видение нанотехнологий. «Нигде в «Наносистемах» вы не найдете чертежа молекулярного ассемблера, — пишет Эдвардс. — Там полно эскизов „молекулярных“ шестеренок, подшипников, храповиков, манипуляторов и тому подобного. Диаграммы молекулярных объектов Дрекслера выглядят точь-в-точь как инженерные чертежи макрообъектов, за исключением тех мест, где указан масштаб»129.

В этом отражалась общая философия нанотехнологий Дрекслера. «Хотя видение нанотехнологий Фейнманом навеяно биологией, — писал он в ответ Смолли, — в своей основе оно механистично, а не биологично. Концепции молекулярного производства следуют по этому пути»130. Но именно здесь и кроется загвоздка: мир наноразмеров фундаментально отличается от нашего. На этом уровне колоссальную роль играет тепловые флуктуации, а также проявляются квантовые эффекты. Отдельные молекулы таких веществ, как вода или углерод, обладают совершенно иными свойствами, нежели их макроскопические агрегаты, к которым мы привыкли в повседневной жизни, а потому машины, возможные на этом уровне, — это отнюдь не шестеренки, храповики и манипуляторы современных промышленных заводов. «Сама идея экстраполяции макроскопического мира — автомобиля, велосипеда или чего-то подобного — на фундаментальные принципы построения искусственных молекулярных машин попросту лишена смысла, — говорит мне химик Фрейзер Стоддарт. — Это никогда не сработает». Стоддарт — один из ведущих ныне живущих экспертов по искусственным молекулярным машинам; в 2016 году он разделил Нобелевскую премию по химии за работу над ними. «Я думаю, это основополагающий принцип для всей области молекулярных машин: они представляют собой совершенно иной мир, отличный от всех тех механизмов и двигателей, что возникли в результате первой промышленной революции, — говорит он. — Их применимость к искусственным молекулярным машинам буквально равна нулю, это ничто... В проектировании и синтезе искусственных молекулярных машин в конечном счете используется сочетание физики и химии»131.

Главный интерес Стоддарта в этой области — заниматься настоящей наукой, или, как он выражается, «исследовать и играть». Тем не менее он согласен с тем, что практическое применение искусственных молекулярных машин открывает огромные перспективы, особенно в медицине и электронике. «Я не хочу выливать на это ушат холодной воды, — говорит он. — Думаю, со временем... врачи будут использовать искусственные молекулярные машины точно так же, как сегодня они — что само по себе поразительно — справляются с протезированием тазобедренных суставов и заменой сердечных клапанов»132. Но подобный мир вовсе не будет похож на картину, которую рисовал себе Дрекслер с его «алмазоподобными» саморепликаторами, создающими буквально все материалы современной промышленности, и уж тем более он не сулил бы бессмертия, которого так жаждут они с Курцвейлом.

Вопреки всему этому, Курцвейл считает, что в дебатах 2003 года победил Дрекслер, а не Смолли. «Аргумент Смолли сводится к формуле: „Сегодня у нас нет X, следовательно, X невозможен“», — пишет Курцвейл133. Двадцать лет назад он уверенно предсказывал, что нанотехнологии в стиле Дрекслера появятся примерно сейчас, и делал смелые заявления о том, что они смогут для нас сделать. «В 2020-х годах производственные устройства на базе нанотехнологий будут способны создавать практически любой физический продукт из недорогого сырья и информации», — писал он в книге «Сингулярность уже близко»134. «Молекулярная сборка предоставит инструменты для эффективной борьбы с бедностью, очистки окружающей среды, победы над болезнями, продления человеческой жизни и многих других благородных начинаний»135. Он также утверждал, что нанотехнологии дадут нам сканирование мозга высокого разрешения и виртуальную реальность, которая будет «неотличима от настоящей реальности и задействует все органы чувств, а также нейрофизиологические корреляты наших эмоций»136.

Сегодня, на фоне этих несбывшихся прогнозов, Курцвейл по-прежнему заявляет, что нанотехнологии дрекслеровского типа обязательно станут реальностью. «Например, мы уже показали, что с помощью нанотехнологий можем создать однолитровый компьютер, который фактически сравнится со всей суммарной мощностью [мозга] людей на сегодняшний день», — сказал он в 2024 году. «[Десять миллиардов] человек поместятся в однолитровом компьютере»137. Ничего подобного продемонстрировано не было; существует лишь набросок, согласно которому это могло бы стать возможным при использовании нанотехнологий Дрекслера и других недоказанных и маловероятных технологий. И все же Курцвейл продолжает настаивать, что нанотехнологии и нейрокомпьютерные интерфейсы, которые, по его словам, жизненно необходимы для наступления Сингулярности, уже не за горами. «К моменту наступления Сингулярности, то есть к 2045 году... можно будет буквально проникнуть внутрь мозга и считать все, что там есть, — говорил он в 2024 году. — Так что даже если вы погибнете — подорветесь на бомбе, например, — к 2045 году мы сможем полностью воссоздать все, что было в вашем мозгу. Это одно из следствий Сингулярности... Мы все обретем фантастическое могущество по сравнению с тем, что имеем сегодня»138.

То, как Курцвейл и его единомышленники-сингуляристы рассуждают о грядущих технологиях, заставляет думать, будто они играют в видеоигру вроде Civilization, где перед ними четко разложено древо технологий, и человечество (или вообще любой разумный вид) просто прокладывает себе путь по этой заранее заданной схеме. Но развитие технологий — это не поезд на рельсах, несущийся по заданному курсу вне чьего-либо контроля. Закон Мура — это не закон природы, это было решение139. Это решение приняли руководители компьютерной индустрии, и следование ему требовало (и по-прежнему требует) тщательного планирования, а также колоссальных объемов денег, ресурсов и человеческого внимания. Законы физики и других наук очерчивают границы возможного спектра технологий, однако конкретные технологии, которые человечество создает в этих границах, определяются нашим выбором и социальными факторами. Тем не менее Курцвейл и иже с ним зачастую рассуждают о технологиях так, словно это неумолимая, безличная сила, обладающая собственными желаниями и движущаяся по пути, не имеющему абсолютно никакого отношения к коллективному выбору человечества. Это сквозит во всех заявлениях Курцвейла о Сингулярности: у нас будут нанотехнологии, мы наполним Вселенную своим разумом, вместо того чтобы говорить «мы можем» или «мы могли бы сделать такой выбор».

Подобная риторика неизбежности преследует несколько весьма удобных целей140. Людям, воплощающим свои идеи в технологии, она предлагает отпущение грехов за любые неприятные и непредвиденные последствия их изобретений — ведь они лишь открывали уже существующий вектор технологического развития, а не направляли его сами. Когда нет места человеческому выбору, не остается места и для моральной ответственности. И если будущее технологий действительно стоит на рельсах, то многое можно открыть, просто внимательно изучив этот якобы неизбежный маршрут — маршрут, ведущий прямиком к Сингулярности. Это обещает не только точное предсказание будущего (и сопутствующее ему ощущение контроля), но и, что гораздо важнее, бесконечную жизнь в будущем, наполненном трансцендентностью и контролем, которые так характерны для идеологии технологического спасения. С концом природы и пришествием Вселенной, представляющей собой один огромный искусственный компьютер — где мы живем в еще более искусственных мирах, генерируемых этими компьютерами, — обещание контроля становится абсолютным, особенно для тех, кто умеет управлять компьютерами. Это фантазия о мире, где единственной важнейшей вещью, буквально определяющей все аспекты реальности, является компьютерное программирование. Все человечество, запущенное на компьютере, до скончания веков.

Давайте на мгновение задумаемся, на что это было бы похоже. По всей видимости, существовал бы некий симулированный мир, похожий на настоящий — то есть в чем-то схожий с нашим собственным. Человеческому разуму потребовалось бы по меньшей мере подобие природы, и предоставить его загруженному в машину сознанию было бы достаточно просто при наличии всех этих объемов памяти и вычислительной мощности. В нем не осталось бы первозданной, нечеловеческой самобытности природы, но была бы предпринята попытка воссоздать ее, чтобы получить комфортную среду обитания для загруженных людей. Все это, конечно, фантастика, но когда Курцвейла и других просят описать, какой будет жизнь загруженного разума после Сингулярности, они отвечают именно в таком ключе. Они описывают нечто, до боли напоминающее метавселенную сверхвысокого разрешения, которую невозможно покинуть, — перманентную виртуальную реальность, обладающую некоторыми базовыми чертами нашего реального мира, либо же сам реальный мир, разрушенный и перекроенный так, чтобы больше походить на иммерсивную компьютерную игру. Для сингуляристов самое большое и принципиальное отличие, к которому они постоянно возвращаются в своих описаниях, — это победа над смертью. Труды Курцвейла — лишь очередная глава в летописи древнейшей фантазии человечества. Даже если бы личное бессмертие оказалось технологически достижимым, в конечном итоге космология наложила бы ограничения на срок существования физических структур, однако Курцвейл не признает и этих лимитов. Он назвал преодоление космологических сил «целью Сингулярности», и в этом действительно кроется суть всего его замысла. Уничтожение природы здесь вторично. Задача состоит в том, чтобы укротить Вселенную, превратив ее в безопасную игровую площадку с мягкими стенами. Закатывание в асфальт любого рая — лишь побочный эффект строительства вселенской парковки, где больше никогда не случится ничего плохого. Никто бы не старел, никто бы не болел и — пожалуй, самое главное — ни у кого бы не умирал отец.

*    *    *

«Мы собрали все, что написал мой отец — он умер, когда мне было 22 года, так что его нет в живых уже более полувека, — и загрузили это в большую языковую модель», — рассказывал Курцвейл в 2024 году. «И тогда вы могли поговорить с ним: вы что-то говорите, а модель прочесывает все им написанное и находит наиболее подходящий ответ, который он действительно когда-то дал на этот вопрос. И это действительно было очень похоже на беседу с ним. Вы могли спросить его, что ему нравится в музыке — он ведь был музыкантом. На самом деле больше всего он любил Брамса. И это было поразительно похоже на разговор с ним»141. В очерке журнала Rolling Stone за 2023 год — продолжении публикации четырнадцатилетней давности — Курцвейл раскрыл некоторые подробности того диалога: «[Курцвейл] спросил у своего "папа-бота", как он его называет, что тот больше всего любит в музыке ("Связь с человеческими чувствами"), в садоводстве ("Это работа, которая никогда не заканчивается") и каковы его тревоги ("Часто кошмарные"). "В чем смысл жизни?" — в конце концов написал он своему папа-боту. "Любовь", — ответил папа-бот»142. Эти ответы выглядят скорее как стандартные реплики среднестатистической версии ChatGPT, нежели как разговор профессионального музыканта со своим взрослым сыном. Но Курцвейл полон оптимизма и верит, что его «папа-бот» тоже будет совершенствоваться. «Думаю, двигаясь дальше, мы сможем сделать общение более интерактивным и точным, так чтобы оно действительно соответствовало личности человека, имитировало его жесты, мимику и так далее, [а также его] тембр голоса, — говорит он. — Компьютеры сделают все еще лучше. Ведь то, что можно делать сейчас с помощью большой языковой модели, еще два года назад было невозможно»143.

Попытка Курцвейла воскресить отца кажется пронзительно наивной. Это также яркая иллюстрация того, как уверенность Курцвейла в непрерывном росте технологической мощи — строго по его графику — сопровождается панглоссовской убежденностью, будто новые технологии, особенно компьютерные, всегда ведут к лучшему. Он, безусловно, признает существование технологических угроз — к примеру, ядерного оружия или определенных способов применения нанотехнологий, — но решение видит в создании еще более совершенных технологий для выявления этих угроз и противодействия им. «Да, опасности существуют, но и компьютеры станут умнее, чтобы избегать подобных угроз», — заявляет он144. Что же касается самих сверхразумных компьютеров эпохи после Сингулярности, он уверен, что они будут относиться к нам хорошо, независимо от того, сольемся мы с ними или нет. «Я ожидаю, что разум, который родится в результате Сингулярности, будет с глубоким уважением относиться к своему биологическому наследию», — пишет он145. В этом отражается очевидное уважение и любовь самого Курцвейла к своему покойному отцу.

Однако далеко не все дети испытывают подобные чувства к своим родителям. Несмотря на множество сомнительных утверждений Курцвейла, именно это — идея о том, что сверхразумный ОИИ будет относиться к людям с уважением, — сегодня вызывает больше всего споров среди его интеллектуальных преемников. Элиезер Юдковский и его последователи согласны с Курцвейлом в том, что грядет нечто грандиозное. Но вместо Сингулярности они боятся, что к нам с экспоненциальной скоростью бредет куда более свирепый зверь.

Сноска

i Разбор многочисленных изъянов в курцвейловской экспоненциальной кривой тренда заслуживает отдельной главы. Здесь я ограничусь упоминанием еще трех: 1. На руку Курцвейлу играет то обстоятельство, что свидетельств о далеком прошлом сохранилось гораздо меньше, поэтому мы попросту знаем о древних эпохах значительно меньше, чем о более близких к нам временах. Например, из-за крайней редкости по-настоящему древних окаменелостей нам тем труднее судить об основных этапах эволюции, чем дальше в глубь веков мы заглядываем. На самом деле вполне вероятно, что Курцвейл колоссально заблуждается в самом неожиданном смысле: если бы сто миллионов лет назад на Земле обитал вид, создавший технологическую цивилизацию, сопоставимую с нашей, мы, вполне возможно, не смогли бы обнаружить никаких следов ее существования. См.: Jason T. Wright, arXiv:1704.07263; Gavin A. Schmidt and Adam Frank, arXiv:1804.03748.

2. Некоторые периоды представлены в списке Курцвейла одной-единственной точкой — например, кембрийский взрыв или промышленная революция. Если бы вместо этого он включил туда отдельные события, происходившие в эти эпохи, экспоненциальный тренд был бы разрушен или, по крайней мере, стал бы гораздо более зашумленным.

3. Последние четыре пункта в моем списке технологических и научных упущений относятся к девятнадцатому веку. Существует убедительный аргумент, выдвинутый Космой Шализи, согласно которому Сингулярность «близка» в том смысле, что она уже произошла в XIX веке. «Почему же тогда, раз Сингулярность столь отчетливо, даже навязчиво видна в нашем прошлом, научная фантастика упорно помещает ее бледный мираж в наше будущее? Возможно, потому, что сова Минервы начинает свой полет лишь в сумерках; мы же находимся на исходе дня, беспокойно грезя о едва замеченных дневных событиях и ожидая, когда взойдут звезды». Косма Шализи, «Сингулярность в нашем световом конусе прошлого», http://bactra.org/weblog/699.html.