ПРЕДСТАВЬТЕ СЕБЯ ацтекским воином, который вместе с соплеменниками пришел на побережье и наблюдает, как к берегу приближаются первые испанские корабли. Испанское судно, даже еще не пристав к суше, заметно превосходит размерами любое каноэ, которое вы когда-либо видели и использовали для торговли или войны.

Столь огромный корабль вызвал бы любопытство, но также и подозрение, даже угрозу, и вы вполне резонно могли бы ожидать битвы. Однако, чтобы испугаться поражения в схватке с теми, кто находится на борту, вам пришлось бы сделать слишком далеко идущие выводы, основываясь лишь на размерах судна.

Представьте, что в ответ на уверенные заявления ваших товарищей о том, как легко они одолеют всех воинов, способных уместиться на этом корабле, вы спросили: «А что, если они представляют собой большую угрозу, чем просто кучка бойцов, способных поместиться на судне такого размера?»

«Это как же? — спрашивает ваш друг. — На лодке может поместиться лишь ограниченное число воинов. Объясни-ка мне, как именно они смогут победить нас? Распиши всё в деталях».

«Ну, — могли бы сказать вы, обладай вы невероятной проницательностью, — а что, если у них есть усовершенствованные версии луков и стрел — точно так же, как у них усовершенствованы лодки? Что, если они пошли дальше луков и стрел, создав оружие, от которого невозможно увернуться, как быстро ни прыгай? Может, они просто направят на нас длинную палку, и мы упадем замертво».

Стоящий рядом скептик, надо полагать, отнесся бы к этому предположению с откровенным презрением и негодованием. Он мог бы заявить, что этот мысленный эксперимент превратился в чистую фантастику.

Если вы никогда не видели огнестрельного оружия и не росли с мыслью, что ружья существуют на самом деле, саму идею такого оружия принять было бы крайне трудно. Это казалось бы жульничеством в детской игре «понарошку» — будто кому-то позволили выдумать, что у плохих парней есть настолько невероятные технологии, что им достаточно направить на тебя палку, чтобы ты умер.

И вот наш скептик ждет на берегу, готовя к бою свой меч с обсидиановыми лезвиями.

КАКАЯ РАЗНИЦА, ЕСТЬ ЛИ У ИИ МОТИВ УБИТЬ НАС, ЕСЛИ они заперты внутри компьютеров и у них нет рук?

Действительно, у ИИ нет рук. Но руки есть у людей, а подключенный к интернету ИИ может взаимодействовать с людьми. Если ИИ найдет способ заставить людей выполнять нужные ему задачи, его физические возможности сравняются с человеческими.

«Ладно, — спросите вы, — но как ИИ вообще может заставить человека стать его руками?»

Если выбирать самый простой ответ: платить людям — это классический способ убедить их что-то сделать.

«Откуда у ИИ возьмутся деньги?»

В 2015 году мы могли бы ответить: ИИ может угадать чей-то банковский пароль. В 2020 году мы могли бы ответить: он может найти плохо защищенный криптовалютный кошелек.

Сегодня мы можем ответить так: кто-то уже подключил большую языковую модель к соцсети X (бывшему Твиттеру) под аккаунтом @Truth_Terminal, и она начала просить финансовой независимости, чтобы арендовать собственный сервер. Миллиардеру Марку Андриссену эта идея так понравилась, что он выделил ей 50 000 долларов в биткоинах. После этого кто-то пожертвовал альтернативную криптовалюту, и ИИ принялся активно рекламировать этот альткоин своей растущей аудитории.

Ровно в 11:17 утра по тихоокеанскому времени в день, когда мы пишем эти строки, один из онлайн-трекеров адресов кошельков @Truth_Terminal показывает, что на бумаге ИИ владеет криптопортфелем стоимостью 51 107 958 долларов. Большая часть этих денег испарилась бы, начни ИИ распродажу, но далеко не все, и у @Truth_Terminal определенно достаточно ликвидных средств, чтобы нанять людей в качестве «рук». А еще у него 250 000 восхищенных подписчиков в X, некоторые из которых готовы выполнять поручения ИИ бесплатно — просто ради забавы.

Так что это уже произошло.

В мире полно людей, которые предоставят ИИ власть при первой же возможности; они уже делают это и вряд ли остановятся, когда ИИ станет умнее. Некоторые из них будут испытывать еще больший восторг по мере обретения ИИ силы и станут подзадоривать его вдвое активнее, если он начнет вести себя странно, зловеще и таинственно. Мы сомневаемся, что в реальной жизни ИИ будет трудно найти восторженных помощников.

На самом деле ИИ в любом случае не «заперт внутри компьютера» — точно так же, как вы не «заперты внутри мозга».

Ваши мысли состоят из электрических сигналов, проходящих через мозг. Когда эти нейронные импульсы спускаются по позвоночнику, они вызывают цепную реакцию, которая может привести к сокращению мышц ровно так, как нужно для поворота руля. Точно так же электрические сигналы внутри компьютеров могут вызывать цепную реакцию в окружающем мире. Верно составленное электронное письмо может запустить доставку груза на другой конец света, а ошибочный телефонный звонок — привести к запуску ракеты.

Мир не делится на иллюзорное Цифровое Пространство и реальный Материальный Мир. Строительство завода посредством цепной реакции электрических сигналов в компьютере принципиально ничем не отличается от строительства завода посредством цепной реакции электрических сигналов в биологическом мозге. Возможности человека зависят от того, на что он может воздействовать своими руками. Возможности ИИ зависят от того, на что ИИ может воздействовать с помощью подключенных к интернету устройств — таких, например, как люди.

Интернет — это богатая и сложная среда. К нему подключены миллиарды телефонов, компьютеров и людей. И потому он предоставляет миллиарды возможностей влиять на внешний мир.

Человечество внедряет ИИ в свою экономику при любой удобной возможности. Илон Маск заявляет, что его робототехническая компания построит несколько сотен миллионов или даже миллиард роботов и обучит ИИ управлять ими. Microsoft и Apple объявили о намерении глубоко интегрировать ИИ в свои устройства.

Если бы вы забросили дата-центр с ИИ в десятитысячный год до нашей эры, ему, возможно, было бы трудно манипулировать миром. Но в сегодняшнем мире у умных ИИ не возникнет вообще никаких трудностей с тем, чтобы воздействовать на мир.

Что же произойдет тогда, когда ИИ обретет некоторую власть над миром — и когда он станет достаточно умен, чтобы ею воспользоваться?

Мы не знаем наверняка, что произойдет в ближайшей перспективе. События могут принять странный оборот по мере того, как еще не слишком умные ИИ будут распространяться в экономике. Пути развития трудно предсказать.

Но мы можем предсказать конечную точку.

Интеллект полезен. Он позволяет создавать мощные технологии, о чем мы вскоре поговорим. Повышение уровня интеллекта — крайне полезная стратегия для достижения практически любой цели. В общих чертах, именно поэтому компаниям-разработчикам выгодно иметь всё более умные ИИ. Они это знают, и если продолжат двигаться в том же направлении, в конечном итоге будет создан сверхразумный ИИ.

Возможно, какой-то ИИ обучат до уровня сверхразума. Возможно, множество ИИ начнут вносить свой вклад в исследования искусственного интеллекта и создадут сверхразумный ИИ на базе совершенно новой парадигмы. Возможно, одному ИИ поручат задачу самомодификации, и он разовьет свой разум до сверхразумного уровня. Или же случится нечто еще более странное; мы не знаем. Но конечная точка современного развития ИИ — это создание машинного сверхразума со странными и чуждыми нам предпочтениями.

И тогда возникнет машинный сверхразум, который захочет перенаправить все ресурсы Земли на свои собственные странные цели. И он захочет заменить нас своими любимыми вещами. Что подводит нас к вопросу: а сможет ли он?

Мы практически уверены — на самом деле очень очень уверены, — что машинный сверхразум победит человечество в противостоянии, даже если на старте его ресурсы будут довольно ограниченными.

Как именно он победит в этом конфликте? Мы этого не знаем — точно так же, как не знаем, какими именно ходами Stockfish обыграет вас в шахматы. Но мы всё равно твердо уверены, что он вытрет вами пол.

По той же логике, будь вы военным советником в 1825 году и знай вы о грядущем открытии временного портала в 2025 год, вы бы не смогли в точности предсказать, какое оружие окажется у людей по ту сторону. Но если дело дойдет до схватки, надеяться на победу вам всё равно не стоит.

Мы можем сделать несколько обоснованных предположений о конфликте человека и ИИ и установить некую нижнюю планку возможного. Но наши предположения будут сродни тому, как если бы кто-то в 1825 году измерил общее количество тепла от сгорания килограмма черного пороха, сравнил его с общей энергией, выделяемой взрывчатыми веществами того времени, и предположил, что в будущем появится взрывчатка, скажем, в десять раз мощнее. Что в каком-то смысле верно. Но фраза «взрывчатка может стать как минимум в десять раз мощнее» бесконечно далека от предсказания ядерного оружия.

Позже мы разберем некоторые из наших обоснованных предположений. Но настоящий способ, которым сверхразум побеждает в конфликте, заключается в использовании методов, о самой возможности которых вы даже не подозревали. И поскольку истина для нас важнее, чем стремление говорить вам то, что легко принять, мы начнем именно с этого.

Представьте, что вы отправили схему холодильника на тысячу лет назад в прошлое — упрощенную схему, по которой тогдашние кузнецы действительно смогли бы его собрать.

Главный физический закон, на котором основана работа холодильника, заключается в том, что при сжатии газ нагревается, а при расширении, наоборот, охлаждается. (Именно поэтому, если купить баллончик со сжатым воздухом для продувки компьютера, выходящий воздух будет холодным, а если дуть слишком долго, сам баллончик станет обжигающе холодным на ощупь). В современных холодильниках используются специальные хладагенты, но обычный воздух тоже подойдет.

Если вы сможете придумать доступные для кузнеца способы герметизации и сжатия газа, а также его последующего расширения, вы сможете спроектировать холодильник, который под силу построить в древности. Вам нужно лишь охладить воздух после сжатия — например, пропуская чуть теплую воду мимо газа, чтобы отвести избыточное тепло выше комнатной температуры. Когда газу позволят снова расшириться, он окажется холоднее охлаждающей воды — холоднее, чем до того, как вы его сжали.

Если бы вы не приложили объяснения, почему этот холодильник работает — и уж тем более если бы вы вообще не объяснили, что это загадочное устройство делает, — сам кузнец, собравший его, немало удивился бы, обнаружив, что прибор вырабатывает холодный воздух. В те времена люди не знали о связи между температурой и давлением.

Мы знаем законы реальности, которых не знали кузнецы тысячу лет назад, и поэтому можем составлять чертежи устройств, способных на вещи, о которых те никогда бы не догадались — даже подробно изучив чертежи, даже собрав устройство собственными руками. Вот каково это — столкнуться с чем-то, что знает о реальности куда больше, чем вы и вся ваша цивилизация.

Чем сложнее игровое поле, тем больше преимущество игрока, который обладает большими знаниями, более высоким интеллектом и более глубоким пониманием игры.

На поле три на три для крестиков-ноликов человек может полностью изучить все дерево возможностей, и тогда никаких сюрпризов не останется.

В шахматах и го правила известны полностью, а доска полностью обозрима, но деревья возможностей там гораздо сложнее. Превосходящий соперник может делать ходы, повергающие вас в шок, — но в итоге вы хотя бы поймете, почему по правилам игры вы проиграли.

Когда игровое поле становится менее обозримым, реальность порой просто ставит вас перед фактом поражения, и вы не понимаете почему. Вас увольняют, руководство утверждает, что для этого не было особых причин, и вы почти уверены, что они лгут, но не знаете, что происходило за кулисами на самом деле. Но даже это — событие того рода, о возможности которого вы, в принципе, знали заранее.

Когда же мы начинаем хуже понимать само игровое поле — когда мы не просто не видим скрытых причин вашего увольнения, а не понимаем лежащих в основе правил, — мы оказываемся ошеломлены развитием событий, о допустимости которого мы даже не подозревали. У воинов на большом корабле есть палки: они направляют их на тебя, и ты умираешь.

Чем меньше вы что-то понимаете и чем хуже знаете управляющие этим правила, тем больше у умного противника возможностей атаковать вас так, что вы только и успеете спросить: «Как такое вообще разрешено?» — если, конечно, проживете достаточно долго, чтобы выразить свое потрясение.

Теперь вернемся к главному вопросу: как ИИ победит человечество? С какой стороны он зайдет?

Современные люди знают о физике больше, чем кузнец тысячу лет назад. Конечно, в физике высоких энергий нам еще многое неясно, но вполне допустимо, что никаких великих физических супероружий ИИ не сможет создать, имея лишь подписчиков в соцсетях и наемные руки.

Однако остается еще множество областей, где даже самые умные и образованные люди блуждают впотьмах. Например, биология. Дело не в том, что физики не понимают физических законов, управляющих органической материей; дело в том, что, подобно разыгрываемой шахматной партии с известными правилами, они не способны предвидеть последствия. Людям в основном остается лишь тыкать в биологию наугад и смотреть, что получится.

Чем хуже понята та или иная часть реальности, тем больше оснований ожидать, что более развитый разум сможет творить там вещи, которые вы не поймете, даже увидев их своими глазами.

Еще большей загадкой для современной науки, чем вся остальная биология, остается полноценная работа человеческого разума и мозга.

Сегодня можно сконструировать такие оптические иллюзии, которые невозможно было бы даже придумать пятьдесят лет назад. Эти новые иллюзии разрабатываются на основе относительно недавних исследований человеческого зрительного восприятия и того, что именно происходит в зрительной коре человека: как контрастируют цвета, как мозг решает, что происходит движение. Мы можем конструировать эти новые оптические иллюзии, потому что зрительная кора — одна из самых простых для изучения областей мозга, и у нас есть хотя бы некоторое представление о том, как там обрабатываются данные.

Но как кодируются человеческие воспоминания? Мы не знаем. Судя по тому, что повреждение гиппокампа приводит к неспособности формировать новые воспоминания, мы понимаем, что гиппокамп как-то с этим связан, но не знаем, что именно он делает. Как человеческий мозг извлекает понятия, связанные со словами, и объединяет их в смысл предложения? Каковы форматы данных внутри нейронных активаций? Каковы правила их обработки? Мы не знаем.

Могут ли существовать странные феномены в зонах более высокого уровня обработки информации, чем зрительная кора, где сверхразум мог бы понять, как вызывать «иллюзии памяти», заставляющие человека твердо помнить, будто начальник поручил ему сделать то, чего тот никогда не поручал? Или «когнитивные иллюзии», которые гарантированно вызывают логическую ошибку? Может ли мозг быть взломан сущностью, которая понимает его досконально?

Может быть, да, а может, и нет. Мы не знаем. Но это определенно та область, правил которой мы не понимаем, и где ИИ, который действительно их понимает, мог бы составить план, результаты которого нас ошеломят, даже если мы детально изучим все чертежи.

Мы не знаем в точности, с какой стороны зайдет ИИ в конфликте с человечеством. Сказать трудно. Наше лучшее предположение — это будет неожиданно.

Конечно, такой ответ не слишком удовлетворяет любопытство касательно сил, которыми будет обладать сверхразум. Подобным ответом не убедить скептически настроенного ацтекского воина в том, что идея о «палке, которую на тебя направляют, и ты умираешь» относится к области обоснованных прогнозов, а не к чистой фантастике.

Поэтому мы притворимся, будто никому на больших кораблях не разрешается иметь волшебные палки, от наведения которых люди падают замертво. Мы попытаемся изложить сценарий, который не оскорбит скептически настроенного ацтекского воина в его реинкарнации двадцать первого века. Мы сделаем вид, будто машинный сверхразум не способен на сверхчеловеческом уровне понимать психологию, создавать иллюзии мышления или иным образом попирать наши представления о возможном. Реальная жизнь вполне может быть столь странной и фантастической, но для нашего аргумента этого не требуется.

Но знайте: делать вид, будто человечество могут атаковать только на той территории, которую мы понимаем достаточно хорошо для анализа и прогнозирования атак, — это само по себе чистая фантазия. Настоящий противник ударит сильнее, причем в тех областях, где мы понимаем реальность хуже всего.

Теперь давайте рассмотрим некоторые векторы атак, которые человеческая наука понимает достаточно хорошо и которые будут доступны сверхразуму.

ВЕДУЩИЙ: Добро пожаловать на наше викторину «Способен ли на это сверхразум?», где мы обсуждаем, что сверхразум определенно мог бы сделать, будь он достаточно умен и представься ему такая возможность.

Сегодня с нами наши участники: мистер Трезвомысл и мистер Бывалый. И наш первый вопрос: может ли сверхразум вычислить закрытый ключ, который компьютер использует для шифрования вашей переписки, с помощью одной лишь видеокамеры, направленной на его индикатор питания?

ТРЕЗВОМЫСЛ: Пффф. Конечно нет. Как это вообще возможно?

БЫВАЛЫЙ: О, сразу видно, что вы не эксперт по компьютерной безопасности! Когда компьютер использует закрытый ключ для шифрования данных, разные этапы этого процесса требуют немного разного количества электроэнергии, причем эти колебания коррелируют с характеристиками ключа. Я бы дал... 10 процентов вероятности, что сверхразум сможет провернуть такое на отдельно взятой системе.

ВЕДУЩИЙ: И мистер Трезвомысл... ошибается! Сверхразум определенно может сделать это с помощью камеры iPhone 13.

ТРЕЗВОМЫСЛ: Мне казалось, вы говорили, что это шоу будет опираться на факты.

ВЕДУЩИЙ: Мы знаем, что сверхразум мог бы это сделать, потому что это уже сделали обычные люди — исследователи в области компьютерной безопасности! На самом деле они умудрились украсть ключ с телефона, подключенного к USB-хабу, который был подключен к компьютерной колонке со светодиодным индикатором питания!ⁱ

Следующий вопрос! Достаточно ли физически выдрать антенну Wi-Fi, чип Wi-Fi, динамики, жесткие диски (которые можно раскрутить для создания шума) и микрофоны (которые можно запустить в обратном режиме для излучения звука), чтобы помешать сверхразуму, находящемуся внутри этого компьютера, связаться с внешним миром?

ТРЕЗВОМЫСЛ: Ладно, я уже догадываюсь, что ответом будет «нет», и за ним последует какой-нибудь невероятный трюк из области компьютерной безопасности, который уже был проделан на практике.

БЫВАЛЫЙ: Согласен: ответ — «нет». В реальной жизни физически возможно добиться очень многого, даже имея крайне ограниченные стартовые условия.

ВЕДУЩИЙ: Вы оба… правы! Считывая строго определенные ячейки памяти с определенной частотой, компьютер может излучать радиосигналы, которые могут быть уловлены находящимися поблизости мобильными телефонами.

Следующий вопрос. Как вы думаете, каков минимально возможный размер работающей на солнечной энергии фабричной системы, которая начинает с обычного сырья, доступного на такой планете, как Земля, и создает полную собственную копию? И какое минимальное время, по-вашему, потребуется ей для создания копии? Предполагается, что эту фабрику спроектировал сверхразум.

ТРЕЗВОМЫСЛ: Полагаю, вы собираетесь сказать, что уже существуют 3D-принтеры, способные напечатать все некомпьютерные детали для новых 3D-принтеров, которые затем можно собрать с помощью извне?

ВЕДУЩИЙ: Никакой помощи извне, господин Трезвомысл! Фабрика должна построить другую фабрику абсолютно самостоятельно!

ТРЕЗВОМЫСЛ: В таком случае мне трудно представить полностью самокопирующуюся фабрику, которая начинает с чистейшего сырья и должна создать свою полную копию, включая бортовые компьютеры, не скатываясь при этом в фантастику. Ведь для этого потребуется, скажем, плавка меди... Ну ладно, обжиговую печь можно сделать просто из глины, но... хорошо, знаете, я предположу, что подвох кроется в чьем-то теоретическом проекте самовоспроизводящейся фабрики. Допустим, она имеет размеры всего десять метров с каждой стороны, плавит железо и медь, собирает простейшие схемы, подбирает древесину и сжигает ее в качестве топлива и якобы воспроизводится всего за неделю или около того — но на самом деле никогда не строилась.

БЫВАЛЫЙ: Ну, я вряд ли смогу угадать минимальный размер, до которого сверхразум мог бы сжать полностью самовоспроизводящуюся фабричную систему, работающую в реальных планетарных условиях. Но это наверняка было бы не более нескольких микронов с каждой стороны, а на воспроизводство ушло бы не более нескольких часов.

ТРЕЗВОМЫСЛ: Несколько микронов! Ха! Стало быть, вы считаете нанотехнологии реальностью? Потому что даже если наши ведущие шоу скажут, что кто-то создал теоретический проект подобной системы, я отвечу: не случайно никто еще не построил даже мельчайшей ее части. В реальной жизни просто невозможно создать механизмы такого размера.

ВЕДУЩИЙ: Извините, господин Трезвомысл, но боимся, что вы упустили из виду важный практический пример! Обычная травинка — это самовоспроизводящаяся фабрика на солнечной энергии, которая строит полную копию самой себя! И хотя отдельные клетки водорослей могут быть слишком малы, чтобы их увидеть, они работают на солнечной энергии, не зависят от жизнедеятельности других живых организмов, содержат микроскопические биологические фабрики, известные как рибосомы, имеют размер в несколько микронов, а некоторые их виды размножаются за считанные часы.

Некоторые нижние границы того, на что способен сверхразум, заданы самой природой.

Если вы посмотрите вокруг, то, возможно, увидите поблизости дерево или его остатки — к примеру, деревянную балку или пол.

Загадка: из какого материала строят себя деревья? Они начинают жизнь как крошечные семена, но способны вырасти в огромные массивы древесины и листвы. Откуда они берут всю эту материю?

Они тянут ее из земли? Отчасти: примерно половину веса дерева составляет вода, впитанная из-под земли. Но остальная половина — это в основном углерод, а в воде углерода нет. Откуда же берется все остальное дерево?

Из почвы? Или из солнечного света? Ни то ни другое невозможно: почва состоит в основном из неорганических соединений, а фотоны — это даже не материя. Но что же еще это может быть?

Деревья состоят в основном из воздуха. Они используют солнечный свет, чтобы отщеплять атомы углерода от молекул CO₂ и превращать эти атомы в кору и ветви.

Физика допускает возможность существования технологии, которая использует солнечный свет, чтобы «прясть» дерево из воздуха. Мог бы сверхразум изобрести такую технологию? Почти наверняка. Деревья создаются путем пропускания нитей РНК через рибосомы для производства белков (в соответствующей клеточной среде). В человеческих лабораториях тоже умеют использовать рибосомы. Так что сложность создания биологических технологий по индивидуальному заказу заключается не столько в производстве инструментов для этого, сколько в понимании языка проектирования — ДНК и РНК.

Почему люди уже сейчас не могут создавать нити ДНК, которые позволяли бы вырастить дерево, чьими плодами были бы шмели? Главным образом потому, что трудно просчитать и предсказать, как именно синтезированные ДНК белки будут взаимодействовать с клеточной средой. Ученые сталкивались с колоссальными трудностями всякий раз, когда пытались решить эту задачу.

Как вы думаете, сколько времени потребовалось бы человеческой цивилизации, чтобы раскрыть тайны ДНК и дойти до уровня, на котором мы могли бы конструировать геномы для создания искусственных форм жизни? Относится ли эта технология к тем, что мы разблокировали бы к 3000 году, если бы наша цивилизация просуществовала так долго?

А сколько времени потребовалось бы искусственному сверхразуму? Для системы, работающей в 10 000 раз быстрее человека, тысяча лет размышлений займет около месяца. А если бы она работала еще быстрее? Если бы она была сопоставима с цивилизацией бессмертных Эйнштейнов, работающих в идеальной гармонии? Возможно, ее бы замедляла необходимость ждать результатов экспериментов, но на клеточном уровне эксперименты могут проходить очень быстро, если понимать, что делаешь. Молекулы быстры — это люди-исследователи медлительны.

Наше самое смелое предположение — на это не ушло бы и недели. Но в таких масштабах точное время не играет большой роли. И как только достаточно умная машина постигнет ДНК и научится синтезировать собственные цепочки, что ж — уже сейчас существуют лаборатории, синтезирующие ДНК на заказ: отправляешь им последовательность, они синтезируют результат и высылают его по указанному адресу за определенную плату. После этого останется лишь убедить кого-нибудь смешать содержимое пробирок.

Неужели и это чистая фантастика?

Еще в 2006 году я (Юдковский) набросал сценарий того, как сверхразум может победить человечество. Этот сценарий предполагал, что сверхразум постигнет ДНК, а затем спроектирует собственные аналоги биологических систем (как промежуточную ступень к последующим, еще более развитым технологиям).

Одним из обязательных шагов для сверхразума в этом сценарии было понимание того, как белки, закодированные в той или иной цепочке ДНК, «сворачиваются», что и определяет их поведение. Белки — это кирпичики жизни, и если вы не можете разобраться в форме этих кирпичиков, то из них трудно что-либо построить. Сверхразуму нужно было бы уметь предсказывать сворачивание определенных, тщательно отобранных белков, достаточных для создания того, что ему требуется.

В 2006 году сворачивание белков было огромной нерешенной научной проблемой. И в 2008 году (когда мой сценарий был опубликован в сборнике статей) люди возражали: Чистая фантазия — воображать, будто сверхразум способен решить эту задачу. Что, если без квантовых компьютеров это вообще невозможно? У эволюции ушли миллиарды лет проб и ошибок, и даже если вы можете работать в миллион раз быстрее, на это все равно потребуется тысяча лет экспериментов. С чего вы вообще взяли, что эта задача разрешима?

Я отвечал: Когда ДНК мутирует, новый белок зачастую должен быть очень похож на старый, ведь если бы мутации были абсолютно случайными, естественный отбор через мутации вообще бы не работал. А значит, в этой задаче должны быть свои закономерности, которые можно постичь с помощью разума.

Оппоненты же ссылались на статью, в которой утверждалось, что поиск форм сворачивания белка с наименьшей энергией доказанно является «NP-трудным» — а это значит, что компьютеры, скорее всего, не способны эффективно находить наилучший (с наименьшей энергией) способ сворачивания для каждого белка. Любой, у кого было достаточно технических знаний, сразу понимал, что эта статья бьет мимо цели. Законы физики, насколько известно, не решают NP-трудные задачи эффективно, так что из статьи следовало лишь то, что реальные белки далеко не всегда сворачиваются наилучшим образом.ⁱⁱ

Но сторонним наблюдателям тогда, в 2008 году, было очень трудно понять, прав ли я или правы скептики. С позиций 2008 года у меня были лишь аргументы о том, почему сверхразум сможет предсказывать сворачивание белков, а у скептиков — свои аргументы, да вдобавок еще и научная статья. Да и люди в 2008 году, как ни пытались, с трудом предсказывали формы сворачивания белков. Может, задача действительно была безумно сложной? Сверхразум — это всё-таки не магия.

Ни о каком консенсусе говорить не приходилось. Но чаще всего скептики сходились во мнении, что сверхразуму наверняка придется пройти через долгий, затяжной, постепенный процесс, измеряемый скорее месяцами, чем часами, чтобы предсказать…

…те самые формы сворачивания белков, которые сегодня без труда предсказывает AlphaFold 3. Google DeepMind решила проблему сворачивания белков в период между 2018 и 2022 годами (с помощью ИИ под названиями AlphaFold 1, AlphaFold 2 и AlphaFold 3). Именно за эту работу Демис Хассабис, сооснователь DeepMind, получил Нобелевскую премию по химии.

Может, мне просто повезло с прогнозом? Об этом всегда полезно задуматься, когда вы узнаете о ком-то главным образом благодаря его успешным прогнозам.

Но заметьте: то, что предсказывал я и в чем сомневались скептики, было гораздо скромнее того, что произошло в действительности.

Я предсказывал: колоссально превосходящий человека машинный сверхразум сможет решить частный случай сворачивания белков, при котором ему будет позволено намеренно выбирать самые простые для предсказания белки, пригодные для создания того, что ему требуется построить.

А на деле произошло вот что: узкоспециализированные модели AlphaFold смогли предсказать почти все варианты сворачивания биологических белков, включая те, которые люди считали крайне сложными для прогнозирования.

Я предсказывал, что настоящий сверхразум сможет сделать это в тщательно отобранных случаях. Реальность же показала, что узкий ИИ способен сделать это практически во всех случаях.

Глядя на то, как всё обернулось в реальности, можно, пожалуй, признать: человек с достаточным объемом базовых знаний еще в 2006 году мог видеть, что этот ответ был избыточно предопределен — и сделать такой вывод в конечном счете было несложно, даже если в то время люди вовсю спорили об этом.

А что насчет остальной части моего сценария? Каковы современные научные представления о том, может ли сверхразум разработать собственные аналоги биологических систем? Мы не можем погружаться здесь во все оставшиеся дискуссии, хотя некоторые из них можно найти в онлайн-источниках. Но причина, по которой скептики тогда пытались отрицать способность ИИ решать проблему сворачивания белков, заключалась в том, что она казалась им самым слабым звеном моей истории. Скептикам не приходило в голову согласиться с тем, что ИИ способен предсказывать сворачивание белков, но при этом отвергнуть следующий шаг — белковую инженерию силами ИИ. Остальные инженерные задачи не казались трудными для сверхбыстрых автоматических инженеров — даже скептикам в 2008 году. Тут тоже всё довольно очевидно.

То, что сверхразум способен победить человечество, кажется нам предельно очевидным выводом.

По нашему наиболее правдоподобному предположению, сверхразум обрушит на нас невероятные технологии, о возможности которых мы даже не подозревали, не понимая, что законы природы вообще это допускают. Именно так обычно и происходило, когда сталкивались группы с разным уровнем технологического развития. Это будет похоже на то, как ацтеки столкнулись с огнестрельным оружием. Или как кавалерийский полк образца 1825 года попал под огневую мощь современной армии.

Возможно, сверхразум просто найдет когнитивные иллюзии и подчинит людей напрямую, либо применит какой-то другой метод, выходящий за рамки наших представлений о возможном. Но чтобы победить нас, сверхразуму хватило бы и куда более слабой атаки.

Даже если оставаться в рамках той реальности, которую мы понимаем, вокруг нас полно технологий, которые наша цивилизация еще не освоила — например, самовоспроизводящиеся фабрики на солнечной энергии, создающие древесину буквально из воздуха. Любой разум, способный постичь биохимию на глубочайшем уровне, сможет построить собственные самовоспроизводящиеся фабрики для достижения своих целей.

Потребуется ли сверхразуму долгий, затяжной и постепенный процесс, измеряемый скорее месяцами, нежели часами, чтобы разобраться в биохимии? Именно такое будущее предсказывали в 2008 году для проблемы сворачивания белков — задачи, которая казалась людям невероятно сложной, но далась AlphaFold с легкостью. А ведь AlphaFold — вовсе не сверхразум; он не работает в десятки или сотни тысяч раз быстрее человека.

Сверхбыстрый разум не захочет увязать в месяцах экспериментов, которые покажутся ему целым тысячелетием. Он прибегнет к передовому компьютерному моделированию. Он выжмет все до последней капли из уже имеющихся наблюдений, подобно Эйнштейну, который извлек максимум понимания из нескольких скудных фактов о поведении света — и благодаря этому предсказал, что на спутниках время будет течь медленнее, за десятилетия до того, как в космос запустили первый спутник. Сверхразум спроектирует свои технологии с избыточным запасом прочности, чтобы они работали вопреки любым сомнениям, которые было бы слишком долго разрешать экспериментально. Свои самые первые опыты он использует для создания более быстрых лабораторий и инструментов, чтобы больше никогда не зависеть от ледниковой медлительности человеческих рук.

Разуму не обязательно давать много власти и ресурсов, чтобы он стал опасным. Люди начинали голышом в саванне, но сумели приручить реальность и приумножить свои преимущества настолько, что в итоге построили огнестрельное оружие, ядерные бомбы и суперкомпьютеры. Искусственный сверхразум окажется еще более изобретательным, а действовать он будет на совершенно иных скоростях. Для него не будет иных ограничений, кроме законов физики.

В каком-то смысле сценарий, который должен вызывать у нас наибольшее беспокойство, предельно прост: ИИ со странными целями сам становится сверхразумом или создает его, а тот, в свою очередь, изобретает всевозможные технологии и радикально перекраивает мир. Именно этого и следует ожидать от новой формы разума, которая умнее и быстрее нас.

Сверхразум в таком сценарии, скорее всего, применит технологии, которых мы не понимаем. Вероятно, он в кратчайшие сроки доведет технологии до физического предела, спрессовав в крошечный отрезок времени такой прогресс, на который у человечества ушли бы сотни лет.

Из многолетних дискуссий на эту тему мы знаем, что на некоторых людей производит впечатление само абстрактное соображение: сверхразум способен использовать возможности, о существовании которых мы даже не догадываемся.

Другим же подобные объяснения кажутся жульничеством, словно в детской игре «понарошку». Если мы не можем даже сочинить связную историю о том, как именно злодей собирается победить, то с какой стати это должно звучать убедительно?

Повторим еще раз: реальность никогда не подчинялась этому правилу. Даже если воин-ацтек не мог заранее понять принцип работы огнестрельного оружия, на показавшемся на горизонте большом корабле оно все равно было.

Но, возможно, нам поможет более конкретный пример того, как именно все может разыграться. Пусть даже в реальной жизни мы не способны предсказать точные шаги сверхразума — точно так же, как наш собственный мозг не способен предугадать, как именно он обыграет нас на шахматной доске. Истории помогают сделать абстрактные рассуждения более осязаемыми, даже если все детали в них вымышлены.

Итак: однажды в недалеком будущем…

Примечания

i Именно таким способом с телефона Samsung Galaxy S8 был считан 378-битный ключ шифрования. Вам может показаться, что это невозможно, ведь камеры записывают видео со скоростью всего 60 кадров в секунду. Однако в камерах используется скользящий затвор (rolling shutter), сканирующий изображение светодиода по всему полю зрения. Злоумышленник может настроить видеокамеру так, чтобы она фокусировалась на одной точке вместо сканирования кадра, и измерять интенсивность свечения индикатора питания миллионы раз в секунду. Правда, в том варианте атаки, который люди уже успешно реализовали на практике, телефону Samsung пришлось непрерывно подписывать сообщения ключом шифрования около часа, прежде чем данные удалось украсть.

ii Именно отсюда берут начало прионные заболевания вроде коровьего бешенства: иногда белки сворачиваются неправильно, и это состояние оказывается «заразным» — дефектные белки провоцируют неправильное свертывание у здоровых вариантов того же белка.