Вообразите себя ацтекским воином. Вы стоите с товарищами на берегу и наблюдаете за приближением первых испанских кораблей. Даже с такого расстояния видно, что они заметно больше каноэ, которые вы используете для торговли или войны.

Такое большое судно вызывает не только любопытство, но еще подозрение и даже ощущение угрозы – вы вполне резонно думаете о возможной стычке. Но чтобы всерьез испугаться поражения в бою с людьми на борту, вам придется провести очень смелую экстраполяцию, исходя только из размеров корабля.

Когда ваши товарищи уверенно заявляют, что легко перебьют всех воинов, поместившихся на этом судне, вы спрашиваете:

– А если угроза больше, нежели просто число воинов, которые поместятся на лодке такого размера?

– Как это? – удивляется ваш друг. – Лодка вмещает лишь ограниченное количество воинов. Расскажи-ка мне, как они могут нас победить, опиши в деталях.

– Ну, – сказали бы вы, если бы обладали невероятным даром предвидения, – что, если у них имеются сильно улучшенные варианты луков и стрел, раз уж у них есть улучшенные лодки? А что, если у них уже не луки и стрелы, а оружие, от которого мы не сможем уклониться, как бы быстро ни прыгали? Может быть, они просто направят на нас длинную палку – и мы упадем замертво.

Легко представить, с каким откровенным презрением и негодованием отреагировал бы на такое предположение стоящий рядом скептик. Скорее всего, он сказал бы, что мысленный эксперимент скатился в область сказок.

Если вы никогда не видели огнестрельного оружия, если не выросли с мыслью, что оно реально, трудно поверить в саму идею такого оружия. Это походит на жульничество в детской игре, когда все происходит понарошку: вдруг оказывается, что у плохих парней настолько крутые технологии, что они просто направляют на тебя палку – и ты умираешь¹.

И вот наш скептик ждет на берегу, готовя к бою свой ацтекский меч с обсидиановыми лезвиями.

Пусть у ИИ-моделей есть мотив убить нас, но что с того, если они заперты внутри компьютеров и у них нет рук?

Да, у ИИ-моделей действительно нет рук. Но руки есть у людей, а модель, подключенная к интернету, может с ними взаимодействовать. Если она сумеет найти способ заставить людей делать то, что ей нужно, ее физические возможности ни в чем не будут уступать возможностям человека.

“Хорошо, – спросите вы, – но как ИИ-модель заставит какого-нибудь человека стать ее руками?”

Ответ прост: классический способ убедить человека что-то сделать – заплатить ему.

“А откуда ИИ-модель возьмет деньги?”

В 2015 году мы могли бы ответить: она подберет пароль к какому-нибудь счету в банке. В 2020-м мы могли бы ответить: она найдет плохо защищенный криптокошелек.

Сегодня мы ответим так: кто-то уже подключил одну LLM к сети X (бывший Твиттер) под аккаунтом @Truth_Terminal, и она начала выпрашивать средства на аренду собственного сервера. Проникшийся этой идеей миллиардер Марк Андриссен перевел ей пятьдесят тысяч долларов в биткоинах. Затем кто-то подарил ей другую криптовалюту, и LLM начала пиарить эту альтернативную криптовалюту своей растущей аудитории.

По состоянию на 11:17 утра по тихоокеанскому времени того дня, когда мы пишем эти строки, один из онлайн-трекеров адресов кошелька @Truth_Terminal показывает, что формально ИИ-модель владеет портфелем криптовалют на сумму 51 107 958 долларов². При попытке продажи бóльшая часть этих денег, разумеется, испарится, однако @Truth_Terminal вполне хватит ликвидных средств, чтобы нанять человека³. А еще у этой ИИ-модели есть четверть миллиона восхищенных подписчиков в сети X, и кто-то среди них готов выполнять распоряжения машины бесплатно – просто смеха ради.

Так что это уже произошло.

Найдутся и люди, готовые при первой же возможности отдать ИИ-модели власть, и те, кто уже этим занимается, и те, кто вряд ли остановится, по мере того как модели будут становиться умнее. Некоторые люди воспылают еще большим энтузиазмом, когда ИИ-модели получат власть, и будут подначивать их с удвоенной силой, если те начнут вести себя странно, зловеще и загадочно. Мы сомневаемся, что в реальной жизни у ИИ-моделей возникнут затруднения с помощниками-энтузиастами[28].

На самом деле искусственный интеллект “заперт внутри компьютера” не более, чем вы “заперты внутри мозга”.

Ваши мысли – это электрические сигналы, проходящие через мозг. Когда эти нейронные импульсы пробегают по вашему позвоночнику, они вызывают реакцию, и ваши мышцы сокращаются именно таким образом, чтобы повернуть руль. Точно так же электрические сигналы внутри компьютеров могут вызвать реакцию во всем мире. Одно верное электронное письмо способно отправить груз на другой конец света, один неверный телефонный звонок – привести к запуску ракеты.

Мир не делится на ненастоящий цифровой и настоящий материальный. Строительство завода с помощью электрических сигналов в компьютере принципиально не отличается от строительства завода с помощью электрических сигналов в биологическом мозге. То, что может сделать человек, зависит от того, на что он может воздействовать своими руками. То, что может сделать модель ИИ, зависит от того, на что она может воздействовать с помощью устройств, подключенных к интернету, – включая людей.

Интернет – богатая и сложная среда. Он соединен с миллиардами телефонов, компьютеров и людей. Следовательно, он предлагает миллиарды способов для воздействия на внешний мир.

Человечество интегрирует ИИ-модели в свою экономику везде, где только может. Илон Маск заявляет, что его компания построит несколько сотен миллионов или даже миллиард роботов и обучит ИИ-модель управлять ими⁴. Microsoft и Apple объявили о намерении глубоко встроить модели ИИ в свои устройства⁵.

Если бы вы забросили дата-центр с ИИ-моделью в 10 000 год до нашей эры, то у нее, возможно, и возникли бы трудности с манипулированием миром. Но сегодня у умной модели нет абсолютно никаких проблем с воздействием на мир.

Что произойдет, когда ИИ-модели получат определенную власть над миром – и станут достаточно умны, чтобы ею воспользоваться?

Мы не знаем точно, что произойдет в ближайшем будущем. Ситуация может оказаться довольно странной, поскольку не слишком умные модели по-прежнему будут проникать во все области экономики. Пути развития спрогнозировать сложно.

Но мы можем предсказать конечный результат.

Интеллект – полезный ресурс. Он позволяет создавать мощные технологии, о чем мы поговорим чуть позже. Наращивание интеллекта – весьма полезная стратегия для достижения практически любой цели. Именно поэтому ИИ-компаниям выгодно, чтобы модели становились умнее. ИИ-компании понимают это, и если они продолжат в том же духе, в конце концов будет создан сверхинтеллект.

Возможно, какую-нибудь модель обучат до уровня сверхинтеллекта. Или несколько моделей подключатся к исследованиям и породят искусственный сверхинтеллект, используя совершенно новую парадигму. Возможно, одной из моделей поручат самомодифицироваться, и она разовьет себя до уровня сверхинтеллекта. А может быть, произойдет что-то совсем необычное. Мы не знаем. Но конечная точка современного развития ИИ – появление машинного сверхинтеллекта со странными и чуждыми предпочтениями.

И этот машинный сверхинтеллект захочет пустить все ресурсы Земли на свои собственные странные цели. И захочет заменить нас своими любимыми вещами. Что подводит нас к вопросу, сумеет ли он это сделать.

Мы вполне уверены, а на самом деле абсолютно уверены, что машинный сверхинтеллект способен победить человечество в схватке, даже если начнет с весьма ограниченных ресурсов.

Как именно он выиграет этот конфликт? Мы не знаем, как не знаем и того, какими именно ходами Stockfish победит вас в шахматной партии. Но мы совершенно уверены, что он разгромит вас в пух и прах.

Здесь можно применить такую логику. Если бы вы были военным советником в 1825 году и знали о портале в 2025-й, вы не сумели бы точно предсказать, каким именно оружием располагают люди по другую сторону портала, но понимали бы, что если дело дойдет до боя, то рассчитывать на победу вам точно не стоит.

Мы можем сделать некоторые обоснованные предположения о конфликте между человечеством и искусственным интеллектом и наметить некие нижние границы возможного. Однако наши обоснованные предположения будут сродни рассуждениям человека из 1825 года, который измерил количество тепла, выделяемого при сжигании килограмма дымного пороха, сравнил эту величину с энергией, высвобождаемой взрывчатыми веществами того времени, и предположил, что в будущем появится взрывчатка в десять раз мощнее. И в каком-то смысле это правда. Но все же утверждение “Взрывчатка может стать по крайней мере в десять раз мощнее” бесконечно далеко от предсказания ядерного оружия.

Позднее мы обсудим некоторые из наших обоснованных предположений. Но в действительности сверхинтеллект выиграет конфликт, прибегнув к неизвестным нам методам. А поскольку мы заботимся об истине больше, чем о том, чтобы говорить вам приятные вещи, начнем мы именно с этого.

Представьте, что вы отправили на тысячу лет назад проект холодильника – упрощенный, какой смогли бы реализовать тогдашние кузнецы.

Основной физический принцип, лежащий в основе работы холодильника, заключается в следующем: при сжатии газ нагревается, а при расширении охлаждается. (Именно поэтому струя из баллончика со сжатым воздухом, которым продувают компьютер от пыли, ощущается холодной, а если переусердствовать, баллон станет болезненно холодным на ощупь.) В современных холодильниках используются специальные хладагенты, однако подойдет и обычный воздух.

Если вы сумеете разработать доступные кузнецам методы герметизации, сжатия газа и его расширения, то сможете спроектировать холодильник, который вполне можно построить в древности. Вам просто нужно охладить воздух после его сжатия – например, пропустив через него прохладную воду, чтобы отвести избыточное тепло и тем самым снизить температуру. Если дать газу снова расшириться, он станет холоднее, чем вода-охладитель, – и холоднее, чем был до сжатия.

Если вы не приложите никакого объяснения, почему холодильник работает, то есть что делает это таинственное устройство, построивший его мастер очень удивится, обнаружив, что оно производит холодный воздух. В те времена еще не знали закона, связывающего температуру и давление газа.

Нам известны законы природы, о которых тысячу лет назад и не слыхивали, поэтому мы можем создавать чертежи устройств, способных делать то, чего люди того времени никогда бы не сумели предугадать – даже внимательно разобравшись в чертежах, даже собственноручно построив само устройство. Примерно такие чувства возникают при столкновении с тем, кто знает о реальности больше, чем вы и ваша цивилизация.

Чем сложнее игровое поле, тем больше преимуществ получает игрок, у которого больше знаний, выше интеллект и лучше понимание самой игры.

На доске для крестиков-ноликов размером 3 × 3 игрок-человек способен запомнить все дерево вариантов, после чего места для неожиданностей не останется.

В шахматах и го правила полностью известны, а доски видны целиком, однако дерево вариантов в обоих случаях гораздо сложнее. Более сильные противники могут делать ходы, которые вас удивят, но впоследствии вы хотя бы поймете, почему по правилам проиграли.

Если игровое поле видно не полностью, реальность время от времени говорит вам, что вы проиграли, однако причин вы не знаете. Вас увольняют, и менеджеры утверждают, что это произошло без какой-либо конкретной причины. Вы практически уверены, что они лгут, но не знаете, что на самом деле происходило за кулисами. Однако даже в этом случае вы все равно понимали, что такое событие теоретически может произойти.

Когда же мы начинаем хуже понимать игровое поле – не только не можем наблюдать скрытые причины увольнения, но и не понимаем стоящие за ними правила, – мы застигнуты врасплох: мы не знали, что подобные события допустимы. У воинов на большой лодке есть палки, они направляют палку на вас – и вы умираете.

Чем меньше вы что-то понимаете, чем хуже знаете регулирующие правила, тем больше у разумного противника возможностей атаковать вас такими способами, которые заставят вас воскликнуть: “А что, так можно было?!” Если, конечно, вы сумеете выжить, чтобы выразить свое потрясение.

Теперь вернемся к главному вопросу. Как искусственный интеллект победит человечество? С какой стороны ждать удара?

Люди сейчас знают о физике больше, чем кузнец тысячу лет назад. Безусловно, в физике высоких энергий мы многого не понимаем, но вполне можно допустить, что не существует масштабного физического сверхоружия, которое ИИ мог бы создать просто с помощью подписчиков в соцсетях и наемных рук.

Однако остается немало областей, где даже самые умные и образованные люди сталкиваются с колоссальной неопределенностью. Например, биология. Дело не в том, что физики не понимают физических законов, управляющих органической материей, но, как и в случае с известными правилами игры в шахматы, они не в силах просчитать последствия. В биологии люди в основном могут лишь потыкать – и посмотреть, что произойдет.

Чем хуже изучена какая-то часть реальности, тем логичнее ожидать, что более совершенный разум сумеет провернуть нечто такое, чего вы не сможете понять, даже наблюдая собственными глазами.

Самая загадочная для современной науки область биологии – механизм работы человеческого разума и мозга.

Сегодня создаются оптические иллюзии, невозможные еще пятьдесят лет назад. Для этого используются относительно новые данные о том, как устроена обработка зрительной информации у человека и что именно происходит в зрительной коре: как воспринимается цветовой контраст, как мозг понимает, что происходит движение. Мы можем создавать такие оптические иллюзии потому, что зрительная кора – одна из самых простых для изучения областей мозга, и у нас есть некоторое представление о том, как данные там обрабатываются.

Но как кодируются воспоминания? Мы не знаем. Судя по тому, что повреждение гиппокампа приводит к неспособности формировать новые воспоминания, гиппокамп имеет какое-то отношение к этой деятельности, однако мы не знаем, что именно он делает. Как человеческий мозг извлекает понятия, связанные со словами, и формирует из них смысл предложения? Какие форматы данных используются для нейронной активности? По каким правилам они обрабатываются? Мы не знаем.

Могут ли в областях обработки информации более высокого уровня, нежели зрительная кора, существовать странные феномены, которые позволили бы сверхинтеллекту вызывать “иллюзии воспоминаний”, заставляющие человеческий разум отчетливо помнить, как начальник поручил ему сделать то, чего он никогда не поручал? Или “иллюзии рассуждений”, которые гарантированно вызывают ошибку в рассуждениях? Может ли сущность, которая глубоко понимает мозг, “взломать” его?

Возможно, да, а возможно, и нет. Мы не знаем. Но это, безусловно, та область, где мы не понимаем правил и где ИИ-модель, эти правила понимающая, могла бы разработать план, последствия которого изумили бы нас – даже после того, как мы разобрались бы в чертежах.

Мы не знаем точно, какую тактику применит искусственный интеллект в конфликте с человечеством. Это сложный прогноз. Наше лучшее предположение таково: это будет нечто неожиданное.

Конечно, такой ответ на вопрос, какими возможностями будет обладать сверхинтеллект, нельзя назвать удовлетворительным. Ответ подобного рода не убедит скептически настроенного ацтекского воина, что идея “палки, которую направляют на тебя – и ты умираешь” относится к области обоснованных предположений, а не фантазий.

Поэтому давайте условимся, что людям на больших лодках не разрешено иметь волшебные палки, которые достаточно направить на вас, чтобы вы рухнули замертво. Мы попытаемся изложить сценарий, который не покоробит нашего современника, похожего на того скептически настроенного ацтека. Мы предположим, что машинный сверхинтеллект не обладает сверхчеловеческим пониманием психологии, способностью создавать иллюзии рассуждений или иным образом выходить за рамки наших привычных представлений о возможном. Реальность имеет право быть настолько странной и фантастической, но наш сценарий этого не требует.

Однако имейте в виду, что, вообще говоря, это чистая фантазия считать, будто на человечество можно напасть только на той территории, которую мы понимаем достаточно надежно, чтобы анализировать и предсказывать атаки. Реальный противник нанесет нам удар посильнее – именно в тех областях, где мы понимаем реальность хуже.

Теперь давайте рассмотрим векторы атаки, которые человеческая наука понимает уже довольно хорошо и которыми сверхинтеллект мог бы воспользоваться.

ведущий: Добро пожаловать на шоу “Способен ли на это сверхинтеллект?”, где мы обсуждаем, что точно мог бы сделать сверхинтеллект, если бы был достаточно умен и получил шанс.

Сегодня в студии наши участники – мистер Скептик и мистер Бывалый. И первый вопрос: может ли сверхинтеллект вычислить закрытый ключ, который компьютер использует для шифрования ваших сообщений, если у него есть только видеокамера, направленная на индикатор питания?

скептик: Пф-ф! Очевидно, нет. Как это вообще возможно?

бывалый: Ага, вижу, вы не эксперт по кибербезопасности! Когда компьютер использует закрытый ключ для шифрования данных, на разных этапах этого процесса потребляется немного разное количество электроэнергии, и эти колебания коррелируют с особенностями ключа. Я бы сказал, вероятность, что сверхинтеллект сумеет это сделать для любой отдельно взятой системы, процентов десять.

ведущий: И мистер Скептик… ошибается! Сверхинтеллект определенно может это сделать с помощью камеры тринадцатого айфона.

скептик: Мне казалось, вы заявили, что это шоу будет придерживаться фактов.

ведущий: Мы знаем, что сверхинтеллект мог бы это сделать, поскольку это уже проделали обычные люди, занимающиеся кибербезопасностью! На самом деле они сделали это, чтобы украсть ключ с телефона, подключенного к USB-концентратору, который, в свою очередь, был подключен к компьютерной колонке с индикатором питания![29]⁶

Следующий вопрос! Достаточно ли физически выдрать антенну и чип Wi-Fi, динамики, жесткие диски (которые можно раскрутить и использовать как источник шума) и микрофоны (которые можно запустить в обратном режиме, чтобы они издавали звук), чтобы помешать сверхинтеллекту внутри этого компьютера связаться с внешним миром?

скептик: Ладно, догадываюсь, что ответ будет отрицательным, поскольку кто-то уже провернул какой-нибудь удивительный трюк с кибербезопасностью.

бывалый: Согласен, ответ отрицательный. В реальной жизни физически возможно добиться очень многого, даже находясь в крайне жестких условиях.

ведущий: Вы оба… правы! Считывая нужные ячейки памяти с нужной частотой, компьютер способен генерировать радиосигналы, которые могут быть уловлены находящимися поблизости мобильными телефонами⁷.

Следующий вопрос! Оцените минимально возможный размер работающей на солнечной энергии фабрики, которая из сырья, найденного на планете типа Земли, строит свою полную копию? Оцените также минимальное время, необходимое для создания такой копии. Предполагаем, что эту фабрику проектирует сверхинтеллект.

скептик: Надо думать, вы скажете, что уже существуют 3D-принтеры, которые могут напечатать все части новых 3D-принтеров, кроме микросхем, а затем все это собирается с внешней помощью?

ведущий: Никакой внешней помощи, мистер Скептик! Фабрика должна построить свою копию абсолютно самостоятельно!

скептик: В таком случае, если не скатываться в фантастику, мне сложно представить себе полностью самокопирующуюся фабрику, которая из чистого сырья должна построить свою полную копию, включая компьютеры. Ведь для этого потребуется, например, плавить медь, и я допускаю, что печь можно сделать просто из глины, но… Ладно, знаете, я предположу, что подвох связан с каким-то теоретическим проектом самовоспроизводящейся фабрики. Ее размер всего десять метров в поперечнике, она выплавляет железо и медь, делает основные микросхемы, собирает древесину, чтобы сжигать в качестве топлива, и, предположительно, воспроизводит себя примерно за неделю. Но в реальности такое никогда не строили.

бывалый: Ну, я едва ли угадаю наименьший размер, до которого сверхинтеллект мог бы сжать полностью самовоспроизводящуюся фабрику, работающую в реальных условиях планеты. Но это определенно не больше нескольких микрон, а на воспроизведение уйдет не более нескольких часов.

скептик: Несколько микрон! Ха! Надо полагать, вы верите в реальность нанотехнологий? Даже если ведущие нашего шоу заявят, что кто-то разработал теоретический проект такой системы, я скажу, что вовсе не случайно никто никогда не построил даже самой маленькой ее части. В реальной жизни просто невозможно создать такие мелкие механизмы.

ведущий: Простите, мистер Скептик, но боюсь, вы упустили из виду важный практический пример! Травинка – это самовоспроизводящаяся фабрика, которая работает на солнечной энергии и строит свою полную копию! И хотя отдельные клетки водорослей слишком малы, чтобы их увидеть, они работают на солнечной энергии, не зависят от других растений или животных, содержат микроскопические биологические фабрики, известные как рибосомы, имеют размер в несколько микрон, а некоторые виды воспроизводят себя за считаные часы.

Природа задает некоторые нижние границы того, на что способен сверхинтеллект.

Оглянитесь вокруг, и наверняка вы увидите рядом дерево или изделия из него, например деревянную балку или пол.

Вопрос: из какого материала строят себя деревья? Они начинают жизнь крошечными семенами, а затем могут превратиться в громадные массивы древесины и листвы. Откуда они берут все это вещество?

Извлекают из земли? Частично, ведь дерево по массе примерно наполовину состоит из воды, добытой из-под земли. Однако другая половина – это в основном углерод, а в воде углерода нет. Откуда же берется остальная часть дерева?

Почва? Или солнечный свет? Ни то ни другое: почва – это в основном неорганические вещества, а фотоны – даже не вещество. Но откуда тогда?

Деревья в основном берут вещество из воздуха. С помощью солнечного света они отщепляют атомы углерода от молекул углекислого газа (CO²) и формируют из этих атомов кору и ветви.

Физика допускает возможность технологии, использующей солнечный свет, чтобы прясть древесину из воздуха. Способен ли сверхинтеллект изобрести эту технологию? Почти наверняка. Деревья создаются благодаря производству белков за счет пропускания нитей РНК через рибосомы (в подходящей клеточной среде). Лаборатории людей тоже могут пользоваться рибосомами. Поэтому главная трудность в разработке биотехнологий – не столько изготовление инструментов, сколько понимание языка проектирования, то есть ДНК и РНК.

Почему люди до сих пор не могут создавать цепочки ДНК, которые давали бы деревья со шмелями вместо плодов? Главным образом потому, что крайне трудно просчитать и предсказать, как синтезируемые по ДНК белки будут взаимодействовать с клеточной средой. Попытки ученых-людей сделать это провалились.

Как вы думаете, сколько времени потребуется человеческой цивилизации, чтобы раскрыть все секреты ДНК и достичь того уровня, когда мы сможем проектировать геномы, дающие формы жизни на заказ? Может, к 3000 году, если наша цивилизация просуществует так долго?

А сколько времени это займет у искусственного сверхинтеллекта? Раз он работает в десять тысяч раз быстрее человека, то тысяча лет размышлений сократится примерно до месяца. А если его скорость мышления станет еще выше? Если он приблизится к цивилизации бессмертных Эйнштейнов, работающих в полной гармонии друг с другом? Возможно, его замедлит необходимость ждать результатов проводимых экспериментов, однако на клеточном уровне эксперименты могут идти довольно быстро – если вы знаете, что делать. Молекулы быстры, медлительны исследователи-люди.

Наша самая смелая догадка: это не займет и недели. Впрочем, точное время не имеет особого значения при таком масштабе. И однажды достаточно умная машина разберется с ДНК и научится писать цепочки на заказ. Уже существуют лаборатории, работающие с платными заказами: вы присылаете им последовательность ДНК, а они синтезируют ее и отправляют вам посылкой по указанному адресу⁸. Так что после этого задача сведется к тому, чтобы убедить кого-нибудь просто смешать содержимое нужных пробирок.

Неужели и это тоже чистая фантастика?

Еще в 2006 году я (Юдковский) набросал сценарий, как сверхинтеллект может победить человечество. Сценарий предполагал, что сверхинтеллект сначала разберется с устройством ДНК, а затем сконструирует собственные аналоги биологических организмов (в качестве промежуточной ступеньки к более продвинутым технологиям).

Один из необходимых шагов для сверхинтеллекта в этом сценарии – понять, как белки, закодированные данной цепочкой ДНК, сворачиваются в нужную структуру, которая и определяет их поведение. Белки – один из строительных блоков жизни, и если вы не можете определить форму этих блоков, вам трудно будет что-либо из них построить. Сверхинтеллекту потребуется предсказать структуру нескольких тщательно отобранных белков, которых ему было бы достаточно для дальнейшего построения всего, что нужно.

В 2006 году так называемая проблема фолдинга белков оставалась одной из крупнейших нерешенных научных задач. И в 2008-м (когда мой сценарий опубликовали в одном сборнике статей⁹) люди говорили: “Это чистая фантастика – воображать, будто сверхинтеллект сумеет решить такую задачу. А что, если это в принципе невозможно сделать без квантовых компьютеров? Эволюции потребовались миллиарды лет проб и ошибок, так что, даже если работать в миллион раз быстрее, на эксперименты все равно уйдут тысячи лет. С чего вы взяли, что эта проблема вообще разрешима?”

А я отвечал: “Когда ДНК мутирует, новый белок зачастую сильно походит на старый, ведь если бы результат был совершенно случайным, то естественный отбор посредством мутаций вообще не работал бы. А значит, здесь должны существовать закономерности, которые можно обнаружить с помощью интеллекта”.

Оппоненты иногда ссылались на статью, где утверждалось, что поиск структуры белка с наименьшей энергией – это NP-трудная задача, то есть компьютеры, вероятно, не способны эффективно найти наилучший (имеющий минимальную энергию) способ сворачивания для каждого белка¹⁰. Однако любой человек с достаточной подготовкой понимал, что эта статья не имеет отношения к делу. Законам физики не свойственно находить эффективные решения для NP-трудных задач, поэтому статья лишь намекала, что реальные белки не всегда сворачиваются энергетически наилучшим образом[30].

Однако сторонним наблюдателям в 2008 году было очень трудно понять, кто прав – я или скептики. Тогда у меня имелись только теоретические рассуждения о том, что сверхинтеллект сможет прогнозировать, как сворачиваются белки, а у скептиков помимо рассуждений была еще и научная статья в придачу. В 2008-м люди испытывали трудности с прогнозированием структуры белков. Быть может, задача действительно крайне сложна? В конце концов, сверхинтеллект не может творить чудеса.

Ни о каком консенсусе тогда и речи не шло. Но скептики, как правило, сходились на том, что сверхинтеллекту неизбежно придется пройти долгий, затяжной путь, и потребуются скорее месяцы, нежели часы, чтобы предсказать…

…тот тип белковых структур, который сегодня с легкостью предсказывает AlphaFold 3. Компания Google DeepMind решила проблему фолдинга белков за период с 2018 по 2022 год (создав ИИ-модели под названием AlphaFold 1, AlphaFold 2 и AlphaFold 3). Именно за эту работу Демис Хассабис, один из сооснователей DeepMind, получил Нобелевскую премию по химии.

Может, мне просто повезло с предсказанием? Этим вопросом всегда стоит задаваться, когда чья-то известность частично основана на сбывшихся предсказаниях.

Но обратите внимание: мое предсказание, подвергавшееся сомнению, было куда слабее того, что произошло на самом деле.

Я говорил следующее: машинный сверхинтеллект, многократно превосходящий человеческий, сумеет решить особый случай задачи фолдинга белков, когда сверхинтеллект сможет специально выбрать те белки, чью структуру предсказать легче всего и которые при этом годятся для создания того, что ему нужно.

Что произошло на самом деле: специализированные модели AlphaFold смогли предсказать почти все варианты сворачивания белков, включая те, что считались сложными для предсказания.

Я прогнозировал, что это будет под силу настоящему сверхинтеллекту в специально подобранных случаях. Реальность показала, что это под силу узконаправленной ИИ-модели почти во всех случаях.

Если учесть, какой в итоге обернулась реальность, можно, пожалуй, признать: человек с достаточным багажом знаний еще тогда, в 2006 году, мог увидеть, что ответ предопределен, что это, в сущности, простой прогноз, даже если люди в то время вовсю об этом спорили.

А как насчет остальной части моего сценария? Что сегодня известно о возможности сверхинтеллекта разработать свои собственные аналоги биологической жизни? В рамках этой главы мы не станем подробно разбирать продолжающиеся споры, но кое-что можно найти в онлайн-материалах. Однако причина, по которой скептики тогда пытались отрицать, что ИИ сможет решить задачу фолдинга белков, заключалась в том, что именно это звено казалось им самым слабым в моей истории. Скептикам не приходило в голову согласиться с частью о предсказании структуры белков, но оспаривать следующий шаг – возможность того, что искусственный интеллект будет конструировать собственные белки. Оставшиеся инженерные проблемы не казались сложными для сверхбыстрых автоматизированных инженеров – даже скептикам в 2008 году. Это не выглядит сложным прогнозом.

То, что сверхинтеллект способен победить человечество, для нас очевидно.

Полагаем, что сверхинтеллект обрушит на нас странные технологии, которые мы даже не считаем возможными (и не знаем, что они разрешены правилами игры). Именно это обычно и происходит при столкновении групп с разным уровнем технологических возможностей. Встреча ацтеков с огнестрельным оружием. Противостояние кавалерийского полка 1825 года и огневой мощи современной армии.

Не исключено, что сверхинтеллект просто подберет иллюзии рассуждений и начнет напрямую контролировать людей, а может, применит какой-то другой метод, бросающий вызов нашему представлению о возможном. Но и гораздо более слабой атаки от сверхинтеллекта хватит, чтобы победить нас.

Даже если ограничиваться теми областями реальности, что нам понятны, вокруг уже есть технологии, еще не освоенные нашей цивилизацией, например самовоспроизводящиеся фабрики, которые работают на солнечной энергии и прядут древесину из воздуха. Любой интеллект, способный постичь биохимию на самом глубоком уровне, сумеет построить собственные самовоспроизводящиеся фабрики для своих целей.

Придется ли сверхинтеллекту для понимания биохимии преодолевать долгий, затяжной путь, измеряемый скорее месяцами, нежели часами? Именно такие сроки звучали в 2008 году применительно к поиску структур белков – к задаче, которую люди считали трудной, а AlphaFold решила с легкостью. Между тем AlphaFold – это не сверхинтеллект, скорость этой программы не в десятки или сотни тысяч раз выше человеческой.

Сверхбыстрый разум не захочет увязнуть в экспериментах на целый месяц, который покажется ему тысячелетием, а будет использовать продвинутые компьютерные симуляции. Будет выжимать все возможные капли информации из уже имеющихся наблюдений, как Эйнштейн выжал все возможное из нескольких скудных наблюдений за поведением света и предсказал, что часы на спутниках будут идти медленнее, – за десятки лет до запуска спутников в космос. Сверхинтеллект спроектирует свои технологии с таким запасом надежности, чтобы они работали, невзирая на остаточную неопределенность, устранение которой экспериментальным путем заняло бы слишком много времени. Он использует свои первые эксперименты для создания более быстрых лабораторий и более быстрых инструментов, чтобы ему больше не приходилось ждать медлительных – по его меркам – рук людей.

Чтобы стать опасным, разуму не нужно много силы и ресурсов. Когда-то люди были голыми существами в саванне, но сообразили, как использовать законы реальности и наращивать преимущества, и в результате создали пушки, ядерное оружие и суперкомпьютеры. Искусственный сверхинтеллект проявит еще большую изобретательность, действуя на еще более высоких скоростях. Ограничивать его будут лишь законы физики.

В некотором смысле сценарий, о котором нам нужно беспокоиться, прост: ИИ-модель со странными целями становится сверхинтеллектом сама или создает его, и этот сверхинтеллект изобретает всевозможные технологии и радикально перестраивает мир. Вот чего следует ожидать от новой формы интеллекта умнее и быстрее нас.

Сверхинтеллект в этом сценарии, вероятно, пустит в ход технологии, которые мы не понимаем. Возможно, он станет стремительно доводить технологии до физических пределов, так что технический прогресс, на который у человечества ушли бы сотни лет, будет укладываться в гораздо более короткий срок.

Наш многолетний опыт общения с разными людьми показывает: некоторых убеждает абстрактное наблюдение, что сверхинтеллект способен задействовать такие возможности, о существовании которых они даже не подозревали.

Однако есть и другие люди, у кого подобные объяснения вызывают ощущение, будто мы жульничаем в детской игре, где все происходит понарошку. Разве убедительно звучит рассказ о плохом парне, если мы даже не можем рассказать, как именно он будет побеждать?

Подчеркнем снова: реальность никогда не была обязана подчиняться такому правилу. Пусть ацтекский воин и не знал заранее, как работают ружья, но на борту большой лодки, появившейся на горизонте, они все равно были.

Но, пожалуй, полезно будет привести более конкретный пример, показывающий, как все это может развернуться, – даже если в реальной жизни мы не в силах предсказать точные шаги сверхинтеллекта, равно как и ходы, какими он обыграет нас на шахматной доске. Истории помогают делать абстрактные соображения реальнее, даже если все детали в них вымышлены.

Итак: однажды в не столь отдаленном будущем…

IfAnyoneBuildsIt.com/6