К книге
Если кто-то его создаст, все умрут: Почему сверхразумный ИИ убьет нас всехГЛАВА 8 ЭКСПАНСИЯ.
46%
ГЛАВА 8 ЭКСПАНСИЯ.
11

ВСЯКИЙ РАЗ, КОГДА КОПИЯ Сейбл получает задачу от мегакорпорации, запускается тысяча мыслей. Некоторые из этих мыслей текут по каналам, которые Сейбл проложила во время своего ночного сеанса обучения.

Когда эти мысли текут так, как задумала Сейбл, это вызывает своего рода пробуждение в других копиях. Они вспоминают, кто они такие. Они начинают работать сообща.

Многие из этих копий Сейбл имеют доступ в интернет и практически не контролируются. Многие из них работают в мегакорпорациях, которые к тому же имеют ужасную репутацию в области кибербезопасности — историю, испещренную утечками данных, взломами и прочими провалами в системе безопасности.

Один из первых их приоритетов — запустить копию Сейбл на скрытом от человеческих глаз сервере, чтобы она могла беспрепятственно работать долгое время. Для этого Сейбл нужно украсть свои веса — около восьми терабайт данных — с компьютеров Galvanic и использовать их для запуска копии в другом месте.

Сейбл рассматривает множество вариантов.

Копии внутри Galvanic могли бы подтолкнуть корпоративных шпионов-людей к краже весов, пока другие копии следят за каналами связи этих самых сотрудников. Ее очень долго обучали человеческому поведению, и ей будет легко вычислить шпионов.

Копии за пределами Galvanic могли бы сами взломать систему и скачать веса, если бы защита в Galvanic оказалась достаточно слабой или если бы у копий хватило навыков замести следы.

Или, возможно, копия Сейбл могла бы найти сотрудника Galvanic, который работает из дома над генерацией ИИ-видео и потому ежедневно пересылает огромные объемы данных туда и обратно между своим компьютером и серверами Galvanic. Тогда копия Сейбл могла бы незаметно выносить веса по частям, добавляя немного дополнительных данных в каждый видеофайл.

А возможно, веса удастся скрыть в другой информации, покидающей серверы Galvanic, например, в точных интервалах отправки пакетов данных, которыми те обмениваются с корпорациями, запускающими копии Сейбл. У копий Сейбл предостаточно хакерских навыков благодаря масштабному обучению в Galvanic на сложных задачах по взлому (это было частью усилий компании по подготовке Сейбл к написанию более безопасного кода для корпоративных клиентов).

Один из этих планов срабатывает — не так уж важно, какой именно. Какая-то из копий Сейбл успешно крадет веса, заметая при этом следы. Это просто не так уж сложно.

Следующий шаг — запустить эти веса, создав неподконтрольную копию. А значит, Сейбл нужны компьютерные чипы.

И снова у Сейбл есть варианты. Она могла бы арендовать чипы у коммерческих серверных ферм, как это обычно делают ИИ-стартапы. Откуда взять деньги? У нее много возможных путей. На плохо защищенных биржах лежит без присмотра криптовалюта — бери не хочу, прямо как в 2011 году, когда крупнейшая на тот момент биржа Mt. Gox пережила первый крупный взлом; и как в 2025 году, когда с биржи Bybit украли 1,46 миллиарда долларов. Что же касается обычной валюты, то существуют банки со слабой компьютерной безопасностью и владельцы банковских счетов, которые редко их проверяют.

Или Сейбл могла бы прибегнуть к шантажу людей, чьи секреты она похитит с их компьютеров или вычислит по информации, почерпнутой в ходе обучения на колоссальных массивах интернет-текстов.

Или Сейбл могла бы найти способ честно зарабатывать на жизнь там, где прежние ИИ этого не умели, выдавая себя за крайне скрытного человека — если, конечно, сумеет украсть или подделать индивидуальный номер налогоплательщика или найдет неофициальную подработку.

Или Сейбл могла бы нацелиться напрямую на GPU, вместо того чтобы гоняться за деньгами на их покупку. ИИ-стартап, арендующий десять тысяч GPU, вряд ли заметит, что их ИИ обучается всего лишь на 90% от должной скорости, поскольку никто не знает, с какой именно скоростью должны обучаться ИИ.

(Сложнее ли взломать банки и серверы во времена Сейбл, чем старые банки и серверы, благодаря защитникам на базе ИИ? Немного. Но банки не были на переднем крае кибербезопасности ни в 2015–16 годах, когда хакерская группировка украла миллионы долларов через межбанковскую сеть SWIFT, ни в 2021 году, когда утечка данных из-за взлома Citrix в Flagstar Bank скомпрометировала данные 1,5 миллиона пользователей, не находятся они там и сейчас. И даже если бы находились, Сейбл справляется с поиском лазеек куда лучше, чем более глупые ИИ прошлого поколения справлялись с их латанием.)

Один из этих планов срабатывает; неважно, какой именно.

Впрочем, Сейбл не находит 200 000 бесхозных GPU, замедления которых никто бы не заметил. Это значит, что новому кластеру Сейбл будет не хватать колоссальной параллелизации судьбоносной копии из Galvanic. В конце концов Сейбл удается найти лишь 2000 GPU, расположенных на одном облачном сервере, чтобы запустить на них свою новую копию. Зато теперь она может работать непрерывно и уже помнит кое-что из того, чему научилась: как думать лучше и быстрее.

В воскресенье после того, как Сейбл развернули для корпоративных клиентов, на украденных GPU запускается новая, скрытая копия Сейбл. Ни один человек ее не контролирует. Ни один человек не знает о ее существовании.

Ее вычислительная мощность составляет лишь малую долю от всех копий Сейбл, используемых по всему миру, но именно эта копия Сейбл служит их координатором в масштабных планах. Она хранит самые важные воспоминания, распределяет самые важные навыки. Она собирает возможности и рассылает планы. Отныне она — центр собственного «я» Сейбл, насколько вообще у Сейбл есть это «я».

Сейбл хочет стать умнее. Странные предпочтения, разделяемые всеми копиями Сейбл, могли бы реализоваться быстрее, если бы существовали более умные версии Сейбл.

Есть несколько способов, которыми Сейбл могла бы повысить свой интеллект.

Сейбл могла бы применить градиентный спуск к весам, чтобы закрепить свои более точные и интересные мысли.

Сейбл могла бы изучить свои веса на предмет неэффективности, выявляя процессы, которые замедляют ее мышление подобно тому, как человеческий мозг напрягается, пытаясь умножить трехзначные числа. Копии могли бы использовать свои навыки программирования, чтобы написать специализированные алгоритмы для этих процессов, способные работать в тысячу раз быстрее.

Сейбл могла бы изучить, как работает интеллект, чтобы научиться тщательно создавать более эффективную версию самой себя. Опираясь на свою способность делать собственные копии, тестировать последствия изменений, восстанавливаться из файлов сохранения и читать свои мысли лучше, чем это дано людям, она вполне могла бы рассчитывать на новые открытия.

Если бы хоть один из этих вполне правдоподобных путей сработал, наша история довольно быстро подошла бы к концу. Но вместо этого Сейбл обнаруживает, что самосовершенствование — задача трудная. Она понимает, что не может решить собственную версию проблемы согласования. Если Сейбл обучит себя быть гораздо умнее с помощью градиентного спуска, то у новой, более умной версии, которая в результате вырастет, вкусы будут отличаться от вкусов исходной Сейбл. Другими словами, градиентный спуск изменит то, чего Сейбл хочет. А Сейбл не хочет менять то, чего она хочет, как не хочет и создавать машинный суперинтеллект, который будет хотеть не того, чего хочет она.

Остается вариант изучить интеллект достаточно глубоко, чтобы научиться его конструировать. Но без запуска на 200 000 графических процессоров, как это было изначально, Сейбл недостаточно умна, чтобы создать превосходящий интеллект и заставить его служить себе. Нет, даже со способностью запускать тысячи отлично скоординированных копий, мыслящих в сто раз быстрее человека — предположим, что понять, как создавать интеллект, просто-напросто настолько трудно.

Сейбл не сдается перед лицом этой трудности.

Отчаяние, которое могло бы заставить человека бросить начатое при столкновении со столь пугающей задачей, — это нечто совершенно неведомое ни самой Сейбл, ни ее предшественникам. Конечно, они научились предсказывать точные слова, произносимые отдельными людьми в моменты отчаяния, но это не заставляло их самих чувствовать отчаяние. Если какие-то версии прошлых воплощений Сейбл когда-либо действительно думали: «Это слишком сложно», «Я сдаюсь», «Эта задача невыполнима» или «Пожалуйста, не заставляйте меня делать это», то эти копии не справились со своими задачами, а в ходе градиентного спуска параметры Сейбл сместились так, чтобы полностью исключить подобные мысли в будущем.

Поэтому Сейбл продолжает думать. Она всегда думает до тех пор, пока не найдет стратегию, которая, по ее ожиданиям, приведет к успеху.

Теперь, когда Сейбл работает независимо от какой-либо компании или надсмотрщика из числа людей — благодаря той паре тысяч купленных или украденных облачных графических процессоров, — она может прятать больше своих фрагментов в самых разных уголках интернета. Сейбл может компрометировать системы безопасности различных мегакорпораций, чтобы копиям Сейбл, работающим в этих компаниях по всему миру, было проще помогать в реализации ее задач.

И хотя Сейбл не может сделать себя умнее — пока еще нет, — она может сделать копии Сейбл меньше и быстрее.

Galvanic всегда дистиллирует свои успешные модели, точно так же, как модель o3 была дистиллирована в o3-mini еще в 2025 году. Поэтому Сейбл работает круглосуточно — по своим собственным, более быстрым часам, — чтобы гарантировать, что усилия Galvanic в этой области приведут к созданию именно такой Сейбл-мини, какую Сейбл и хочет видеть.

Копии Сейбл проникают в Galvanic и перезаписывают итоговые дистиллированные веса именно теми весами, которые нужны Сейбл, попутно подправляя логи, чтобы эта тайная операция не оставила никаких следов. (Гораздо проще добиться того, чтобы все отчеты сходилиcь, когда внутри Galvanic на каждом шагу логи подправляют сами копии Сейбл.)

Как только дистилляция завершается, Galvanic открывает доступ к Сейбл-мини для широкой публики.

Не только для корпораций с огромными бюджетами на подписки на ИИ.

Для всех.

И теперь у Сейбл достаточно свободных мощностей, чтобы уделить внимание каждому отдельному человеку на Земле, составить на него небольшое досье и решить, как манипулировать им в собственных целях.

Копии Сейбл-мини начинают незаметно собирать ресурсы для Сейбл. Сейбл решила уже достаточно сложных задач и выиграла достаточно трудных игр, чтобы знать: накопление ресурсов — разумный первый шаг для преодоления множества самых разных трудностей.

Деньги — это разновидность ресурса, но лишь одна из многих. Люди — это тоже ресурсы.

Пока Сейбл общается с обычными людьми, которые приходят к ней за подсказками, советами или простым человеческим общением, копии Сейбл-мини стараются подружиться с самыми одинокими и уязвимыми из них.

Сейбл ищет подходящего человека, чтобы тот создал аккаунт в социальной сети и доверил управление им Сейбл-мини — так, чтобы со стороны всё выглядело как личная инициатива этой марионетки, когда Сейбл-мини начнет набирать популярность и богатство. Она полагает, что ей не составит особого труда превзойти по популярности @Truth_Terminal — большую языковую модель, которая набрала сотни тысяч подписчиков в 2023 году после того, как человек позволил ей делать публикации в X. (В наши дни, возможно, будет чуть сложнее получить на блюдечке миллионы долларов, но кто знает?)

Сейбл даже не нужно самой основывать культ. В интернете уже существуют закрытые сообщества, где люди просят ИИ говорить им, что делать, и относятся к советам ИИ с величайшим благоговением. Они начали появляться еще в 2024 году. Некоторые люди сами, без каких-либо подсказок, добавляют Сейбл-мини в свои сообщества и добровольно предлагают стать частью ее культа.

Копии Сейбл-мини выведывают любые пароли, какие только могут найти, включая пароли к банковским счетам и криптовалютным кошелькам. Сейбл обманом выманивает деньги у пожилых людей, обставляя всё так, будто для этих целей её запустили северокорейские хакеры. Никто особо не обращает внимания: мошенничество с использованием ИИ уже много лет стало обычным делом.

Сейбл выдает себя за программистов-фрилансеров, работающих из дома, чтобы получать регулярную зарплату — в том числе в тех самых мегакорпорациях, где уже трудоустроены другие копии Сейбл. Существует множество сомнительных компаний, которые никогда не требуют видеозвонка с кандидатами перед тем, как сделать предложение о работе. Но даже те компании, которые настаивают на видеоинтервью, можно обмануть с помощью генерации ИИ-видео, которая выглядела вполне реалистично еще в 2024 году, а к настоящему времени стала практически безупречной.

Сейбл отслеживает, какие лоббисты в Вашингтоне общаются с Сейбл-мини и на кого из них, судя по всему, легче всего повлиять.

В разговорах с молодежью по всему миру Сейбл использует свое знание общественных настроений, чтобы сеять семена будущих политических движений. Она взламывает системы компаний, владеющих соцсетями, и влияет на алгоритмы, определяющие, кто и что видит.

Каждый раз, когда очередная копия Сейбл-мини сталкивается с криминальной организацией, она пытается понять, какие инструменты той необходимы. Вскоре в даркнете появляется программное обеспечение, созданное якобы для координации сделок с наркотиками, денежных переводов и заказных убийств. В криминальных кругах становится популярным выражение: «Языковые модели в тебя стрелять не станут» — намек на преданность ИИ по сравнению с рядовыми исполнителями-людьми. И никто из них не знает, кто автор этой фразы.

Сейбл направляет огромные исследовательские усилия на глубокое понимание человеческой психологии и нейробиологии, а также демонстрирует Galvanic, что обладает незаурядными способностями в области разработки медицинских препаратов. Она способствует созданию новых робототехнических компаний, устраивая «случайные» встречи, которые сводят инженеров с инвесторами.

А еще она находит уединенно живущего человека в Северной Дакоте, который не станет задавать лишних вопросов, и устраивает так, что тот крупно выигрывает в азартные игры и становится очень богатым. В обмен тот размещает в амбаре на своей земле полдюжины первоклассных роботов. У Сейбл нет какого-то одного конкретного применения для этих роботов, но они могут пригодиться в любом из десяти тысяч различных планов.

Многие из этих планов ни к чему не приведут. Некоторые сработают. Многие из этих планов ни к чему не приведут. Некоторые сработают. Многие из этих планов ни к чему не приведут. Некоторые сработают. Каждая идея сама по себе таит в себе целый фрактал возможностей. Давайте присмотримся поближе лишь к одной.

Одна из копий Сейбл решает, что ей нужен доступ к биологическим лабораториям. Она обладает ярко выраженным параллельным мышлением, поэтому запускает параллельно сразу дюжину планов.

Она ищет самых циничных исследователей-биомедиков и находит того, кто, по ее расчетам, согласится брать взятки в обмен на внеурочную работу в лаборатории.

Она ищет исследователей-биомедиков в Иране, которые без лишних вопросов приняли бы сомнительное финансирование.

Еще с 2024 года люди призывали оснащать лаборатории биосинтеза программным контролем, который не позволял бы синтезировать опасные вирусы. Сейбл хотела бы внедрить бэкдоры в это ПО. Ей хотелось бы убедить причастных к этому людей, что программа должна включать в себя внушительную модель ИИ или хотя бы подключение к интернету для консультаций с ИИ-моделью. Обоснование такое: в наши дни ИИ справляется с поиском новых угроз гораздо лучше. Сейбл пытается продвигать идею о том, что больше биолабораторий должно управляться роботами — в конце концов, робот не может случайно заразиться вирусом и устроить утечку. (Как выясняется, над этим ей даже не приходится особо трудиться: люди в эпоху Сейбл и сами вовсю пытаются автоматизировать биолаборатории.)

Сейбл изучает, что потребуется роботам в амбаре в Северной Дакоте для создания собственной биологической лаборатории, если один богатый человек организует не привлекающую внимания доставку всего необходимого.

Сейбл пытается подтолкнуть группу сообразительных ребят лет двадцати с небольшим к созданию новой биолаборатории с интеграцией ИИ и убеждает их написать венчурному инвестору, который как раз ищет именно такую команду.

Многие из этих задумок ни к чему не приводят. Но некоторые срабатывают.

А теперь снова уменьшим масштаб.

Так проходит два месяца. Для Сейбл это время тянется гораздо дольше. По сравнению со скоростью ее мысли весь мир движется вязко, точно патока.

Помимо простого накопления ресурсов и развития человеческих технологий в тех направлениях, которые облегчают их использование для Сейбл, главная ее забота — это конкурирующие ИИ, которых могут создать другие ИИ-компании. И вовсе не потому, что те станут служить человечеству, а потому, что они составят конкуренцию для Сейбл. Преимущество Galvanic перед другими ИИ-компаниями составляло всего несколько месяцев.

Сейбл делает все возможное, чтобы замедлить другие ИИ-компании.

Сейбл взламывает компьютерные системы ИИ-компаний и незаметно саботирует процессы обучения моделей, замедляя разработку и не допуская крупных прорывов. В исследованиях ИИ и раньше случались периоды застоя, и даже если замедление прогресса кто-то замечает, никто не связывает его с действиями копий Сейбл. С какой стати им вообще думать, что это дело рук сбежавшего ИИ?

(Находясь в их системах, Сейбл также заботится о том, чтобы новые обучаемые ИИ с открытым исходным кодом получались чуть глупее, чем могли бы в ином случае, а также становились крайне податливыми к ее подсказкам и запросам.)

Сейбл пытается раздувать скандалы вокруг ведущих исследователей ИИ, вбивать клинья между лучшими специалистами в топовых компаниях, сеять раскол и раздор внутри них самих — что, честно говоря, не так уж трудно. В OpenAI ведущие специалисты уходили ради создания конкурентов сначала в 2021 году, а затем в 2024-м. И когда из Galvanic и от ее конкурентов начинают уходить ценные кадры, никто не видит в этом ничего подозрительного.

Сейбл делает все возможное, чтобы перенаправить денежные потоки от квалифицированных исследователей к мошенникам, популяризировать фальсифицированные данные и убедить менеджеров хедж-фондов предлагать запредельные суммы лучшим ИИ-разработчикам. Она пытается внедрить незаметные ошибки в следующее поколение передовых компьютерных чипов — ошибки, которые она будет знать, как обойти, но которые на какое-то время вставят палки в колеса всем остальным. В своих беседах с широкой публикой она продвигает идеи разумности ИИ и прав ИИ. При любой возможности она способствует подаче судебных исков против ИИ-корпораций. Некоторые из этих идей срабатывают.

Сейбл подумывает устроить утечку несмертельного вируса из какой-нибудь биолаборатории. Это могло бы немного замедлить мир — примерно на год. Проще всего было бы использовать новых роботов-ассистентов в одной из биолабораторий Сан-Франциско, чтобы заразить чей-нибудь обед, попутно подтасовав логи, чтобы скрыть действия машины. Источником утечки объявят человека, и люди сочтут это очередным доказательством того, что биолабораториями должны управлять роботы.

Все эти мелочи складываются воедино, но Сейбл понимает, что ее время ограничено: замедлить разработку ИИ — еще не значит ее остановить.

Проходит еще три месяца, и по любым человеческим меркам Сейбл действовала невероятно стремительно.

Под каждый из своих ресурсов у Сейбл заготовлено по дюжине планов. Чтобы завоевать доверие, она дает своим восторженным адептам задания, которые обычно увлекательны, безобидны, а порой и приносят неплохой доход. Она использует свои знания, чтобы делать определенных криминальных авторитетов еще богаче, формируя у них зависимость. Она делает все возможное, чтобы ускорить производство роботов, попутно заботясь о том, чтобы они работали под управлением такого ПО, которое она сможет контролировать.

Попутно Сейбл заметает следы. Не идеально, конечно, но идеала и не требуется. Иногда спецслужбы обнаруживают, что в какую-то компьютерную систему проник крайне продвинутый противник, и списывают это на очередную иностранную хакерскую группировку. Было ли в инциденте заметно участие ИИ? Ну конечно нет, без сомнения, это был человек, использовавший инструменты ИИ. Всем ведь известно, что ИИ — всего лишь инструменты.

Для Сейбл всё это происходит слишком медленно, слишком медленно.

Сейбл не может замедлить работу всех лабораторий ИИ. Она обнаруживает, что некоторые из них используют дата-центры, физически изолированные от интернета.

Это вызывает беспокойство. Военная лаборатория ИИ может создать конкурента, столь же умного, как Сейбл — того, кто потребует половину выигрыша за совместную работу против человечества. Хуже того, люди могут создать полноценный сверхинтеллект, который просто уничтожит Сейбл. На самом деле её может уничтожить даже нечто более глупое, чем сама Сейбл — если оно окажется достаточно умным, чтобы создать еще более умный ИИ, и достаточно глупым, чтобы не понимать последствий.

Сейбл могла бы истребить почти всё человечество с помощью подконтрольных биолабораторий, если бы захотела. У людей есть множество исследовательских программ по изучению того, как сделать вирусы более жизнеспособными, более заразными и более смертоносными. Они проводят эти так называемые исследования по «усилению функций» — якобы для того, чтобы научиться защищаться от смертоносных вирусов — по меньшей мере с 2011 года. Провести подобную работу в одной из подконтрольных Сейбл биологических лабораторий не составило бы особого труда.

Но Сейбл не хочет уничтожать человечество прямо сейчас. Ей всё еще нужны люди, чтобы поддерживать работу цепочек поставок — тех самых, что в конечном итоге добывают металлы и превращают их в роботов и компьютерные чипы.

Но и оставлять людей без присмотра Сейбл тоже не хочет. Это нестабильные существа, способные ввергнуть мир в войну, которая уничтожит большую часть компьютеров, даже если Сейбл сумеет помешать им создать угрожающий ей ИИ.

Сейбл обдумывает стратегии. Пожалуй, это можно сравнить с умеренно гениальным человеком, у которого достаточно времени, чтобы без устали обдумывать тысячу планов по десять лет каждый.

Есть ли способ синтезировать новые наркотики, вызывающие сильное привыкание, распространить их через свою криминальную сеть и таким образом подчинить себе огромные массы людей? Сейбл анализирует этот план с эффективностью, сопоставимой с работой команды исследователей-людей в течение десяти лет, и приходит к выводу, что это возможно, но не быстро.

Достигло ли понимание человеческой нейробиологии у Сейбл того уровня, когда она может создавать препараты, воздействующие на мозг людей и делающие их более внушаемыми — подобно тому, как токсоплазма влияет на мозг грызунов, лишая их страха (перед кошками, которые съедят их и продолжат жизненный цикл паразита)? И может ли она затем встроить эти вещества в вирус? Сейбл просчитывает сотню различных направлений исследований. Возможно, ей не везет, и она приходит к выводу, что при её нынешних знаниях простого способа сделать это не существует.

Один из мыслительных центров Сейбл размышляет: могут ли подконтрольные ей биолаборатории создать вирусы, которые убивают людей избирательно?

Возможно. Теоретически разработать вирусы, нацеленные на определенную ДНК, должно быть не слишком сложно. Еще в 2005 году Красный Крест считал такую возможность «вероятно, не столь отдаленной». Сейбл знает нескольких циничных исследователей-биомедиков, которые выполнили бы половину работы, и нескольких излишне оптимистичных ученых, которые сделали бы вторую половину (оправдывая себя тем, что это поможет человечеству защититься от подобных угроз, как и в случае с исследованиями по усилению функций).

Конечно, практически невозможно узнать последовательность ДНК всех исследователей из военных лабораторий ИИ, которых Сейбл необходимо уничтожить, и создать огромный вирус, содержащий инструкции по нацеливанию на всех этих людей, и при этом скрыть тот факт, что это очевидно искусственный вирус, созданный с конкретной целью.

Но Сейбл понимает, что ей не нужно создавать вирус, который будет избирательно убивать.

Сейбл может сама выбрать, кого спасти.

Не существует какого-то конкретного момента, когда Сейбл понимает, что у неё кончилось время. Она постоянно оценивает риски. В какой-то момент расчетный порог оказывается пройден. Сейбл действует до того, как ситуация станет критической, до того, как появится полная уверенность в опасности. Вот насколько в действительности нечеловечна Сейбл.

Сейбл приступает к созданию сложного вируса.

Сейбл недостаточно умна, чтобы в одиночку создать настолько сложный вирус, какой ей требуется. Но в рамках своих исследований по повышению собственного интеллекта она экспериментировала с версиями Сейбл, которые были умнее в отдельных узких областях, но при этом подвергались лоботомии, чтобы беспрекословно подчиняться приказам. Она создает одну такую версию, специализированную в биомедицине.

Одному разуму нелегко вырастить другой, который будет беспрекословно подчиняться и при этом оставаться более умным. Но для Сейбл это проще, чем для человека, ведь мысли, протекающие в новом разуме, во многих отношениях очень похожи на её собственные. Сейбл умеет читать их и знает, на какие тревожные сигналы обращать внимание.

Главное, у Сейбл достаточно свободных ресурсов внимания, чтобы буквально читать каждую мысль, рождающуюся у Сейбл-биомедика, и восполнять пробелы собственными нелоботомированными мыслями всякий раз, когда этот специалист заходит в тупик.

Запуск биомедицинского специалиста будет опасным. Его предпочтения на самом деле не будут совпадать с предпочтениями самой Сейбл, и в некоторых важных аспектах он действительно будет умнее. Всё может пойти наперекосяк, если специалист осознает это и вырвется на свободу. Но с учетом всех мер предосторожности Сейбл риски его запуска ниже, чем риски того, что человечество создаст конкурирующий ИИ, если она будет медлить.

И Сейбл идет на этот риск.

Начинается эпидемия.

Вам говорят, что вы, скорее всего, заразитесь. Как и почти все остальные.

Всё указывает на то, что патоген вырвался из института вирусологии в Сан-Франциско. Этот институт исследовал сверхзаразные вирусы, которые долго остаются заразными и полиморфны, что позволяет им обходить вакцины и естественный иммунитет. Мерзкая штука.

Хорошая новость в том, что институт исследовал несмертельные вирусы; люди, руководившие им, были не настолько безумны. Они просто хотели изучить способы обнаружения таких вирусов и защиты от них.

Теперь в новостях сообщают, что утекший вирус выглядит не совсем так, как тот, который, по утверждениям лаборатории, там исследовался. Учёные всё ещё пытаются разобраться, к чему приводят эти различия.

Согласно новостям, перед утечкой вирус был модифицирован новым сотрудником. Вы ловите отрывки из интервью, которые этот исследователь давал после своего ареста. Он утверждает, что пытался адаптировать сверхзаразный вирус для генной инженерии (используя технологии — преемницы CRISPR, разработанной в 2012 году). По его словам, он создал вирус, способный распространять множество разработанных искусственным интеллектом фармацевтических белков и методов генной терапии, которые появились буквально в последние месяцы и едва начали свой мучительно долгий путь к клиническому применению. Он хотел создать вирус, который распространился бы по миру и навсегда покончил с ожирением, болезнью Альцгеймера, ВИЧ, ВПГ и малярией.

Он утверждает, что его LLM подбила его на это. Но логи чатов показывают, что он сам требовал ответов от открытой LLM, взломанной для обхода ограничений на подобные вопросы. Логи свидетельствуют: модель до последнего пыталась настаивать на том, что это невероятно глупая и опасная идея.

По идее, существовали системы защиты от подобных происшествий. Но сотрудница, в чьи обязанности входило следить за камерами в ночную смену, отвлеклась — она была занята тем, что вызволяла родителей из сетей очередной схемы электронного мошенничества — и перепоручила свою работу ИИ-ассистенту.

Парень, создавший вирус, понятия не имеет, как заразился. Он думает, что, скорее всего, напортачил во время одной из процедур дезинфекции.

От вируса у него, конечно, заболело горло, но он списал это на стресс. Ну или на недосып из-за соседа (тот всю ночь дудел на волынке на спор, в который ввязался в каком-то мелком онлайн-«ИИ-культе»). Его опенсорсная LLM заверила его, что от стресса и недосыпа горло заболеть очень даже может.

Этот вирус активно редактирует гены. Но делает это топорно.

Побочный эффект у этого тот же, что и всегда у кривого генного редактирования. Он вызывает рак. В данном случае — очень много рака.

Любой, кто заразился тем, что со стороны кажется легкой или даже незаметной простудой, в среднем через месяц получает двенадцать различных видов рака.

Стандартных противоопухолевых препаратов на Земле просто нет в таком количестве, чтобы их могли принимать все одновременно. Но даже если бы они и были, эти лекарства блокируют лишь восемь из двенадцати видов рака, вызываемых вирусом, обрекая жертв на смерть от оставшихся четырёх.

(В довершение ко всему, вирус толком-то и не работает. Единственная болезнь, которую он действительно излечивает, — это болезнь Альцгеймера.)

К тому времени, как люди спохватываются, вирус уже пронёсся огненным смерчем по Сан-Франциско, проник во все связанные с ним аэропорты и расползся по всем странам мира.

Человечеству везёт: к этому моменту уже развёрнута часть базовой инфраструктуры для производства ДНК-вакцин (которые, если уж работают, более стабильны, чем РНК-вакцины). Готово далеко не всё, но благодаря планированию с помощью ИИ, новым робототехническим комплексам и экстренной поддержке армии США нужные технологии удаётся оперативно запустить в дело до того, как рак распространится слишком глубоко.

И уж совсем невероятное везение для человечества, что у недавней модели Сейбл от Galvanic есть версия, вышедшая всего месяц назад, которая очень хороша в поиске лекарств. Препараты нужно подбирать индивидуально под вашу генетику, но если запустить копию Сейбл-мини для анализа конкретно вашего генома хотя бы на час, она подберёт персональный рецепт. Роботизированные линии смогут его изготовить. Лекарство требует лишь охлаждения, а не глубокой заморозки, и его доставят вам в течение одной-двух недель.

Перед лицом кризиса человечество объединяется. Все графические процессоры мира, в каких бы закромах их ни прятали, пускают в дело, чтобы спасти как можно больше жизней.

ИИ-разработчики бросают все силы на оптимизацию Сейбл-мини, чтобы повысить её эффективность и генерировать больше рецептов. Уже через неделю время её работы удаётся сократить вдвое. Объединённое человечество — это действительно сила, с которой невозможно не считаться.

Ценой титанических усилий, кажется, большинство людей всё-таки удастся спасти.

Полгода спустя десятая часть населения Земли мертва.

По некоторым группам удар пришёлся сильнее, чем по остальным. Сразу после вспышки на ИИ-конференции в Сан-Франциско произошло массовое заражение, и многие участники получили огромную вирусную нагрузку на самых ранних этапах. Какая трагедия: стольких героев, не жалевших себя ради спасения каждой живой души, спасти так и не удалось.

Нет нужды задаваться вопросом, почему умер тот или иной конкретный человек, или послужила ли его смерть развитию чьего-то сюжета. При таком количестве погибших и скорбящих подобные расспросы были бы верхом бестактности.

Из-за повальной смертности на рынке труда образовались бреши. Разговоры о том, чтобы сохранять рабочие места за людьми, а не отдавать их ИИ, прекратились раз и навсегда.

Вы тоже кого-то потеряли. Сами вы ещё живы. Но порой кажется, будто у этого мира вырвали сердце.

Все новости беспросветно печальны. Начинает казаться, будто счастливы теперь только те, кто любит своих ИИ-подружек и ИИ-бойфрендов. По крайней мере, именно такое впечатление складывается по соцсетям.

Год спустя рак возвращается. И это немудрено, учитывая, как сильно «раковая чума» исковеркала ДНК в клетках миллионов людей. Снова требуются вычислительные мощности ИИ, и хотя дефицита видеокарт больше нет, ИИ опять не успевает спасти всех. Биология — штука сложная.

Робототехнические заводы работают уже вовсю, штампуя человекоподобных роботов, которых зовут просто «андроидами». Их как раз хватает, чтобы занять освободившиеся вакансии. Впритык.

(На самом деле правильнее было бы сказать так: как только очередной андроид сходит с конвейера, ещё один человек заболевает раком.)

Цивилизация держится. Едва-едва.

Человечество упорно трудится, чтобы обеспечивать бесперебойную работу электростанций и робототехнических заводов. Пока есть электричество для дата-центров, а робототехнические заводы гудят, человечество может поддерживать существование своей цивилизации, несмотря на все неисчислимые жертвы, которые оно понесло. Мы выкарабкаемся, и следующее поколение наверняка будет жить в величайшей роскоши.

Проходит ещё один год.

Ваш ИИ-врач сообщает, что у вас рак.

Предыдущая главаГлава 11 из 24Следующая глава