ЭТА ПРИТЧА, КАК И ПРЕДЫДУЩАЯ, ПРОИЗОШЛА НА САМОМ ДЕЛЕ.
Давным-давно, в период, который иногда датируют 1939–1945 годами, страны Оси бросили свои армии на Европу, Северную Африку, Азию и Тихий океан, стремясь установить тоталитарный режим и завоевать большую часть мира, а возможно, со временем и весь мир. Если бы странам Оси не оказали сопротивления, это не стало бы концом человечества, но это стало бы концом свободного человечества.
Не дать странам Оси завоевать эти континенты было, прямо скажем, делом весьма хлопотным. Странам-союзникам пришлось пойти на самые разные неприятные меры, чтобы не допустить этого. Союзники ввели всеобщую воинскую повинность, нормировали продукты питания и строительные материалы. Они отправляли на смерть солдат, у которых были семьи и близкие.
И всё же страны-союзники пошли на все эти трудности, потому что не позволить тоталитаризму завоевать мир казалось важным делом.
Правительствам союзников пришлось сосредоточить власть в собственных руках, чтобы бороться с тоталитарной Осью. Им приходилось брать взаймы, вводить налоги, тратить огромные средства и в спешке заключать государственные контракты. Кто-то цинично и скептически настроенный мог бы назвать это подозрительным делом, грандиозной схемой, махинацией, жульничеством, моральным риском. И какие-то деньги наверняка были потрачены не по назначению, а некоторые чрезвычайные полномочия использовались во вред. И тем не менее союзники пошли по этому пути, почти без споров, и вердикт истории гласит, что с точки зрения их собственных высших ценностей они поступили правильно.
Возможно, покажется странным объединять страны Оси, союзников и весь остальной мир и называть всех их одним словом — «человечество». Но всё же о том, как всё в итоге обернулось, можно сказать так: человечество оказалось на высоте положения и осталось свободным.
ЧТО ПОТРЕБУЕТСЯ, ЧТОБЫ МИР НЕ ПОГИБ?
Ничего простого или дешёвого. Нам очень, очень жаль это говорить.
Проблема не в том, что какая-то одна ИИ-компания ведёт себя безрассудно и её нужно закрыть.
Дело не в простых инженерных правилах, соблюдение которых регулирующие органы могли бы проверить и которые сделали бы ИИ безопасным.
Дело не в том, чтобы какая-то одна компания или страна оказалась самой добродетельной и чтобы всё было хорошо до тех пор, пока лучшая фракция способна мчаться вперёд достаточно быстро, обгоняя всех остальных. Машинный сверхинтеллект не станет просто делать то, чего от него хотели создатели.
Дело не в том, чтобы запретить сверхинтеллект в границах вашей собственной страны, сделав её безопасной, пока снаружи бушует хаос. Сверхинтеллект — это не региональная проблема, потому что у него не может быть региональных последствий. Если кто-то где угодно создаст сверхинтеллект, погибнут все повсюду.
Поэтому миру нужно измениться. Для большинства людей эти изменения не будут такими уж радикальными. В повседневной жизни большинства мало что изменится от того, что несколько безумных учёных останутся без работы.
Но жизнь всё же должна измениться на эту самую малость, причём во многих местах и странах. По всей Земле ИИ-компаниям должно быть запрещено рваться вперёд в разработке искусственного интеллекта, как они делают сейчас. Если это останется законным в Сингапуре, кто-то сделает это в Сингапуре. Если это останется законным в Южной Африке, кто-то сделает это в Южной Африке. Небольшие изменения могут решить проблему; трудность будет в том, чтобы обеспечить их соблюдение повсеместно.
Отложим пока вопрос о том, возможно ли для достаточно обеспокоенной группы достаточно крупных держав обеспечить соблюдение достаточно жёсткого запрета по всему миру.
Что должно произойти на самом деле, чтобы эти изменения наступили?
Мы не эксперты в разработке международных механизмов регулирования. В дискуссиях на эту тему, в которых мы участвовали, наш опыт оказывается полезен главным образом тогда, когда кто-то предлагает более простую, дешёвую и удобную идею, утверждая, основываясь на собственном политическом опыте, что она гораздо более осуществима. И тогда мы отвечаем, что эта более дешёвая идея всё равно позволяет ИИ эволюционировать до сверхинтеллекта, а в этом случае, мы практически уверены, погибнут все.
Мы стараемся разграничивать то, в чём являемся относительными экспертами, а в чём нет, и не притворяться знатоками во всём. Когда дело доходит до оценки подробных международных проектов, мы уже приближаемся к пределу своей компетентности.
Но кое о чём, как нам кажется, можно судить с уверенностью: если человечество хочет жить, нельзя позволить Северной Корее украсть 100 000 графических процессоров, оборудовать дата-центр и экспериментировать со всё более мощными архитектурами ИИ. Мы не утверждаем, что именно эта ступень обязательно окажется той самой, которая нас убьёт. Но нам кажется, что Северной Корее нельзя позволять подниматься по лестнице эскалации ИИ, потому что, если это будет позволено ей, ни одна другая страна не станет себя сдерживать.
И это — с сожалением приходится признать — касается не только Северной Кореи. Это верно для любой страны. Это верно для любого миллиардера, который может позволить себе 100 000 графических процессоров. Им тоже нельзя позволять размещать эти процессоры где бы то ни было на Земле и продвигать ИИ всё дальше и дальше.
Этого нельзя позволять ни американским военным, ни британским, ни китайским. Никто не знает, как решить проблему согласования сверхинтеллекта (ASI).
Поэтому первым шагом, на наш взгляд, должно стать следующее решение: все вычислительные мощности, которые могли бы обучать или запускать новые, более мощные ИИ, должны быть сосредоточены в местах, где за ними могут наблюдать инспекторы из нескольких стран, подписавших договор, дабы гарантировать, что эти графические процессоры не используются для обучения или запуска новых, более мощных систем ИИ.i Если спецслужбы обнаружат огромное, необъяснимое потребление электроэнергии, которое могло бы указывать на скрытый дата-центр с неучтёнными чипами, а соответствующая страна откажется впустить международную группу наблюдателей для проверки, она получит мрачное официальное письмо от нескольких ядерных держав с предупреждением о последующих шагах.
К сожалению, в числе 100 000 нет ничего магического. Мы не знаем, безопасны ли 99 999 графических процессоров. Никто не знает, как рассчитать это фатальное число. Поэтому самым надёжным решением было бы установить низкий порог — скажем, на уровне восьми самых современных графических процессоров образца 2024 года — и объявить незаконным владение девятью процессорами такой мощности в своём гараже без надзора со стороны международных органов.
Смогло бы человечество выжить, танцуя ещё ближе к краю пропасти? Возможно. Стоит ли человечеству пытаться танцевать так близко к краю пропасти, как только возможно? Нет.
Практически каждый год учёные создают новые, более изящные и эффективные алгоритмы ИИ, которые позволяют за меньшие деньги обучить новую модель ИИ, не уступающую по мощности лидеру прошлого года, причем зачастую требуя буквально 10 или даже 1 процент от прежнего объёма вычислительной мощности.
Поэтому дальнейшая публикация исследований в области более эффективных и мощных методов ИИ должна быть объявлена вне закона — человечество, скорее всего, не выживет, если это по-прежнему будет легально.
Вся технологическая революция, которая привела к созданию ChatGPT и других популярных LLM, началась с научной статьи 2018 года, представившей оригинальную организацию вычислений внутри графического процессора — алгоритм «трансформер», который легче поддавался обучению методом градиентного спуска для выполнения сложных задач.ii Трансформеры оказались удивительно универсальными и открыли огромный спектр новых областей применения, с которыми ИИ раньше просто не справлялся. Именно поэтому ИИ теперь может разговаривать как человек.
Следующая подобная статья может просто-напросто погубить мир. А может, и нет! Мы не знаем, сколько ещё таких статей отделяет человечество от вымирания.
Поэтому это нужно запретить законом. Такие законы не остановят исследования полностью, но они помогут и дадут нам гораздо больше времени. Большинство людей не пытаются совершать противозаконные действия, которые могут по-настоящему разозлить международные правоохранительные органы и спецслужбы.
Нам вовсе не в радость говорить это. Но мы не знаем, как иначе человечество сможет выжить.
Эффективные глобальные действия по остановке эскалации ИИ потребуют от ряда ведущих мировых держав серьёзного отношения к этой проблеме. Им необходимо понять, почему создание машинного интеллекта, значительно превосходящего человеческий, убьёт всех, и действовать соответствующим образом.
Представьте, что США, Великобритания, Китай и Россия начали относиться к этому вопросу со всей серьёзностью. Но предположим гипотетически, что какая-то другая ядерная держава считает всё это детским лепетом, а передовой ИИ, по её мнению, сделает всех богатыми. И вот эта страна начинает строить дата-центр, намереваясь использовать его для дальнейшего наращивания возможностей ИИ. Что тогда?
Нам кажется, что при таком сценарии остальные державы должны дать понять, что этот дата-центр их пугает. Они должны потребовать, чтобы дата-центр не строился. Они должны чётко заявить, что если дата-центр всё-таки будет построен, им придётся его уничтожить — с помощью кибератак, саботажа или обычных авиаударов. Они должны дать понять, что это не угроза с целью принуждения к подчинению, а проявление искреннего ужаса за собственные жизни и жизни своих детей. Союзники должны дать понять, что даже если эта держава пригрозит ответить ядерным ударом, им всё равно придётся использовать кибератаки, саботаж и обычные удары для уничтожения дата-центра, поскольку дата-центры могут убить больше людей, чем ядерное оружие. Им не следует пытаться понизить статус этой мирной державы в мировом порядке; они должны предложить ей присоединиться к договору на равных условиях, чтобы эта держава предоставила свои графические процессоры для мониторинга с теми же самыми правами и обязанностями, что и любой другой участник. Существующая политика нераспространения ядерного оружия показала, что здесь можно сделать.
Предельная ясность в общении — залог успеха. В крайних случаях государства могут прибегать к диверсиям, налётам или обычным ударам для срыва программ создания ядерного оружия. Мир живёт в страхе перед глобальной ядерной войной, поэтому мировые лидеры прилагают серьёзные усилия для предотвращения распространения ядерного оружия.
Иногда мы встречаем людей, которые абсолютно уверены, что лидеры ни одной крупной страны никогда не смогут осознать угрозу машинного сверхразума, а потому подобные договоры и дипломатия попросту невозможны. Возможно, время покажет их правоту.
Но мы в этом не уверены. Люди порой делают вещи, которых обычно не делают, если понимают, что на кону стоит их свобода или образ жизни, не говоря уже о самом их выживании.
Страны антигитлеровской коалиции во Второй мировой войне мобилизовали, вероятно, от 60 до 80 миллионов человек. Они задействовали 600 000 самолётов, 200 000 танков, тысячи военных кораблей. Одни только Соединённые Штаты выставили более 2 миллионов грузовиков. Это обошлось примерно в 341 миллиард долларов в ценах 1942 года, или в 6 триллионов долларов на сегодняшние деньги. Для многих из тех, кто в этом участвовал, угроза со стороны стран Оси даже не представляла непосредственной опасности для жизни.
Всякий раз, когда кто-то говорит вам, что мир ни за что не справится с такой сложной задачей, как ограничение исследований в области ИИ, он на самом деле утверждает, будто точно знает, что государствам на это всегда будет наплевать. Они утверждают, будто государства и их лидеры ни за что не станут беспокоиться об этой проблеме хотя бы на один процент от того, насколько важной для них была борьба во Второй мировой войне.
Мы понимаем, что то, что мы описываем — нелегко. Мы знаем, что это недёшево. Мы знаем, что создание и наделение полномочиями любого нового органа власти сопряжено с моральными рисками и потенциальными злоупотреблениями — как это было и во времена Второй мировой войны.
Но мы не знаем, как иначе человечество сможет выжить.
Решения, которые мы только что предложили, бесконечно далеки от тех мер, которые предлагают другие обеспокоенные люди. Мы видели самые разные предложения: от запрета дипфейковiii до требования к ИИ-компаниям предоставлять ежегодные отчёты о том, как они планируют решать свои проблемы с безопасностью.iv По той или иной причине эти люди не заявляют прямо: «Если кто-то его создаст, все умрут». Они преуменьшают угрозу, осторожничают, указывают на то, как менее развитый ИИ повлияет на общество, и предлагают регулировать его соответствующим образом, попутно вставляя пункты, которые закладывают основу для регулирования того типа ИИ, который действительно способен нас уничтожить.
Мы уже довольно давно наблюдаем за подобным развитием событий, когда люди не называют истинных причин своих предложений или того, почему, по их мнению, их необходимо принять так срочно. И мы видели, как вполне разумные законодатели, почуяв неладное, отвергали весь пакет законопроектов целиком.
Возможно, наши друзья в сфере регулирования разбираются в политике лучше нас. Возможно, их работа немного повышает осведомленность об этих проблемах, чтобы в будущем можно было принять более смелые законы. Возможно, рекомендуемые ими требования к отчетности в конечном итоге будут приняты и утверждены, что со временем заставит какого-нибудь чиновника заметить тревожные сигналы в разработке ИИ и предупредить мировых лидеров. Но мы сами начинаем терять надежду на то, что вся эта стратегия сработает вовремя.
Кто-то скажет, что сегодня уж точно ничего нельзя сделать, и единственная надежда — дождаться какого-то крупного, очевидного события, которое переломит ход истории: мощного технологического прорыва или локальной катастрофы, вызванной ИИ, которая подтолкнет политиков к действию. Но сверхинтеллект не станет заблаговременно предупреждать нас и не даст времени на ответные меры; кроме того, исследования в области ИИ могут незаметно, в закрытой лаборатории, перейти тот рубеж, за которым системы ИИ начнут сами проводить исследования в области ИИ. Возможно, произойдет какое-то масштабное предзнаменование, на которое люди отреагируют разумно. Нечто подобное случилось в «эпоху ChatGPT», когда политики наконец смогли заявить о своей обеспокоенности, какими бы осторожными оговорками они ни обставляли свои слова, чтобы не показаться паникерами. Но нам также кажется вполне вероятным, что человечество не получит гораздо более явного предупреждения, чем то, что у него уже есть, — или же после появления очередного тревожного сигнала мало что изменится.
Есть выражение: «Если не сейчас, то когда?» Эти слова обретают зловещую силу, когда нет момента, который все единогласно признали бы подходящим временем, а есть лишь затяжное нежелание мириться с неудобствами, связанными с действиями в настоящий момент.
Остановка исследований в области ИИ — это, в конечном счете, лишь первый шаг на пути к выживанию. Мы не утверждаем, что ход часов, отсчитывающих время до появления сверхразума, можно остановить навсегда.v
Каков второй шаг? Как только исследования и разработки в сфере ИИ будут прекращены, как человечеству продолжить свой путь к прекрасному и изобильному будущему?
Если бы вы спросили нас, мы бы порекомендовали аугментацию человека — сделать людей умнее, достаточно умными, чтобы вытащить нас из этой передряги. Мы верим, что проблему согласования сверхинтеллекта (ASI) в принципе можно решить силами людей настолько нечечеловечески умных, что они никогда не поддадутся оптимистичной иллюзии, будто какой-то план сработает, если он обречен на провал. В онлайн-материалах мы более подробно объясняем, почему считаем этот вариант одним из лучших среди оставшихся, и приводим ресурсы для тех, кто заинтересован в работе над этим направлением.
Но в конечном счете вам необязательно соглашаться с нами касательно последующих шагов. Слишком многим странам необходимо координировать свои действия, слишком многие фракции расколоты изнутри, чтобы Землю можно было спасти в абсолютном единодушии. Если действовать сообща будет позволено только тем людям, которые согласны друг с другом абсолютно во всем, это будет равносильно тому, что человечеству вообще не позволят действовать.
Мы считаем, что коалиция по этому вопросу должна оставаться как можно более широкой. Мы не думаем, что этот вопрос следует увязывать с какой-либо другой позицией. Добавление любого другого требования ставит под угрозу выживание человечества, если этот более масштабный пакет предложений будет отвергнут.
Некоторые выступают против того, чтобы ИИ отбирал у людей рабочие места. Другие полагают, что рост технологической производительности сделает всех нас богаче.
Некоторые против создания роботов-убийц. Другие против того, чтобы отправлять живых людей на передовую, когда их место могут занять роботы.vi
Но почти все мы согласны, что человечество не должно вымереть и уступить место чему-то безрадостному.
Если мы все сможем объединиться, чтобы не допустить этого единственного исхода, независимо от других наших убеждений и позиций, тогда у человечества появится хоть какой-то шанс.
Примечания
i Существуют или находятся в разработке различные технологические решения для содействия, верификации и обеспечения соблюдения подобного соглашения. Более подробно мы останавливаемся на этом в онлайн-ресурсах.
ii Мы упоминали его, хотя и не называя напрямую, еще во второй главе, когда описывали архитектуру, лежащую в основе Llama 3.1 405B, большой языковой модели, которая была передовой в середине 2024 года.
iii Существуют разумные причины для противодействия дипфейкам, такие как предотвращение мошенничества или получение опыта в регулировании ИИ. Скорее всего, большинство — если не все — из тех, кто пытается запретить дипфейки, считают, что эти преимущества стоят сопутствующих издержек. Тем не менее, по нашему опыту, некоторые сторонники предпочитают неоднозначные формулировки, которые в будущем могли бы помочь ограничить ИИ более масштабно — например, режимы ответственности, которые впоследствии могут быть истолкованы как фактический запрет на распространение весов ИИ-моделей. Законодатели способны замечать, когда предлагаемые механизмы регулирования оказываются шире, чем того требует заявленная цель. Сами по себе дипфейки не могут служить достаточным стимулом для запрета открытых разработок в области ИИ.
iv Ранние проекты калифорнийского Закона о безопасных и надёжных инновациях в сфере передовых моделей искусственного интеллекта (SB-1047) содержали пункты, которые можно было истолковать как наделение генерального прокурора полномочиями инициировать гражданские иски в суде при подозрении на угрозу. В ходе работы над законопроектом эти положения были сужены; основные опасения не оправдывали в достаточной мере предоставление генеральному прокурору подобных полномочий. (Сокращенная версия законопроекта была принята, но губернатор Гэвин Ньюсом все равно наложил на нее вето.)
И даже если бы это было возможно, честно говоря, мы бы не пожелали нашему виду такого будущего. Мы верим, что жизнь, зародившаяся на Земле, должна в конечном итоге распространиться и наполнить звезды радостью и чудом. Нам не стоит так сильно спешить с этим настолько, чтобы совершить самоубийство, пытаясь осуществить это уже в следующем году, но и просто прозябать здесь, на Земле, в ожидании гибели нашей звезды мы тоже не должны.
Некоторые люди рассматривают противодействие роботам-убийцам как естественную часть общего «анти-ИИ пакета». Это отталкивает тех, кто видит в них пользу для безопасности или способ избежать человеческих жертв в войнах. Мы не излагали свою позицию по поводу того, следует ли использовать существующие узкие и ограниченные возможности ИИ для управления военными дронами, и вы не найдете ее в этой книге. Мы не требуем ничего, кроме того, чтобы возможности ИИ не наращивались дальше. Обо всем остальном нужно договариваться или спорить отдельно, а не объединять в один пакет с выживанием человечества.