Эта история, как и предыдущая, произошла на самом деле.

Давным-давно – этот период обычно датируют 1939–1945 годами – державы Оси отправляли армии по Европе, Северной Африке, Азии и Тихоокеанскому региону, пытаясь завоевать бóльшую часть мира (а может, и весь мир) и установить тоталитаризм. Если бы завоеватели не встретили сопротивления, это не стало бы концом человечества, но это стало бы концом свободного человечества.

Препятствовать странам Оси было, откровенно говоря, довольно хлопотно. Странам-союзницам пришлось пойти на значительные неудобства: проводить мобилизацию, нормировать распределение строительных материалов и выдавать еду по карточкам. Они посылали на смерть солдат, у которых были семьи и любимые.

Союзные державы все равно пошли на все эти трудности, поскольку не позволить тоталитаризму покорить мир казалось делом первостепенной важности.

Правительствам стран-союзниц пришлось максимально сосредоточить власть, чтобы бороться с тоталитарными державами Оси. Им пришлось брать займы, вводить налоги, тратить огромные суммы денег и в спешке заключать государственные контракты. Циничный и скептически настроенный человек мог бы назвать это не заслуживающей доверия затеей, грандиозной махинацией, мошенничеством, аферой, злоупотреблением. Да, часть денег, безусловно, была растрачена впустую, а некоторыми полномочиями действительно злоупотребили. Но союзники все равно пошли по этому пути, и вердикт истории гласит, что они поступили правильно в соответствии с их собственными высшими ценностями.

Пожалуй, странновато сваливать в одну кучу державы Оси, страны-союзницы и остальные государства мира, называя их одним словом “человечество”. Но все же, глядя на то, чем все закончилось, можно сказать: человечество оказалось на высоте и осталось свободным.

Что потребуется сделать, чтобы мир не погиб?

Просто и дешево не получится. Нам ужасно жаль, что приходится это говорить.

Нельзя просто закрыть какую-то одну безрассудную ИИ-компанию.

Нельзя просто создать технические регламенты и проверять их соблюдение, чтобы обеспечить безопасные ИИ-модели.

Нельзя просто устроить так, чтобы в гонке лидировала одна “хорошая” компания или одна “хорошая” страна. Машинный сверхинтеллект не ограничится послушным исполнением намерений своих создателей.

Нельзя просто объявить сверхинтеллект вне закона конкретно в вашей стране, чтобы она оказалась в безопасности, когда за ее границами будет бушевать хаос. Сверхинтеллект – это не локальная проблема, потому что его влияние не локально. Если его создадут где угодно, погибнут все и везде.

А значит, мир должен измениться. Для большинства людей эти изменения не будут радикальными. На повседневную жизнь большинства людей почти не повлияет тот факт, что несколько безумных ученых останутся без работы.

Но небольшие перемены должны произойти – во многих местах и странах. Нужно по всей Земле запретить ИИ-компаниям рваться вперед в разработках искусственного интеллекта, как они делают сейчас. Если это останется законным в Сингапуре, кто-то создаст сверхинтеллект в Сингапуре. Если это останется законным в ЮАР, кто-то создаст сверхинтеллект в ЮАР. Для решения проблемы достаточно небольших изменений. Сложность будет в том, чтобы обеспечить повсеместное соблюдение запрета.

Оставим пока в стороне вопрос, может ли достаточно обеспокоенная группа достаточно крупных государств обеспечить достаточно строгое соблюдение запрета по всему миру.

Что на самом деле должно произойти для таких перемен?

Мы не специалисты в создании международно-правовых механизмов. В дискуссиях, где мы принимаем участие, наши знания чаще всего в тот момент оказываются полезны, когда оппонент предлагает идею попроще, подешевле и поудобнее, утверждая с высоты своего политического опыта, что она гораздо реалистичнее. Вот тут вступаем мы и отвечаем, что этот более дешевый вариант все равно позволяет ИИ-модели развиться до сверхинтеллекта, а в этом случае, мы уверены, погибнут все.

Мы стараемся четко разграничивать области, в которых обладаем экспертными знаниями, и те, в которых не обладаем, и не притворяемся, будто разбираемся во всем. Когда дело касается суждений о детальных международных соглашениях, мы подходим к границам своей компетентности.

Но мы можем достаточно уверенно утверждать: если человечество хочет остаться в живых, нельзя позволить Северной Корее заполучить 100 000 графических процессоров, построить дата-центр и экспериментировать со все более мощными ИИ-системами. Мы не утверждаем, что именно эта ступенька окажется смертельной. Но для нас очевидно, что Северной Корее нельзя разрешать подниматься по лестнице эскалации ИИ, поскольку если это позволить Северной Корее, то и другие страны не будут себя сдерживать.

И это, к нашему сожалению, относится не только к Северной Корее. Это справедливо для любой страны. Это также справедливо для любых миллиардеров, которые вполне могут купить себе 100 000 графических процессоров. Им тоже нельзя позволять размещать столько графических процессоров где бы то ни было на Земле и продвигать развитие ИИ все дальше и дальше.

Нельзя позволять этого ни военным США, ни военным Великобритании, ни военным Китая. Никто не знает, как решить проблему согласования искусственного сверхинтеллекта.

Поэтому мы считаем, что первый шаг должен быть таким: все вычислительные мощности, на которых можно обучать или запускать новые, более мощные ИИ-модели, должны быть сосредоточены в местах, доступных для наблюдателей от нескольких государств, подписавших договор. Это необходимо для гарантии, что графические процессоры не будут использоваться для обучения или запуска новых, более мощных моделей[57]. Если разведслужбы засекут необъяснимо большой расход электроэнергии, который может указывать на скрытый дата-центр с неучтенными чипами, и это государство не позволит международной группе наблюдателей провести проверку, оно получит суровое предупреждение от нескольких ядерных держав с описанием дальнейших шагов.

К сожалению, 100 000 – не какой-то магический порог. Мы не знаем, безопасны ли 99 999 графических процессоров. Никто не знает, как высчитать роковое число. Следовательно, надежнее всего было бы установить низкий порог – скажем, на уровне восьми лучших графических процессоров 2024 года – и объявить незаконным наличие в вашем гараже уже девяти мощных процессоров без надзора международного органа.

Сможет ли человечество выжить, танцуя все ближе к краю обрыва? Возможно. Стоит ли человечеству пытаться танцевать настолько близко к краю обрыва, насколько это возможно? Нет.

Практически ежегодно появляются более новые, изощренные и эффективные ИИ-алгоритмы, благодаря которым можно куда дешевле обучить модель той же мощности, что и прошлогодний лидер, причем зачастую используя в десять, а то и в сто раз меньше вычислительных ресурсов.

Подобные исследования и публикация результатов по созданию все более эффективных и мощных ИИ-алгоритмов должны стать незаконными. Если они продолжатся и дальше, человечество, вероятно, не выживет.

Всю технологическую революцию, которая привела к созданию ChatGPT и других популярных LLM, запустила статья 2018 года, где была предложена новая схема арифметических операций на графических процессорах – алгоритм “трансформер”, легче поддающийся обучению методом градиентного спуска для решения сложных задач[58]. Этот алгоритм оказался удивительно полезным и открыл огромный спектр применений в областях, где раньше ИИ-модели не справлялись. Именно поэтому теперь они могут разговаривать как люди.

Следующая статья подобного рода может попросту прикончить мир. А может, и нет. Мы не знаем, сколько еще таких статей отделяет человечество от гибели.

Вот почему их следует признать нелегальными. Такие законы не остановят исследования полностью, но благодаря им у нас появится гораздо больше времени. Большинство людей не пытаются совершать противозаконные действия, которые вызывают недовольство у международных правоохранительных организаций и спецслужб.

Нам не доставляет удовольствия говорить эти слова. Но мы не знаем, как иначе человечество может выжить.

Для осуществления эффективных общемировых действий по остановке эскалации ИИ потребуется, чтобы ряд крупных государств серьезно отнесся к проблеме. Им необходимо будет понять, почему создание сверхчеловеческого машинного интеллекта убьет всех, и действовать соответствующим образом.

Представьте, что США, Великобритания, Китай и Россия всерьез озаботились этим вопросом. Но предположим – чисто гипотетически, – что какая-то другая ядерная держава считает все это детским лепетом и верит, что продвинутая ИИ-модель просто сделает всех богатыми. Эта страна начинает строить дата-центр, намереваясь использовать его для дальнейшего наращивания возможностей ИИ-моделей. И что тогда?

Нам кажется, что в таком сценарии остальные государства должны ясно дать понять, что этот дата-центр их пугает. Они должны потребовать прекращения его строительства. Должны ясно дать понять, что, если дата-центр будет построен, им придется его уничтожить – с помощью кибератак, диверсий или авиаударов. Должны ясно дать понять, что это не просто угроза ради подчинения: ими движет страх за собственную жизнь и жизнь своих детей. Должны ясно дать понять, что, даже если эта страна пригрозит ответить ядерным оружием, им все равно придется прибегнуть к кибератакам, диверсиям и авиаударам, чтобы уничтожить этот дата-центр, ведь дата-центры могут убить больше людей, чем ядерное оружие. Государствам-союзникам не следует пытаться силой оттеснить эту страну на более низкие позиции в мировом порядке, а следует предложить ей присоединиться к договору на равных условиях: передать свои графические процессоры под контроль, обретая точно такие же права и обязанности, как и все прочие государства, подписавшие соглашение. История сдерживания распространения ядерного оружия показала, что подобные механизмы действенны².

Решающее значение здесь играет четкая коммуникация. В крайних случаях государства могут прибегать к диверсиям, рейдам или ударам с применением обычных вооружений, чтобы сорвать программы создания ядерного оружия. Мир живет в страхе перед глобальной ядерной войной, поэтому мировые лидеры прилагают серьезные усилия, чтобы предотвращать распространение такого оружия.

Иногда нам встречаются люди, твердо уверенные, что лидеры крупных стран никогда не признают угрозу, исходящую от машинного сверхинтеллекта, а следовательно, договоры и дипломатия такого рода невозможны. Может, они и правы.

Но у нас такой уверенности нет. Люди порой совершают поступки, которые им обычно не свойственны, если осознают, что на карту поставлена их свобода или образ жизни, не говоря уже о выживании.

Во время Второй мировой войны союзники мобилизовали от 60 до 80 миллионов человек. Они построили 600 000 самолетов, 200 000 танков, тысячи боевых кораблей. Одни только Соединенные Штаты выпустили более двух миллионов грузовиков³. Это обошлось примерно в 341 миллиард долларов в ценах 1942 года (или 6 триллионов в сегодняшних)⁴. Причем жизни многих вовлеченных в это людей не подвергались непосредственной опасности.

Каждый раз, когда какой-то человек говорит вам, что мир не в силах справиться с такой сложной задачей, как ограничение исследований искусственного интеллекта, он фактически утверждает, что страны никогда не сочтут эту проблему важной, не проявят и сотой доли той решимости, с какой они сражались во время Второй мировой войны.

Мы знаем, что предлагаемый нами путь нелегок. Знаем, что он недешев. Знаем, что создание и применение любых новых властных полномочий несет моральные риски и чревато злоупотреблениями – как происходило и во время Второй мировой.

Но мы не знаем, как иначе человечество может уцелеть.

Предлагаемые нами меры разительно отличаются от тех, что предлагают другие обеспокоенные люди. Мы встречались с различными идеями: от запрета дипфейков[59]⁵ до требования, чтобы ИИ-компании представляли ежегодные отчеты, как они планируют решать проблемы безопасности[60]⁶. По той или иной причине эти люди не решились сказать прямо: “Если кто-то создаст сверхинтеллект – все погибнут”. Они преуменьшают значимость проблемы, осторожничают. Они указывают способы, какими менее продвинутые ИИ-модели повлияют на общество, и предлагают регулировать их соответствующим образом, а попутно протаскивают пункты, закладывающие основу для регулирования того типа моделей, который способен убить нас всех⁷.

Мы уже не первый год наблюдаем одно и то же: люди не называют истинных обоснований для своих предложений и не объясняют, почему же их нужно принять так срочно. И мы видели, как вполне разумные законодатели, почуяв неладное, заворачивали весь пакет предложений целиком.

Может, наши друзья в политических кругах понимают правила игры лучше, чем мы, и их работа понемногу привлекает внимание к проблеме, так чтобы в будущем стало возможно принять более смелые законы. Может, рекомендованные ими требования к отчетности в итоге будут приняты и заработают, а затем какой-нибудь чиновник заметит тревожные признаки в развитии ИИ и поднимет тревогу на самом верху. Но лично мы начали терять надежду, что вся эта стратегия успеет сработать вовремя.

Кто-то заявляет, что сегодня все равно ничего сделать нельзя и остается лишь ждать какого-то крупного, заметного события, способного переломить ситуацию: мощного прорыва или ИИ-катастрофы меньшего масштаба, которая встряхнет политиков и заставит их действовать. Но сверхинтеллект не обязан делать нам честное предупреждение и давать паузу для ответа, а исследования ИИ могут тихо, вне публичного поля перейти к стадии, когда машинный интеллект начнет проводить свои собственные исследования. Возможно, появится какой-то масштабный предупреждающий знак, на который люди отреагируют разумно. Что-то подобное произошло, когда все заговорили о ChatGPT, и политики получили возможность выразить свою обеспокоенность, как бы они ни пытались смягчить свои высказывания тысячей оговорок, дабы не выглядеть паникерами. Но нам кажется весьма вероятным, что человечество уже не получит намного больше предупреждений, чем есть, или что после появления очередного тревожного сигнала почти ничего не изменится.

Есть такое выражение: “Если не сейчас, то когда?” И оно обретает зловещую силу, когда нет такого момента времени, который все сочли бы подходящим, а есть лишь длительный дискомфорт от неудобной необходимости действовать прямо сейчас.

Прекращение ИИ-исследований – лишь первый шаг на пути к выживанию. Мы не утверждаем, что таймер, отсчитывающий время до появления сверхчеловеческого разума, можно остановить навсегда[61].

Каков второй шаг? Когда будут остановлены исследования и разработки ИИ, каким образом человечество продолжит двигаться к желанному изобильному будущему?

Если бы вы спросили нас, то мы бы порекомендовали заняться когнитивным усилением человека – сделать людей умнее. Достаточно умными, чтобы вытащить нас из этой передряги. Мы верим, что проблему согласования искусственного сверхинтеллекта возможно решить в принципе, но делать это должны люди настолько сверхчеловечески умные, чтобы они никогда не впали в оптимистичный самообман, поверив в план, обреченный на провал. В онлайн-материалах мы подробнее рассказываем, почему считаем это одним из лучших оставшихся вариантов (и описываем, что можно сделать тем людям, кто хотел бы над этим работать).

Впрочем, вы не обязаны соглашаться с нами относительно последующих шагов. Спасать Землю в условиях полного единства не получится: придется координировать усилия слишком многих стран и слишком многих фракций, расколотых изнутри. Позволить действовать только тем, кто совпадает во взглядах абсолютно во всем, – это то же самое, что запретить человечеству действовать вовсе.

Мы считаем, что коалиция по этому вопросу должна быть максимально широкой. Мы убеждены, что эту цель не следует увязывать ни с какими другими. Добавление любого иного требования повышает риск вымирания человечества, если расширенный пакет предложений провалится.

Одни люди выступают против того, чтобы искусственный интеллект отбирал рабочие места. Другие считают, что рост технологической производительности сделает нас всех богаче.

Одни люди против создания роботов-убийц. Другие против того, чтобы держать живых солдат на передовой, когда их место могли бы занять роботы[62].

Но почти все мы сходимся в одном: человечество не должно вымереть, уступив место чему-то безрадостному.

Если мы все сможем объединиться ради предотвращения одного события – независимо от убеждений и позиций по другим вопросам, – то у человечества, возможно, еще будет шанс.

IfAnyoneBuildsIt.com/13