«СНИЖЕНИЕ РИСКА ГИБЕЛИ ЧЕЛОВЕЧЕСТВА ИЗ-ЗА ИИ ДОЛЖНО СТАТЬ глобальным приоритетом наряду с другими рисками масштаба всего общества, такими как пандемии и ядерная война».
В начале 2023 года сотни ученых в области искусственного интеллекта подписали открытое письмо, состоявшее всего из этого одного предложения. Среди подписавших были некоторые из самых заслуженных исследователей в этой области. В их числе были лауреат Нобелевской премии Джеффри Хинтон и Йошуа Бенджио, разделившие Премию Тьюринга за изобретение глубокого обучения.
Мы — Элиезер Юдковский и Нейт Соарес — тоже подписали это письмо, хотя и посчитали его формулировку слишком мягкой.
Ни нас, ни других подписавшихся не беспокоили ИИ образца 2023 года. Не беспокоят нас и те ИИ, которые существуют сейчас, когда мы пишем эти строки в начале 2025 года. Сегодняшние ИИ все еще кажутся поверхностными — в каком-то глубинном смысле, который трудно описать словами. У них есть ограничения, такие как неспособность формировать новые долговременные воспоминания. Этих недостатков пока достаточно, чтобы мешать им проводить серьезные научные исследования или заменять сколько-нибудь значительное количество человеческих рабочих мест.
Мы тревожимся о том, что придет следом: о машинном интеллекте, который будет по-настоящему умен — умнее любого из живущих людей, умнее всего человечества вместе взятого. Нас беспокоит ИИ, превосходящий человеческую способность мыслить, обобщать опыт, решать научные загадки, изобретать новые технологии, планировать, вырабатывать стратегии, плести заговоры, размышлять о себе и совершенствоваться. Подобный ИИ можно назвать «искусственным сверхинтеллектом» (ASI), как только он превзойдет каждого человека практически в любой интеллектуальной задаче.
ИИ еще не достиг этого уровня. Но сегодняшние ИИ умнее, чем в 2023 году, и гораздо умнее, чем в 2019-м. Исследования в области ИИ приносили один качественный скачок за другим: в 2012i, 2016ii, 2020iii, 2022iv и 2024v годах. Мы не знаем, иссякнет ли этот прогресс, заставив эти скачки прекратиться на какое-то время, пока не будут изобретены новые методы и технологии. Мы не знаем, сколько скачков осталось до того, как ИИ превратится в угрозу уничтожения человечества, о которой предупреждали авторы письма. Но история раз за разом доказывала, что исследователи ИИ создают новые методы и преодолевают старые препятствия. Прогресс часто оказывается на удивление стремительным. В 2015 году большинство специалистов по компьютерным наукам сказали бы вам, что искусственный собеседник уровня ChatGPT появится не раньше чем через тридцать или пятьдесят лет.
Мы не знали, когда именно появится искусственный сверхинтеллект, но были согласны с тем, что этот вопрос должен стать глобальным приоритетом. На самом деле мы считаем, что это открытое письмо кардинально преуменьшает масштаб проблемы.
Нас пригласили подписать это открытое письмо из одного предложения в качестве соруководителей некоммерческой организации — Научно-исследовательского института машинного интеллекта (MIRI). MIRI занимался вопросами, связанными с машинным сверхинтеллектом, с 2001 года — задолго до того, как эта тема получила широкую огласку или финансирование. Проще говоря: среди той горстки людей, которые следят за этой темой десятилетиями, считается, что MIRI занимается ею дольше всех. Один из нас, Юдковский, является основателем MIRI; второй, Соарес, — его нынешним президентом.
MIRI был первой организованной группой, которая заявила: «Рано или поздно сверхинтеллектуальный ИИ предсказуемо будет создан, и это событие видится чем-то невероятно масштабным. Направить развитие сверхинтеллекта так, чтобы он помогал человечеству, а не вредил ему, может оказаться технически сложной задачей. Не стоит ли кому-то начать работать над этой проблемой прямо сейчас, вместо того чтобы ждать, пока в будущем все превратится в катастрофическую чрезвычайную ситуацию?»
Мы не сразу пришли к этому. В 2000 году Юдковский начинал с попыток создать машинный сверхинтеллект. Но в 2001 году он понял, что тот вовсе не обязательно окажется дружелюбным. А в 2003 году осознал, что эта задача будет очень сложной.
Первые два десятилетия своего существования MIRI был техническим исследовательским институтом и мало участвовал в политике. Организация в основном проводила семинары для заинтересованных ученых и обеспечивала условия для работы нескольких перспективных исследователей. Мы пытались разработать математический аппарат, позволяющий понять и направить развитие сверхчеловеческого машинного интеллекта, а также предсказать, в чем именно все может пойти не так.
Деятельность MIRI также имела и косвенные последствия, к которым мы теперь относимся неоднозначно или с сожалением. На организованной нами конференции мы познакомили Демиса Хассабиса и Шейна Легга, основателей будущей компании Google DeepMind, с их первым крупным инвестором. А Сэм Альтман, генеральный директор OpenAI, однажды заявил, что Юдковский «заинтересовал многих из нас общим искусственным интеллектом»vi и «сыграл решающую роль в решении запустить OpenAI».vii
История MIRI сложна, но наше отношение к этой более широкой области можно обобщить так: за годы до появления любой из нынешних ИИ-компаний предупреждения MIRI были известны как те самые доводы, которые вам необходимо было отбросить, если вы хотели работать над созданием по-настоящему умного ИИ, невзирая на риск гибели человечества.
Не так давно, когда сфера ИИ начала бурно развиваться, мы с тревой наблюдали, как новоиспеченные создатели ИИ-компаний заговорили об искусственном сверхинтеллекте как об источнике колоссального, чудесного могущества. Могущества, которое, как они полагали, они смогут контролировать. Главная опасность, по мнению многих из этих основателей, заключалась в том, что сверхинтеллект (ASI) может «достаться» не тем людям. Они твердили о необходимости победить в «гонке вооружений в сфере ИИ». А о возможности того, что не вы «владеете» ASI, а сам ASI владеет ASI — то есть единственным победителем в гонке вооружений ИИ станет сам ASI, — эти основатели не упоминали.
Мы видели, что возможности ИИ растут очень быстро.
Мы видели, что область исследований, в которой мы участвовали — направленная на понимание систем ИИ и на то, чтобы они, возможно, не пошли по неверному пути, — развивалась гораздо, гораздо медленнее.
Стремительный бросок ИИ-компаний к сверхчеловеческому интеллекту — их попытки создать его как можно скорее, опередив конкурентов, — стал казаться нам гонкой к пропасти. Индустрия неслась навстречу катастрофе: из тех, что попадают в учебники как пример того, как не надо проектировать системы, — вот только в живых не осталось бы никого, кто мог бы написать этот анализ.
Нам больше не казалось реалистичным, что человечество сможет избежать катастрофы лишь за счет инженерных разработок и исследований. Не в таких условиях. И не за такое время.
Мы списали свои прежние усилия со счетов как провальные, свернули большую часть исследований MIRI и переключили внимание института на донесение одной-единственной мысли — предупреждения, которое лежит в основе этой книги:
Если какая-либо компания или группа в любой точке планеты создаст искусственный сверхинтеллект с использованием чего-то хотя бы отдаленно похожего на нынешние методы, на основе чего-то хотя бы отдаленно похожего на сегодняшнее понимание ИИ, то все и повсюду на Земле погибнут.
Мы говорим это без всякой гиперболизации. Мы не преувеличиваем ради пущего эффекта. Мы считаем, что это самая прямая экстраполяция на основе имеющихся знаний, доказательств и того, как сегодня ведут себя институты, занимающиеся искусственным интеллектом.
В этой книге мы излагаем свои аргументы в надежде сплотить достаточное количество ключевых лиц, принимающих решения, и обычных людей, чтобы они отнеслись к ИИ серьезно. Исход по умолчанию смертелен, но ситуация не безнадежна: машинного сверхинтеллекта еще не существует, и его создание все еще можно предотвратить.
Как вообще можно быть уверенным в том, что произойдет с ИИ? «Прогнозировать очень трудно, особенно когда речь идет о будущем», — гласит известный афоризм. Большая часть того, что нам хотелось бы знать о будущем, на самом деле непредсказуема. Мы не можем, к примеру, назвать вам выигрышные номера лотереи на следующей неделе. Любая комбинация чисел кажется столь же вероятной, как и любая другая.
Но некоторые факты о будущем действительно предсказуемы. Если вы лично купите завтра лотерейный билет, мы не знаем, какими сложными теориями или капризами вы будете руководствоваться при выборе номеров, и не знаем, какие именно номера выпадут, но вся эта неопределенность складывается в очень сильный прогноз: вы не выиграете в лотерею. Точно так же, если вы бросите кубик льда в стакан с горячей водой, невозможно детально рассчитать, где окажется каждая молекула через десять минут, — но вся эта неопределенность складывается в практически стопроцентный прогноз: кубик льда растает. Половина физики устроена именно так: мы не можем вычислить, по какому именно пути пойдет процесс, но знаем, куда ведут почти все пути.
При наличии правильных знаний и усилий некоторые аспекты будущего предсказуемы, тогда как другие представляют собой невероятно трудную задачу для прогноза. Грамотный футуризм строится на понимании этой разницы.
История учит, что один из типов относительно простых прогнозов на будущее строится на осознании того, что некое явление теоретически возможно согласно законам физики, и предсказании, что рано или поздно кто-то это сделает. Полеты на аппаратах тяжелее воздуха, оружие, высвобождающее ядерную энергию, ракеты, летящие на Луну с человеком на борту, — все эти события были предсказаны заранее и по верным причинам, несмотря на сопротивление скептиков, которые глубокомысленно замечали, что ничего подобного еще не случалось, а значит, скорее всего, никогда и не случится. Люди, привязывавшие крылья к рукам и прыгавшие с холмов, выглядели крайне глупо, подвергались насмешкам современников и действительно калечили себя, терпя неудачи, — но это не помешало братьям Райт разобраться, как летать.
И наоборот, предсказание того, когда именно технология будет разработана, исторически оказывалось гораздо более сложной задачей. Люди заявляют, что до технологии осталось года два, когда на самом деле требуется полвека, или говорят «пятьдесят лет», когда на деле до нее года два, причем они сами ее и создадут. «Человек не полетит еще тысячу лет», — бросил Уилбур Райт Орвиллу Райту в 1901 году, когда ему до смерти надоел безмоторный планер, который они тогда испытывали. Два года спустя, в 1903-м, братья Райт взлетели.
Успешное прогнозирование заключается не в том, чтобы быть достаточно умным для предсказания деталей, которые обычно предсказать невозможно. И не в том, чтобы выдумать законченный сценарий грядущих событий, а потом волшебным образом оказаться правым. Скорее, суть в том, чтобы найти такие аспекты будущего, которые под правильным углом зрения становятся очевидными выводами.
Мы не знаем, когда наступит конец света, если люди и страны ничего не изменят в своем подходе к искусственному интеллекту. Мы не знаем, какими будут заголовки новостей об ИИ через два года или десять лет, и даже не знаем, есть ли у нас вообще эти десять лет. Мы вовсе не утверждаем, будто мы так умны, что способны предсказывать вещи, которые трудно поддаются прогнозированию. Напротив, нам кажется, что один конкретный аспект будущего — «Что произойдет со всеми нами и со всем, что нам дорого, если сверхинтеллект будет создан в ближайшее время?» — при наличии достаточных базовых знаний и тщательных рассуждений может стать весьма простым и очевидным выводом.
Вымирание человечества из-за сверхчеловеческого ИИ на первый взгляд может показаться неочевидным выводом. Но именно для объяснения этого и написана остальная часть книги. Подобно тому как требуется знание арифметики, чтобы рассчитать шансы на выигрыш в лотерею, или основы термодинамики, чтобы объяснить, почему кубик льда предсказуемо тает, необходима определенная база, чтобы понять, почему искусственный интеллект представляет собой неизбежную угрозу вымирания для человечества. Но как только эти основы заложены, прогноз исхода нашей нынешней траектории начинает казаться мрачно, пугающе очевидным.
Даже перед лицом сверхчеловеческого машинного разума велик соблазн представить, что мир останется точно таким же, каким он был на протяжении последних нескольких десятилетий нашей относительно короткой жизни. Нам трудно об этом помнить, но это правда: всего несколько веков назад существовало столь же реальное время, как и наше, когда цивилизация была радикально иной. Или тысячелетия назад, когда о цивилизации вообще говорить не приходилось. Или миллион лет назад, когда людей еще не было. Или миллиард лет назад, когда у многоклеточных колоний еще не было специализированных клеток.
Умение смотреть на вещи в исторической перспективе помогает нам осознать то, что так трудно разглядеть с высоты нашей короткой жизни: Природа допускает потрясения. Природа допускает катастрофы. Природа допускает, что мир может никогда больше не стать прежним.
Давным-давно, 2,5 миллиарда лет назад, произошло событие, которое биологи называют Кислородной катастрофой: новая форма жизни научилась использовать энергию солнечного света, чтобы извлекать из воздуха ценный углерод. В качестве отходов эта форма жизни выделяла крайне токсичное и химически активное вещество, ядовитое для большинства существовавших тогда организмов, — вещество, которое мы теперь называем «кислородом». Он начал накапливаться в атмосфере. Большинство живых существ — включая и большинство бактерий, выделявших этот кислород, — не смогли справиться с его высокой реакционной способностью и погибли. Лишь немногим удачливым линиям клеток удалось приспособиться, и со временем они эволюционировали в организмы, использующие кислород как топливо. Но жизнь уже никогда не вернулась к прежней норме. Мир больше никогда не был прежним.
Давным-давно континенты представляли собой бесплодные скалы. Затем, в мгновение ока по эволюционным меркам, они покрылись ковром растительности. Вскоре после этого леса закишели жизнью. Мир больше никогда не был прежним.
Давным-давно люди одомашнили пшеницу и ячмень. В еще более ничтожную долю эволюционного мгновения они начали строить цивилизации. Мир больше никогда не был прежним.
Давным-давно, в 1930-х годах, появились первые тревожные звонки, предупреждавшие, что некоторым семьям в Германии больше небезопасно оставаться. Немногие уехали сразу; большинство предпочло остаться. Затем нацистское правительство аннулировало их гражданство и паспорта, значительно усложнив побег в будущем. Спустя еще несколько лет немецких евреев, цыган и представителей других меньшинств начали сгонять в лагеря смерти. В воспоминаниях выживших говорится, что многие из этих семей остались не потому, что не замечали тревожных знаков, а потому, что верили: жизнь вернется в нормальное русло прежде, чем все зайдет слишком далеко.
Давным-давно человечество стояло на пороге создания искусственного сверхинтеллекта…
Привычный ход вещей всегда заканчивается. Это не значит, что на смену ему неизбежно приходит нечто худшее; иногда это так, а иногда нет, а порой всё зависит от наших действий. Но цепляться за надежду, будто нам просто не позволят случиться ничему ужасному, обычно не помогает.
У людей есть способность направлять будущее с помощью своего разума. Но эта способность работает только в том случае, если мы её используем — если мы делаем то, что должны, когда это необходимо. В отрыве от этого разум бессилен. Он работает, меняя наши действия, — или не работает вовсе.
Ближайшие месяцы и годы станут для всего человечества испытанием не на жизнь, а на смерть. Своей книгой мы надеемся вдохновить отдельных людей и целые страны достойно встретить этот вызов.
В последующих главах мы изложим научную основу наших опасений, обсудим порочные стимулы, действующие в сегодняшней индустрии ИИ, и объясним, почему ситуация складывается еще более угрожающая, чем кажется. Мы простым языком разберем современное машинное обучение и опишем, как и почему нынешние методы абсолютно непригодны для создания ИИ, способного улучшить мир, а не уничтожить его.
В Части I этой книги мы формулируем суть проблемы, отвечая на такие вопросы, как: Что такое разум? Как создаются современные ИИ и почему их так трудно понять? Могут ли у ИИ быть желания? Появятся ли они? И если да, то чего именно они захотят и с какой стати им убивать нас? Как они это сделают? В конечном итоге мы предсказываем появление ИИ, которые не будут нас ненавидеть, но будут обладать причудливыми, странными, чуждыми предпочтениями, которые они будут воплощать в жизнь вплоть до вымирания человечества.
В Части II мы сводим воедино все эти доводы, чтобы рассказать историю об ИИ, который уничтожает мир, очень похожий на наш собственный. Эта история не является точным предсказанием, поскольку конкретный путь, по которому пойдет будущее, трудно угадать. Единственная часть этой истории, являющаяся предсказанием, — это её финал. И это предсказание сбудется лишь в том случае, если подобной истории вообще позволят начаться.
В Части III мы оцениваем сложность вызова, стоящего перед человечеством, и анализируем предпринятые на сегодняшний день ответные меры. Насколько успешно компании, занимающиеся ИИ, справляются с этой проблемой? Почему мир не обращает на неё больше внимания? Что общество могло бы сделать иначе, если достаточное количество из нас решит не умирать? Что потребуется Земле для того, чтобы не создавать машинный сверхинтеллект?
У людей возникают самые разные противоречивые интуитивные представления об искусственном интеллекте, и за эти годы мы выслушали великое множество вопросов и возражений, основанных на самых разных предпосылках и точках зрения. В дополнительных материалах мы рассматриваем больше оговорок, тонкостей и часто задаваемых вопросов, а также некоторые принципиальные теоретические основы и развернутые аргументы, которые сделали бы эту книгу в несколько раз длиннее и гораздо менее доступной. Если в конце какой-либо главы у вас возникнут возражения, мы настоятельно рекомендуем вам продолжить чтение в интернете.
Многие главы мы открываем притчами — историями, которые, как мы надеемся, помогут донести некоторые мысли проще, чем обычные рассуждения. Они также могут добавить немного легкости этой в остальном тяжелой теме. Это вполне в духе древнейшей традиции, возможно, зародившейся еще до появления человеческого вида в его нынешнем облике, — смеяться в лицо смерти.
Признаем, эта книга не изобилует хорошими новостями. Но мы пришли не для того, чтобы заявить, будто вы обречены. Искусственного сверхинтеллекта пока не существует. Человечество все еще может решить не создавать его.
В 1950-х годах многие ожидали ядерной войны между великими державами мира. Учитывая историю человеческих конфликтов до того момента, для пессимизма были все основания. Тем не менее до сих пор ядерной войны не случилось. И дело не в том, что ядерные бомбы оказались чистой фантастикой, невозможной в реальной жизни, а в том, что люди упорно трудились над созданием устойчивых систем, исключающих развязывание ядерных войн. Они делали все это потому, что мировые лидеры знали: в случае ядерной войны и у них, и у жителей их стран выдастся крайне скверный день.
У них также выдался бы скверный день, если бы кто угодно, в любой точке Земли, создал машинный сверхинтеллект. Вряд ли в чьих-либо интересах погибнуть вместе со всей своей семьей и друзьями, со своей страной и ее детьми.
Остановить продолжающуюся эскалацию технологий ИИ, взять под контроль аппаратное обеспечение, используемое для создания все более мощных моделей ИИ, — сделать это в современном мире было бы совсем не легко. Но чтобы остановить дальнейшую эскалацию возможностей ИИ, потребовалось бы гораздо меньше усилий, чем ушло, скажем, на ведение Второй мировой войны. Для обретения воли к жизни нужно лишь, чтобы некоторые страны, лидеры и избиратели осознали: их отделяет от края гибели некоторое трудно поддающееся оценке, но, возможно, очень короткое расстояние.
Это будет нелегкая задача, но мы еще не мертвы. Человеческое достоинство — и достоинство всего человечества — требует, чтобы мы дали бой.
Пока есть жизнь, есть и надежда. Примечания
i В 2012 году AlexNet нашла ключ к решению проблемы распознавания объектов на изображениях.
ii AlphaGo победила сильнейшего в мире игрока в го среди людей в 2016 году.
iii (Чисто предсказательная) языковая модель GPT-3 была выпущена в 2020 году.
iv (Широко применимый) ChatGPT появился в 2022 году.
v В 2024 году рассуждающие модели начали решать математические задачи, писать код и разгадывать визуальные головоломки.
vi «AGI» означает «общий искусственный интеллект» (Artificial General Intelligence) — термин, призванный отличить ИИ, который интуитивно воспринимается как «действительно умный», от узконаправленных видов ИИ прошлых лет. В этой книге мы избегаем этого термина из-за того, насколько сильно люди расходятся во мнениях о его значении на фоне появления таких ИИ, как ChatGPT.
vii Если это правда, то произошло вопреки возражениям Юдковского, считавшего OpenAI ужасной, ужасной идеей.