В начале июля 2023 года на сцену Всемирной конференции по искусственному интеллекту в Шанхае (Китай) поднялся докладчик по имени Рич Саттон.[*1] В своей области Саттон — легенда, что-то среднее между «крестным отцом» ИИ и «верховным чародеем» машинного обучения. Его новаторские работы 1980-х годов заложили основы всей области обучения с подкреплением: именно тогда он открыл ключевые алгоритмы, которые впоследствии позволили системам ИИ достичь сверхчеловеческого уровня в настольных и видеоиграх. Его книга 1998 года «Обучение с подкреплением» — это базовый учебник, обязательный элемент на полках любого специалиста в этой области. Когда он говорит, к его словам прислушиваются исследователи ИИ по всему миру.

Выступление Саттона называлось «Преемственность ИИ», и то, о чем он говорил, слегка не укладывается в голове. Он начинает с проторенной дорожки, ссылаясь на закон Мура, согласно которому вычислительная мощность, приобретаемая за фиксированную сумму, удваивается примерно каждые два года. Это означает, что к 2030 году объем вычислительной мощности, которую можно купить за 1000 долларов, достигнет 10¹⁶ операций с плавающей запятой в секунду (FLOPS). Это примерно эквивалентно скорости обработки информации человеческим мозгом — если предположить, что каждый синапс обрабатывает один бит в секунду, — а значит, через несколько лет мы получим дешевые вычисления масштаба человеческого мозга. И дальше этот показатель, без сомнения, продолжит расти стремительными темпами.

Пока что всё не слишком спорно: закон Мура продолжает действовать, и производительность компьютеров растет даже быстрее, чем он предсказывает. Но затем Саттон делает поразительную экстраполяцию: «В восхождении человечества приход ИИ нам на смену неизбежен [...] Это будет следующий великий шаг. Системы ИИ станут нашими преемниками. Во всех отношениях они станут важнее нас, людей».

Далее Саттон утверждает, что нам нечего бояться этого неизбежного технологического превосходства. Это просто эволюция идет своим естественным путем, буднично заменяя нас, людей с нашими ограниченными возможностями, сверхинтеллектуальными машинами. Остаток своего выступления он посвящает доказательству того, что нам следует начать «планирование преемственности» — готовиться к моменту, когда машины возьмут бразды правления в свои руки.

На протяжении всей этой книги мы видели, что ИИ развивается с головокружительной скоростью, вызывая как тревогу, так и восторг. Саттон, очевидно, занимает довольно эксцентричную позицию в этом спектре чувств от страха до восторга, находясь на самом краю его эйфорического крыла. Но он там далеко не одинок. Сегодня легионы людей, работающих в технологической экосистеме, и множество любопытствующих наблюдателей с утопическим складом ума принимают грядущую революцию ИИ с пылом, граничащим с религиозным. Многие теперь верят, что создание сильного ИИ — единственный жизнеспособный путь к более процветающей планете или к спасению всех нас от глобальной катастрофы. Некоторые фантазируют о грядущих сверхинтеллектах, которые вальяжно откинутся на спинку кресла, задумчиво погладят свои электронные подбородки, а затем без особых усилий придумают, как предотвратить изменение климата, установить справедливый мировой порядок и сохранить нас молодыми и полными сил так долго, как мы пожелаем.

В 2022 году это радикальное крыло технооптимизма обрело имя. Те, кто ратует за беспрепятственное шествие ИИ, теперь называют себя «эффективными акселерационистами» — часто используя сокращение e/acc. Ближайшее подобие философии у них описано в манифесте, вышедшем из-под пера анонимных пользователей Twitter/X, которые и запустили это движение, назвав себя «святыми покровителями технооптимизма».[*2] Чтение весьма занимательное. Как и любая хорошая теория заговора, манифест начинается с разоблачения паутины лжи, распространяемой зловещей и могущественной группой — в данном случае теми, кто боится технологий и стремится их регулировать. Технологии, утверждают они, — это «триумф человеческих амбиций и достижений, острие прогресса и реализация нашего потенциала». А ИИ, в частности, преподносится как своего рода панацея:

Мы верим, что искусственный интеллект может спасать жизни — если мы ему позволим. Медицина, наряду со многими другими областями, находится в каменном веке по сравнению с тем, чего мы можем достичь, объединив человеческий и машинный интеллект для поиска новых методов лечения. Существует множество распространенных причин смерти, которые можно устранить с помощью ИИ, — от автомобильных аварий до пандемий и дружественного огня в военное время. Мы считаем, что любое замедление развития ИИ будет стоить жизней. Смерти, которые можно было предотвратить с помощью ИИ, появлению которого помешали, — это форма убийства.

Следующие 5000 слов — это пеан Фридриху Хайеку, интеллектуальному отцу неолиберализма, чья экономическая философия, как известно, подтолкнула Маргарет Тэтчер и Рональда Рейгана к тотальной дерегуляции в 1980-х годах (авторы дерзко подписывают документ именем Хайека, сразу под именем Ницше, любимого философа любого бунтующего школьника). Акселерационисты утверждают, что либертарианство Хайека следует применить к технологиям — и к ИИ в частности, — допуская ничем не сдерживаемое стремление к росту и ведя к «жизнеспособности, расширению жизни, умножению знаний, росту благосостояния». В манифесте также приводится длинный список врагов, включая этатизм, коллективизм, социализм, бюрократию, регулирование, антирост и «башни из слоновой кости» — классические пугала либертарианцев. В кульминационном абзаце под заголовком «Стать технологическими сверхлюдьми» они восторженно заявляют, что «развитие технологий — это одно из самых добродетельных деяний, на которые мы способны».

Конечно, сомнительно, что акселерационистами движет исключительно добродетель. У многих есть личная заинтересованность в успехе ИИ: они работают в лихорадочно развивающихся стартапах, владеют долями в технологических транснациональных корпорациях или по-крупному вложились в биткоин. Многие просто слишком уж без ума от Илона Маска. Многие живут в районе залива Сан-Франциско, который давно взрастил азартную культуру подрывных инноваций и остается бьющимся сердцем прогресса в области ИИ. Большинство из них молоды и состоятельны, и лично выиграли бы от снижения налогов или костра из правил ведения бизнеса. Так что техноутопизм может быть удобной философией для обеспеченных молодых технопредпринимателей — это элитарная форма популизма, своего рода Breitbart для блокчейн-класса.[*3] Но нет сомнений, что многие действительно верят в то, что ИИ спасет всех нас и что, выражаясь финальными словами манифеста, «пора строить».

Неудивительно, что испарения нетерпеливого, корыстного либертарианства, которые источает эта публика, особенно токсичны для тех, кого беспокоит надвигающийся социальный вред от ИИ. С представителями этой стороны дискуссии мы уже сталкивались — в основном они работают на периферии мейнстримного ИИ, в области философии, когнитивистики или социальных наук в широком смысле. Некоторые из них сделали своим основным занятием разоблачение самых позорных оплошностей ИИ и привлечение внимания к его потенциалу усугублять социальную несправедливость, лишать нас индивидуальности или давать государствам и технологическим гигантам власть управлять нами как марионетками. К сожалению, многие приверженцы этой позиции решили, что лучший способ противостоять неумолимому маршу ИИ — это делать вид, будто он никогда не превратится во что-то действительно значимое. Вот пример того, как уважаемый когнитивист призывает всех нас избегать #AIhype:

С недоверием и недовольством я с тех пор наблюдал за тем, как ученые […] поддаются общему увлечению и с энтузиазмом седлают волну хайпа вокруг ИИ, например, восторженно рассуждая о ChatGPT на национальном телевидении или в ходе публичных дебатов в университетах, и даже организуя воркшопы о том, как использовать этого стохастического попугая в академическом образовании.[*4]

Термин «стохастический попугай» — это, конечно же, отсылка к знаменитой статье, обсуждавшейся в третьей части, авторы которой утверждают, что заявления о возможностях LLM сильно преувеличены — что они просто повторяют, как попугаи, отрывки из своих обучающих данных и не делают ничего даже отдаленно интеллектуального.[*5] Как мы уже знаем, это заблуждение, унаследованное от несостоятельной критики Ноама Хомского в адрес статистического моделирования в области обработки естественного языка (NLP). Действительно, LLM все еще многого не умеют, но они не просто попугайски воспроизводят свои обучающие данные (по крайней мере, не больше, чем люди). Благодаря сочетанию трансформера с большими данными и колоссальными вычислительными мощностями, LLM способны на исключительно эффективное контекстное обучение (in-context learning). Это позволяет передовым моделям применять свои выдающиеся импровизационные способности для решения логических, математических или программистских задач, а также давать вполне разумные советы, основанные на здравом смысле.

Несколько странно, что два совершенно разных аргумента — о том, что вокруг ИИ раздут хайп, и о том, что ИИ вреден, — так часто звучат на одном дыхании. Увы, это симптом сегодняшнего гиперполяризованного мира, где качество аргумента оценивается в зависимости от того, высказан ли он вашими политическими союзниками или оппонентами. Поскольку акселерационисты одновременно празднуют неумолимое взятие очередных рубежей ИИ и лоббируют отказ от регулирования, которое могло бы сделать его безопаснее, для их оппонентов вполне естественно поднять знамя борьбы против обоих этих явлений, игнорируя триумфы ИИ и порицая его вред. Это очень прискорбно, потому что огульное отрицание прогресса в области ИИ выставляет его критиков наивными и лишает убедительности их вполне веские параллельные аргументы о том, что ИИ усугубляет социальный вред. Разумеется, в конечном счете эти два лагеря — акселерационисты и противники хайпа — находятся на противоположных полюсах хорошо проторенной либертарианско-эгалитарной оси, и именно этот политический подтекст, без сомнения, катализирует их самые ожесточенные словесные баталии, разворачивающиеся в социальных сетях, блогах и ведущих СМИ. Академический вопрос о том, как на самом деле работает ИИ и каким может быть его потенциальное влияние в будущем, оказывается лишь сопутствующим ущербом в этой вечной политической схватке.

Но это еще не все. Свои ставки в этой игре делает и третья крупная фракция. Эта группа, костяк которой составляют представители сообщества по безопасности ИИ, считает, что ИИ необходимо жестко регулировать именно потому, что он представляет собой невероятно мощный инструмент. Таким образом, они сочетают взгляд e/acc на то, что ИИ принесет революционные изменения, с пессимизмом противников хайпа относительно будущего, в котором ИИ позволят бесчинствовать. Многие в этой третьей группе склонны концентрироваться на сценариях судного дня, включая идею о том, что системы ИИ вытеснят нас в дарвиновской борьбе за выживание.[*6] Они предлагают нам задуматься о том, как завтрашние системы ИИ могут вызвать масштабные разрушения или даже угрожать вымиранием человечества — например, путем запуска ядерного оружия, взлома электростанций, порождения новых пандемий, злонамеренного скрытого присутствия в интернете в виде вредоносных вирусов или поиска неочевидных способов уничтожить нас ради достижения какой-нибудь тривиальной цели (скрепки упоминаются с завидной регулярностью). Поначалу эти опасения могут показаться излишне мрачными, но они подкреплены безупречно логичными мысленными экспериментами, призванными показать, что создание интеллекта — чрезвычайно рискованное занятие. Ведь даже если мы ставим перед системами ИИ, казалось бы, безобидные цели, агенты со сверхинтеллектом могут найти способы их достижения, которые случайно (или не совсем случайно) приведут к полному уничтожению всех нас. Предпочтительный термин для этого беспокойства — экзистенциальный риск (или X-риск).

В марте 2023 года движение против экзистенциальных рисков вышло в мейнстрим с открытым письмом, призывающим приостановить исследования LLM, чтобы надлежащим образом оценить опасности. Изначально письмо было опубликовано Институтом будущего жизни (Future of Life Institute),[*7] некоммерческой организацией, которая активно борется за безопасность ИИ с 2014 года (доисторическая эпоха, когда идея о том, что машины могут оспорить господство человека, была скорее научно-фантастическим тропом, чем предметом политической заботы). Письмо Pause AI содержало следующее весьма радикальное требование:

мы призываем все лаборатории ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4. Эта пауза должна быть публичной и поддающейся проверке, а также включать всех ключевых участников. Если такую приостановку не удастся осуществить быстро, правительства должны вмешаться и ввести мораторий.

Несколько недель спустя под письмом стояло уже более 33 000 подписей, включая поддержку таких тяжеловесов сообщества ИИ, как Йошуа Бенжио (один из так называемых «крестных отцов» ИИ, с чьей новаторской работой в области NLP мы познакомились во второй части) и Стюарт Рассел, соавтор классического учебника по методам ИИ, на котором вырастает каждый студент профильного вуза (и который стоит на их полках прямо рядом с трудом Саттона).[*8] Разумеется, никакой паузы не случилось, да и всерьез ее никто не планировал. Развитие ИИ неумолимо подталкивается вперед жестокой гонкой между гигантскими технологическими компаниями, соперничающими за право первыми выпустить самую ценную технологию из когда-либо созданных — ИИ общего назначения. Проигрыш в этом соревновании почти наверняка станет экзистенциальной угрозой для так называемой «Большой пятерки» американских технологических компаний (Alphabet, Amazon, Apple, Meta и Microsoft). Поэтому даже тридцать три миллиона подписей (не говоря уже о 33 000), скорее всего, никак не повлияли бы на вероятность реальной паузы в исследованиях ИИ. Тем не менее, письмо Pause AI всколыхнуло сообщество специалистов по безопасности ИИ, совершенно разумно призвав к изучению рисков ИИ, принятию мер по их смягчению и созданию нормативно-правовой базы, аналогичной той, что уже существует для других мощных технологий, таких как ядерная энергетика. Появилось множество некоммерческих и правительственных организаций для мониторинга возникающих рисков в сфере ИИ, которые всерьез рассматривают вероятность того, что будущий ИИ может представить серьезную угрозу для всех нас.[*9]

Одной из групп, демонстративно не подписавших письмо, стали те, кто отметает заявления о мощи ИИ как безосновательное и раздутое хвастовство. Например, один из соавторов статьи о «стохастических попугаях» поспешил заявить, что письмо «насквозь пропитано #AIhype… и помогает тем, кто создает эти штуки, их же и продавать».[*10] На самом деле, хотя можно было бы подумать, что сторонники борьбы с #AIhype и противники экзистенциальных рисков (X-risk) найдут точки соприкосновения в своем стремлении к надлежащему регулированию ИИ на благо всех людей, они готовы вцепиться друг другу в глотки столь же яростно, как и противостоят сообществу e/acc, превращая споры вокруг этики ИИ в схватку трех сторон.

Основной спор в этой схватке на троих ведется вокруг того, о каком вреде ИИ нам стоит беспокоиться больше всего — о нынешнем или о будущем. Приверженцы лагеря противников #AIhype в основном обеспокоены нынешним глупым, но повсеместным внедрением глубокого обучения, особенно там, где оно посягает на священные идеалы прогрессивизма. Они утверждают, что вместо того чтобы восторгаться LLM, нам следует беспокоиться о программах распознавания лиц, которые тайно отслеживают ваше местоположение, об алгоритмах, принимающих непрозрачные («черноящичные») решения об отказе в ипотеке или пересадке почки, или о языковых моделях, которые по умолчанию считают врачей мужчинами, а медсестер — женщинами. Они указывают, что зацикленность на теоретических и потенциально далеких экзистенциальных рисках опасно отвлекает внимание от реального вреда, который наносится уже здесь и сейчас. Фокусируясь на научно-фантастических сценариях, которые могут никогда не реализоваться, мы отвлекаем ресурсы и энергию от устранения того хаоса, который ИИ создает уже сегодня.

Масла в огонь подливает и то, что многие обеспокоенные экзистенциальными рисками вдохновляются сомнительной философской концепцией под названием «лонгтермизм». Лонгтермизм — это идея о том, что цели человечества должны быть направлены на максимизацию благополучия не только всех ныне живущих, но и всех, кто когда-либо потенциально может родиться (упомянутый выше Институт будущего жизни тесно связан с этим движением). Философ Тоби Орд, чья книга 2020 года «На краю пропасти» доказывает, что угрозы со стороны ИИ превосходят любые другие бедствия, которые потенциально могут постичь человечество, определяет этот термин так: «Лонгтермизм […] всерьез воспринимает тот факт, что наше собственное поколение — лишь одна страница в гораздо более длинной истории, и наша самая важная роль может заключаться в том, как именно мы сформируем — или не сможем сформировать — эту историю».

Таким образом, для лонгтермистов любые шаги, снижающие риск вымирания, являются в высшей степени добродетельными, поскольку они повышают потенциальное «благосостояние» всех будущих жизней.[*11] Поэтому в катехизисе лонгтермизма даже самое незначительное снижение экзистенциального риска несоизмеримо важнее, чем, скажем, повышение уровня жизни миллионов людей, находящихся сейчас за чертой бедности, или попытки исправить историческую несправедливость в отношении цветного населения. Если вы богаты и привилегированны, лонгтермизм, очевидно, весьма удобен, поскольку избавляет вас от необходимости поддерживать меры, которые могли бы урезать ваше личное благосостояние, например повышение налогов. Сосредоточившись на узких вопросах безопасности ИИ, которые могут стать актуальными лишь через много лет (а не на более насущных проблемах вроде климатического кризиса), вы можете не испытывать чувства вины за то, что дважды в месяц летаете бизнес-классом на другой конец света. Поэтому он стал удивительно популярен среди исследователей ИИ и разнообразной сопутствующей публики.

Так что если вы думали, что область этики ИИ — это политическое минное поле, вы правы. Конечно, далеко не каждый, кого волнуют возможности, вред и риски, связанные с ИИ, аккуратно вписывается в одну из трех групп, которые я изобразил здесь в несколько карикатурном виде (хотя любому, кто заглядывает в Twitter/X, в это, возможно, трудно поверить). К счастью, многие понимают, что в каждой из этих трех позиций есть доля истины. Можно радоваться тому, как ИИ способен сделать нашу жизнь богаче, и в то же время сокрушаться, что его блага вряд ли будут распределены поровну. Беспокойство по поводу нынешнего вреда и будущих рисков ИИ — это не обязательно взаимоисключающие позиции. ИИ уже используется весьма тревожным образом — например, алгоритмическая предвзятость усугубляет существующее неравенство, когда системы распознавания лиц оказываются более чувствительными к европеоидным лицам, чем к лицам других расовых групп. Однако это не исключает того, что будущие системы ИИ окажутся еще более опасными, причем в таких формах, которые мы пока не можем себе представить. И независимо от того, как вы относитесь к лонгтермизму, вполне возможно, что создаваемые нами технологии выйдут из-под контроля. Нет причин отмахиваться от будущих рисков ИИ только потому, что изменение климата и социальная несправедливость кажутся более насущными и неотложными проблемами. Но лучший способ совладать с этими рисками — это внимательно изучить, как работают модели, и серьезно подумать о том, какими могут быть их потенциальные последствия, а не отвергать их с порога.

В этом заключительном разделе мы уделим некоторое внимание более пугающим прогнозам развития ИИ, включая как непосредственный вред в краткосрочной перспективе, так и апокалиптические сценарии «думеров», занимающие важное место в повестке экзистенциальных рисков. Мы рассмотрим некоторые антиутопические разработки, такие как военный ИИ, и зададимся вопросом, не облегчат ли большие языковые модели террористам или государствам-изгоям попытки посеять хаос.[*12] Наконец, мы попытаемся понять, ближе ли к реальности или к вымыслу фантастические представления о вырвавшемся из-под контроля интеллекте, и постараемся сделать это с минимальным упоминанием канцелярских скрепок.

Пропустить примечания

*1 Его презентацию можно посмотреть по адресу: www.youtube.com/watch?v=NgHFMolXs3U.

*2 https://a16z.com/the-techno-optimist-manifesto/.

*3 Breitbart News — альт-правое новостное издание, которое ранее возглавлял стратег Трампа Стив Бэннон.

*4 https://irisvanrooijcogsci.com/2023/01/14/stop-feeding-the-hype-and-start-resisting/.

*5 Bender et al., 2021.

*6 Hendrycks, 2023.

*7 https://futureoflife.org/.

*8 Рассел и Норвиг, 2020.

*9 Здесь стоит отметить, что я работаю на условиях частичной занятости в одной из таких организаций — Британском институте безопасности ИИ (UK AI Safety Institute), однако взгляды, выраженные в этой книге, принадлежат исключительно мне.

*10 https://threadreaderapp.com/thread/1640920936600997889.html.

*11 Разумеется, это опирается на предположение, что в среднем лучше родиться, чем не родиться. Чего мы, очевидно, никогда не сможем узнать наверняка. Это также игнорирует базовый нормативный принцип, согласно которому мы должны ценить краткосрочные приобретения и потери выше долгосрочных, поскольку существует риск того, что наши цели или система ценностей со временем изменятся.

*12 Отличный обзор см. в Hendrycks, Mazeika, and Woodside, 2023.