В течение тридцати шести тревожных минут 6 мая 2010 года мир лишился триллиона долларов. В половине третьего пополудни промышленный индекс Доу-Джонса начал стремительно падать, и это падение продолжалось до тех пор, пока не испарилось почти 9% всех инвестиций. Триллион долларов — это огромные деньги. На такую сумму можно было бы выплатить весь государственный долг Южной Кореи или Мексики или скупить половину недвижимости Манхэттена. Однако менее чем через час рынки чудесным образом отыграли падение, вернувшись примерно к своим исходным позициям, словно потерянные деньги волшебным образом нашлись под подушками дивана на Уолл-стрит.
Причины этого так называемого флеш-крэша вызывают жаркие споры, но большинство сходится во мнении, что виной всему, хотя бы отчасти, был искусственный интеллект. Но это был не ранний прототип Прометея, совершивший дерзкое ограбление биржи (а полчаса спустя раскаявшийся в содеянном). Виновник на самом деле оказался до смешного прост — это был алгоритм, совершающий сделки на невероятной скорости в направлении текущего движения рынка. Финансовые трейдеры зарабатывают миллионы, неустанно извлекая крошечные выгоды из колебаний стоимости активов; их цель — купить пораньше (когда цены растут) и продать пораньше (когда они начинают падать). Так что, если вы способны угадать, куда движется рынок, и совершить сделку молниеносно, вы получаете вечный двигатель для зарабатывания денег — за счет всех остальных. К 2010 году более 60% всех торгов на финансовых рынках США осуществлялись с помощью алгоритмических инструментов, запрограммированных делать деньги именно таким образом.
Автоматизация финансовой торговли может показаться отличной идеей, но когда рынок наводняют роботы-трейдеры, начинают происходить странные вещи. Флеш-крэш 2010 года, вероятно, был вызван своего рода алгоритмическим эффектом «горячей картошки». Падение рынка заставляет множество алгоритмов быстро сбрасывать активы, из-за чего цены падают еще ниже, запуская новую волну распродаж. Активы перекидывают из рук в руки, как горячую картошку, из-за чего цены стремительно летят в штопор. Никто не знает, что спровоцировало счастливый отскок, но, предположительно, трейдеры-люди поняли, что цены иррационально занижены, и ухватились за возможность быстро заработать; в результате покупки возобновились, и рынок вернулся практически к прежнему уровню. Теоретически правила регулирования должны сдерживать алгоритмы высокочастотной торговли (HFT), но алгоритмический трейдинг остается серьезным фактором волатильности рынка, и флеш-крэши продолжают происходить (последний раз — в 2022 году).
Когда мы думаем о рисках сильного ИИ, мы обычно представляем себе коварного агента, который хочет захватить мир или случайно уничтожает всех нас, слишком рьяно выполняя то, о чем его попросили. Это легенда о сверхразумном производителе скрепок, который неуклонно следует своей канцелярской программе, вооружившись упрямой решимостью и бесконечным запасом оцинкованной стальной проволоки. Но в действительности изменить мир — к лучшему или к худшему — почти всегда удавалось группам, а не одиночкам. Силы модернизации, двигатель создания богатства, триумфальное шествие научных знаний, столкновение цивилизаций, разрушение естественной среды обитания, объединение всего человечества в единую сеть — все это коллективные усилия. Этим колоссальным переменам мы обязаны нашей человеческой способности координировать свои действия в группах, вместе создавая общества, экономики и политические системы. Социальная координация позволяет нам безмерно увеличивать силу индивидуальных действий, что ведет как к созидательным, так и к разрушительным последствиям.
Именно в этом, конечно, и кроется истинная причина того, почему люди, а не жуки-навозники или антилопы, создали передовые технологии и культуру: сила наших коллективных действий затмевает все, что любой отдельно взятый человек мог бы сделать в одиночку. Так что, если вы придете в зоопарк и увидите тигров и бабуинов за решеткой, у вас может возникнуть искушение применить экстраполяционный принцип и подумать, будто смотрителем зоопарка всегда становится самый разумный агент. Но человек-смотритель не ловил животных, не вез их через полмира и не вешал замки на клетки в одиночку. Господство человека на планете — это результат групповых усилий. Один алгоритм высокочастотной торговли создает едва заметную рябь на финансовом пруду, тогда как коллективные действия множества HFT порождают цунами ценовой волатильности, способное перевернуть всю мировую экономику. То же самое происходит и с силами интеллекта. Реальные возможности — как и реальные поводы для беспокойства — связаны с тем, что может произойти, когда системы ИИ начнут взаимодействовать друг с другом.
Главная причина для беспокойства заключается в том, что даже самые примитивные агенты могут в буквальном смысле сворачивать горы, когда действуют слаженно и скоординированно. Африканский вид термитов Macrotermes bellicosus, к примеру, едва ли обладает тем, что можно назвать мозгом, — его нервная система построена на децентрализованной сети ганглиев, которые работают как простейшие переключатели, выдавая крайне стереотипные реакции на внешний мир. Однако, работая в команде, эти термиты превращаются в титанов терраформирования: миллионные популяции образуют пустынные колонии, которые коллективно строят термитники высотой до десяти метров (настоящие Гималаи для термита!) и уходящие глубоко под землю — поразительный пример природного инженерного искусства. Пример с термитами, как и случай с флеш-крэшем, напоминает нам о том, что системы агентов могут оказывать колоссальное влияние даже при отсутствии какой-либо четко определенной цели. Отдельные термиты не пытаются строить небоскребы, равно как и HFT-алгоритмы не стремятся обрушить мировую экономику. Экономисты используют термин «экстерналия» (внешний эффект) для обозначения непреднамеренных побочных последствий коллективного поведения, таких как загрязнение воздуха, когда мы пытаемся согреться, или дорожные заторы, парализующие наши города, когда мы спешим на работу. Когда системы ИИ начнут действовать коллективно, мы рискуем спровоцировать экстерналии, на фоне которых флеш-крэш стоимостью в триллион долларов покажется бурей в стакане воды. Но эти побочные эффекты вряд ли станут прямым следствием целей, которые мы ставим перед ИИ. Это будут сетевые эффекты — непредвиденные явления, возникающие при взаимодействии множества автономных систем в цифровой экосистеме, влекущие за собой совершенно непредсказуемые последствия.
Люди демонстрируют самое сложное коллективное поведение на Земле: наш высочайший небоскреб, башня Бурдж-Халифа в Дубае, в шестьдесят девять раз выше самого высокого из известных термитников, и, в отличие от любых гнезд насекомых, на его семьдесят шестом этаже есть плавательный бассейн. Люди способны координировать свои действия столь удивительным образом благодаря инновации, которая — еще года два назад — оставалась уникальной особенностью нашего вида. Мы можем координировать усилия, потому что разговариваем друг с другом на естественном языке, обмениваясь идеями, вырабатывая общие цели и убеждая других присоединиться к взаимовыгодным начинаниям (см. часть 2). Язык позволяет разумным агентам выражать свои мысли в едином формате, благодаря чему целое становится гораздо больше суммы его частей. Язык позволяет человеческому интеллекту быть децентрализованным: каждый из нас знает лишь о крошечном фрагменте мира, но, соглашаясь действовать сообща, мы функционируем коллективно, как наш собственный (пусть и довольно сварливый) сверхразум. Человеческий интеллект — это коллективный интеллект.
Таким образом, господство человека на планете обусловлено нашей способностью к самоорганизации, а не гениальностью какого-то отдельного индивида. Именно наше разнообразие, а не однородность позволяет нам господствовать над животными с более длинными ногами и более острыми когтями. Это отличает нас от нынешних ведущих систем ИИ, которые создаются исключительно как централизованный разум. Идея, движущая современным развитием ИИ, заключается в том, что мы можем дистиллировать все знания в единую систему — монолитного оракула, который дает одинаковые, устраивающие абсолютно всех ответы. Как мы уже обсуждали в предыдущих разделах, именно поэтому большие языковые модели, такие как GPT-4 и Gemini, столь же гладки и безлики, как профессиональные политики. Они не знают и знать не хотят, кто вы такой, — их обучали под обобщенного (западного) пользователя на том конце чата. Даже если в обучающих данных звучит миллион разных голосов, этот гул гомогенизируется в процессе тонкой настройки, чтобы придать модели единый, предсказуемый модус речи и поведения. Одинокий пустынный муравей, отделенный от своей колонии, представляет собой едва функционирующую биологическую единицу, точно так же как большинство людей, оказавшись в одиночестве на необитаемом острове, с трудом смогли бы просто выжить, не говоря уже о строительстве впечатляющей многоэтажной резиденции. Так что мощь и потенциал сегодняшних LLM — ничто по сравнению с тем, какими они могли бы стать, если бы множество разнообразных систем ИИ могли координировать свои действия ради общей цели. Полагаю, нам стоит больше беспокоиться о том, что произойдет, если существующим системам ИИ задать разные цели и объединить их в сеть — подобно HFT-алгоритмам на фондовом рынке. Эта перспектива гораздо более тревожна, чем одинокий сверхразум с одним гигантским мозгом, зацикленный на производстве канцелярских скрепок.
И это разнообразие систем ИИ уже не за горами. Оно станет естественным следствием нашего стремления к персонализированным LLM, обученным досконально знать каждого из нас. Персонализация ИИ ознаменует новую эру, в которой нас будет сопровождать пестрое множество различных агентов на базе LLM, каждый из которых будет действовать как персональный ИИ-ассистент — цифровой представитель конкретного человека или группы. Параллельно с этим исследователи ИИ, вероятно, поймут, как создавать системы ИИ, способные более эффективно рассуждать и планировать в открытых средах, используя цифровые инструменты для совершения действий в сети от имени пользователя — уверенно перешагивая через «инструментальный разрыв», о котором говорилось выше. Эта вновь обретенная инструментальность позволит персонализированным системам ИИ получать информацию и предпринимать действия от имени пользователя, стремясь выполнить инструкции или удовлетворить его предполагаемые желания. В мире, где такие персонализированные системы ИИ станут коммерчески доступными, они, естественно, будут вынуждены взаимодействовать друг с другом — например, вести переговоры о ценах, согласовывать контракты или решать, какая пиццерия лучше всего подойдет для ужина. Это, в свою очередь, открывает путь к созданию совершенно новых параллельных социальных и экономических структур, основанных исключительно на действиях систем ИИ и потенциально неподконтрольных человеку.
Поэтому, на мой взгляд, мы движемся к миру децентрализованных систем ИИ, каждая из которых индивидуально настроена под определенный сегмент реальности конкретного пользователя. Наибольшую опасность в будущем будут представлять внешние эффекты (экстерналии), порождаемые непредсказуемой динамикой взаимодействия систем ИИ друг с другом. Мы знаем, что подобная динамика вполне реальна, ведь нечто аналогичное уже происходило с куда более примитивными агентами во время флеш-крэша. Алгоритмы могут попадать в безумные петли обратной связи везде, где они используются, включая торговые площадки, где вы сами делаете покупки. В 2011 году книга по генетике под названием The Making of a Fly была выставлена на продажу в интернет-магазине Amazon. У нее было пять положительных отзывов от покупателей — отличная рекомендация, но вряд ли достаточная, чтобы оправдать запрашиваемую цену в 23 698 655,93 доллара (то есть более 23 миллионов долларов плюс доставка)[*]. Вновь всему виной стал алгоритмический расчет цен: автоматические системы двух книготорговцев устанавливали цену чуть выше, чем у конкурента, что создало неконтролируемую инфляционную спираль, в результате чего книгу пытались продать по цене, почти в миллион раз превышающей ее реальную стоимость.
Что больше всего тревожит, и история, и биология учат нас: коллективная сила — будь то для совершения великих свершений или для сеяния смертоносных разрушений — гораздо сильнее зависит от социальной сплоченности, нежели от грубой силы или численности. Небольшие организованные отряды партизан переигрывают более многочисленные, но менее дисциплинированные армии; рой медоносных пчел способен прогнать незваного гостя, превосходящего их по размеру в тысячи раз, потому что они летят строем, образуя яростный жужжащий шар, к которому невозможно подступиться. Это значит, что, рисуя в воображении пугающие возможности ИИ, нам вовсе не обязательно заглядывать в будущее, когда 1,7 триллиона параметров будут казаться такой же мелочью, какой сегодня кажутся 1,7 миллиарда. Даже нынешние системы ИИ, наделенные различными целями и получившие возможность взаимодействовать, способны наделать немало бед. Когда персональные системы ИИ будут запущены для покупки и продажи товаров на eBay, отправки и получения писем, а также для разработки программ государственной политики и голосования по ним, — вот тогда нам стоит приготовиться к гораздо более бурной версии флеш-крэша.
Пропустить примечания
* http://edition.cnn.com/2011/TECH/web/04/25/amazon.price.algorithm/index.html.