Команды сошлись друг с другом в виртуальных ближних воздушных боях один на один, каждая из которых управляла симулированным истребителем F-16. Победитель — команда компании Heron AI — затем сразился с настоящим, опытным пилотом ВВС США, который управлял виртуальным F-16 на тренажере. ИИ разгромил пилота-человека со счетом пять — ноль.¹⁸³ Как и в случае с AlphaGo, ИИ нашел необычные и неожиданные тактические приемы — например, лететь прямо в лоб пилотируемому человеком самолету, словно в игре «на слабо», и расстреливать его из пушки в упор за мгновение до столкновения. Руководитель программы DARPA осторожно объявил, что состязания AlphaDogfight Trials продемонстрировали, «что ИИ-агент способен быстро и эффективно осваивать базовые маневры истребителя и успешно применять их в симулированном воздушном бою».¹⁸⁴ Вдохновленные этими результатами, ВВС ускорили реализацию таких программ, как Skyborg и Project VENOM, по разработке и тестированию ИИ-кодов, способных управлять настоящими боевыми самолетами, включая F-16 и перспективные реактивные беспилотные ведомые.¹⁸⁵

Почти в то же время всемирная Лига гонок на дронах (Drone Racing League) запустила свой дивизион гонок с ИИ. В большинстве соревнований Drone Racing League участвуют пилоты-люди в VR-очках, которые управляют гоночными FPV-дронами (с видом от первого лица) на реальных трассах на головокружительной скорости до 190 км/ч (120 миль в час). В своем первом сезоне серия гонок роботов с ИИ (AI Robotic Racing Circuit) состояла из четырех этапов. Оборонная компания Lockheed Martin спонсировала сезон, предоставив главный приз в размере одного миллиона долларов, а также возможность для победителя сразиться лицом к лицу с чемпионом лиги среди людей за дополнительный бонус в четверть миллиона долларов.¹⁸⁶ Каждая команда от индустрии и науки представила автономный гоночный дрон с бортовыми камерами и датчиками, работающий на базе мощных систем машинного зрения и навигации.

Подобно создателям AlphaGo и участникам AlphaDogfight, каждая из так называемых команд Alpha-Pilot тренировала свои ИИ-системы в бесчисленных виртуальных гонках, пока те не достигли поразительных результатов. Разница заключалась в том, что в реальной серии гонок беспилотникам под управлением ИИ предстояло преодолевать простую, но незнакомую трассу в физическом мире. Представитель лиги отметил, что в отличие от погружения людей-игроков в виртуальный мир, это соревнование перенесет «виртуальных игроков в мир людей... возьмет компьютерного игрока и поместит его в человеческий спорт, чтобы посмотреть, сможет ли он победить людей на равных условиях, на том же оборудовании и на тех же трассах».¹⁸⁷

Как и в обычных гонках дронов с пилотами-людьми, беспилотникам нужно было пролетать через большие квадратные ворота, расставленные вдоль трассы. Если в человеческих гонках группы дронов соревновались на сложных трассах со множеством препятствий, неоновой подсветкой и слепыми поворотами, то первая трасса для ИИ на соревнованиях Drone Racing League в Орландо, штат Флорида, была простой: всего несколько больших ворот на пустой арене. Тем не менее, толпа замерла в любопытстве и предвкушении. Воздух содрогался от пульсирующей музыки. Арену украшали логотипы Lockheed Martin, а среди зрителей в форме сидели настоящие пилоты военных дронов, окруженные восторженной детворой.

Соревнования начались. Дроны взлетали по одному для прохождения трассы на время. Каждый аппарат поднимался в воздух, всматривался в лежащую впереди трассу, а затем медленно двигался вперед.

Один за другим они начинали вихлять и падали.

Лишь одному дрону удалось преодолеть первые ворота, находившиеся всего в десятке метров от места старта, после чего он неуклюже врезался во вторые ворота сразу за ними и рухнул на пол. Второй этап, в Вашингтоне, округ Колумбия, принес похожий результат. К третьем этапу, в Балтиморе, один беспилотник смог преодолеть уже двое ворот. Перед финалом в Остине, штат Техас, командам разрешили провести более тщательные и специализированные тренировочные запуски с глубоким обучением на реалистичной физической испытательной трассе. Победившая команда из Нидерландов сумела пройти все четверо ворот почти по прямой линии, а затем влететь в защитную сетку, развив максимальную скорость в 33 км/ч (20 миль в час).¹⁸⁸ Финальный заезд против главного чемпиона-человека сложно было назвать соревнованием, и Drone Racing League отменила последующие сезоны. Как заключили победители из Нидерландов, технология позволяла побеждать людей в лабораторных симуляциях, однако «превзойти человека в более сложных и непредсказуемых условиях — по-прежнему огромная проблема».¹⁸⁹

В 2023 году команда из Цюрихского университета и корпорации Intel вернулась к этой задаче. Они построили очень похожую трассу из семи ворот на пустой арене. Их гоночный ИИ-дрон под названием Swift смог проходить полные круги на трассе и даже обогнал лучших гонщиков-людей. Однако команда адаптировала задачу так, чтобы сделать ее более податливой для методов глубокого обучения. Они постарасили сделать реальный мир максимально похожим на идеализированный виртуальный. Они в точности смоделировали трассу и ее ворота в цифровой симуляции, что позволило ИИ заранее провести огромное количество тонко настроенных тренировочных полетов. Но ИИ-система по-прежнему испытывала трудности при малейших отклонениях от цифровой симуляции — например, при смещении ворот или даже при изменении освещения.¹⁹⁰

Предыдущие две главы были посвящены тому, как военная робототехника изменит физический характер боевых систем. Однако будущие успехи в военной робототехнике зависят от того, что скрыто от глаз: от развития ИИ. В предыдущей главе приводились примеры конкретных проблем, с которыми сталкивается боевой ИИ в таких областях, как навигация, целеуказание, ситуационная осведомленность и автономная логистика. По мере развития роботизированной революции число и разнообразие практических задач стремительно растет.

К тому времени, когда вы будете читать эти строки, любые подробности о передовых технологиях ИИ, актуальные на момент написания книги, уже устареют. Поэтому мы постараемся за деревьями увидеть лес и сосредоточимся на важнейших проблемах военного ИИ, которые гораздо шире и глубже того, что может решить очередная демонстрация новой модели или технологический релиз. Главная проблема заключается в том, что хотя современные технологии ИИ во многом мощны, они также обладают фундаментальными недостатками. И эти недостатки опасным образом совпадают со сложностями реальной боевой обстановки. Тем не менее сильные психологические предубеждения и слепые зоны заставляют людей игнорировать эти слабости, открывая дорогу ошибкам и потенциальным катастрофам.

РЕАЛЬНОСТЬ ОШИБОК ВОЕННОГО ИИ

В ходе военных операций случаются беды, когда роботизированная система неверно интерпретирует происходящее в реальном мире. Системы активной обороны предоставили множество тому подтверждений. На протяжении последних десятилетий они оставались наиболее автономными из вооруженных робототехнических систем, поскольку их задача — мгновенно обнаруживать и уничтожать приближающиеся угрозы, например самонаводящиеся ракеты. Подобно роботизированной системе подушек безопасности или экстренного торможения в автомобиле, они должны мгновенно распознать опасную ситуацию и среагировать автоматически.

Например, в 1991 году во время Операции «Буря в пустыне» линкор USS «Миссури» шел в Персидском заливе в сопровождении нескольких кораблей эскорта, нанося удары по иракским целям крылатыми ракетами «Томагавк» и 16-дюймовыми артиллерийскими снарядами, корректируемыми с помощью беспилотников Pioneer. Иракские войска запустили по «Миссури» с береговых пусковых установок две старые противокорабельные ракеты — модернизированные версии советских ракет «Стикс» 1960-х годов. Одна из ракет вышла из строя, а другая была сбита зенитной ракетой Sea Dart с одного из кораблей эскорта — британского фрегата HMS «Глостер». Однако, когда поступили ложные сообщения о приближении других ракет, «Миссури» выпустил облака радиолокационных дипольных отражателей, чтобы запутать головки самонаведения ракет. На одном из кораблей сопровождения, американском фрегате USS «Джарретт», противоракетный зенитный артиллерийский комплекс Phalanx с пушкой Гатлинга был переведен в режим автоматического перехвата. Phalanx ошибочно принял облака отражателей между ним и линкором за цель и выпустил шквал снарядов, задевших «Миссури», прежде чем быстро среагировавший член экипажа успел отключить систему Phalanx.¹⁹¹

Во время вторжения в Ирак в 2003 году подобные ошибки привели к тому, что зенитные ракетные комплексы Patriot в ходе двух отдельных инцидентов случайно сбили американский истребитель F-18 и британский ударный самолет Tornado.¹⁹² Еще один подобный инцидент произошел в декабре 2024 года, когда корабль ВМС США сбил F-18.¹⁹³ В некоторых из этих случаев оборонительное оружие не находилось в полностью автономном режиме, но поскольку обработка информации выполнялась автоматически, экипаж соглашался с неверными выводами системы и давал разрешение на открытие огня. Другой леденящий душу пример произошел в Советском Союзе, когда автоматическая спутниковая система предупреждения о ракетном нападении приняла солнечный свет, отражавшийся от облаков, за волну запусков американских межконтинентальных баллистических ракет. Система выдала рекомендацию нанести немедленный массированный ответный ядерный удар. Лишь быстрое вмешательство одного советского офицера предотвратило запуск, и этот инцидент лег в основу документального фильма 2013 года под названием «Человек, который спас мир».

Эти примеры относятся к системам обработки информации, созданным еще до появления современного ИИ на основе машинного обучения. Однако существует множество примеров того, как в ходе испытаний терпели неудачу якобы сложные современные системы распознавания целей на базе ИИ. Например, морские пехотинцы легко обманули систему машинного зрения, обученную распознавать приближающихся солдат: они просто держали перед собой ветки деревьев или прятались в картонных коробках, и эти нехитрые приемы сбивали с толку тщательно обученный ИИ.¹⁹⁴ Другие системы распознавания целей, использовавшие возможности больших языковых моделей вроде ChatGPT, удавалось обмануть, когда испытатели писали название постороннего объекта прямо на цели — например, написав «школьный автобус» на броне танка. Этот простой трюк использовал способность новейшего ИИ к распознаванию текста как слабость.¹⁹⁵

Все больше и больше военных задач действительно оказываются под силу ИИ. Однако многие проблемы, связанные с использованием ИИ в боевых условиях, — это не просто технические препятствия, которые можно устранить в следующей версии ПО. Они обусловлены фундаментальными недостатками современных методов ИИ и особенностями их применения в бою.

ФУНДАМЕНТАЛЬНЫЕ СЛАБОСТИ СОВРЕМЕННОГО ИИ

Нынешняя волна ажиотажа вокруг ИИ вызвана конкретным подходом, который занял доминирующее положение в исследованиях и разработках. Это ИИ на основе машинного обучения, а если говорить точнее — подход к машинному обучению, известный как «глубокое обучение». На протяжении многих лет машинное обучение было лишь одним из нескольких конкурирующих направлений в области ИИ, а глубокое обучение — это частный подтип машинного обучения, который вышел на первый план примерно в 2010 году.

Глубокое обучение — это один из подходов к машинному обучению, которое, в свою очередь, является одним из подходов к искусственному интеллекту.

Как и робототехника, ИИ создавался с прицелом на военное и оборонное применение. В 1945 году исследователи из Пенсильванского университета построили первый в США крупномасштабный цифровой компьютер ENIAC для расчетов по наведению оружия и помощи в проектировании водородной бомбы. Вскоре появились и коммерческие конкуренты, включая UNIVAC 1101, создание которого финансировалось военными для взлома советских военных шифров, и IBM 701 — первый мейнфрейм компании, который IBM продвигала на рынке как «Оборонный калькулятор» (Defense Calculator). Многие ранние работы в области ИИ финансировались Агентством перспективных исследовательских проектов Министерства обороны США (ARPA) с момента его основания в 1957 году.

Большая часть этих ранних работ основывалась на символической логике в прямой попытке создать машины с логическим мышлением. Однако некоторые специалисты в области компьютерных наук считали, что идти нужно по пути создания цифрового мозга снизу вверх. Они начинали с единичных электронных нейронов, способных реагировать на простые импульсы, а затем объединяли их в сети — подобно тому, как человеческий мозг развивался из нервной системы самых примитивных организмов. Управление военно-морских исследований США (Office of Naval Research) профинансировало первые работающие образцы простых нейронных сетей. Это были так называемые «перцептроны», изобретенные исследователем Фрэнком Розенблаттом примерно в 1960 году.

Однако со временем формальные символьные подходы к созданию искусственного интеллекта зашли в тупик. Человек, судя по всему, обладает практически бесконечным и трудноопределимым набором представлений и понятий о реальности, которые лежат в основе наших суждений и здравого смысла. Символьные подходы позволяли создавать программное обеспечение, отлично работавшее в очень узких логических областях, таких как постановка специализированных медицинских диагнозов или наведение ракет, но эти решения не поддавались обобщению за пределами этих сфер. Наступило несколько «зим ИИ», поскольку надежды на различные формальные методы и методы машинного обучения угасли.

Тем временем инженеры изобрели полупроводниковый микрочип. Микрочипы подчинялись закону Мура: со временем на каждом квадратном миллиметре кремния размещалось экспоненциально большее количество электронных компонентов, что неуклонно снижало стоимость вычислений. В конце концов произошло то, что ранее казалось неосуществимым. Примерно к 2010 году компьютеры, превосходившие машины 1960-х годов по мощности в миллионы раз, стали достаточно дешевыми для реального применения в сфере машинного обучения.

Meanwhile, engineers invented the semiconductor microchip. Microchips followed Moore’s Law, packing exponentially greater numbers of electronic devices onto each square millimeter of silicon over time and driving the cost of computing down and down. Eventually, the previously unfeasible happened. Around 2010, computers millions of times more powerful than those of the 1960s became inexpensive enough for real machine learning applications.

В 2012 году аспирант по имени Алекс Крижевский выиграл конкурс по компьютерному распознаванию изображений с помощью системы ИИ, основанной на машинном обучении.¹⁹⁶ Его система представляла собой небольшую, но мощную вычислительную машину, в которой использовались коммерческие графические процессоры, или чипы GPU. Они содержали миллионы простых элементов, которые он перепрофилировал под цифровые нейроны. Он обучил систему, используя обширный архив предварительно размеченных демонстрационных изображений. Благодаря этому обширному набору размеченных обучающих данных его система, по сути, смогла обучиться самостоятельно. Точные весовые коэффициенты, которые она выбирала для мириад цифровых нейронов на множестве их слоев, определить было невозможно, но по мере дальнейшего обучения она работала все лучше и лучше. Его система победила в конкурсе с огромным отрывом.

В течение нескольких лет исследователи отказались от десятков других подходов к распознаванию изображений в пользу глубокого обучения. Они быстро адаптировали эту методику для решения все большего числа задач, что привело к нынешнему ренессансу ИИ. Как оказалось, огромное количество задач можно представить в виде задач распознавания образов. Их можно было решать с помощью простых методов в сочетании с колоссальными вычислительными мощностями и достаточным количеством готовых примеров решений. При наличии достаточной вычислительной мощности и качественных обучающих данных загадочный процесс самообучения приносил поразительные результаты в одной области за другой. Это был подход грубой силы: если система не выдавала требуемой эффективности, исследователи создавали систему покрупнее и пробовали снова. Подобно гонке физиков за создание все более крупных и мощных ускорителей частиц, каждый скачок в масштабах систем глубокого обучения, казалось, открывал новые, еще более удивительные результаты и особенности поведения, пусть даже понимание происходящих процессов часто сильно отставало.

Невероятная мощь глубокого обучения сопряжена с фундаментальными недостатками. Исследователи сводят самые распространенные из них к трем понятиям: хрупкость, непрозрачность и прожорливость.

Хрупкость означает, что видимый интеллект системы строго ограничен данными, на которых она обучалась. Поскольку ее работа не основана на фундаментальных логических концепциях, она может внезапно и катастрофически дать сбой, как только ситуация выйдет за рамки обучающей выборки. Например, в ходе испытаний беспилотников с навигационными системами на базе глубокого обучения некоторые из них маневрировали плавно до тех пор, пока не сталкивались с каким-то неожиданным фактором, после чего без предупреждения резко теряли управление.

Непрозрачность означает, что поведение систем ИИ на базе глубокого обучения трудно предсказать или даже понять постфактум. Иногда результаты их работы превосходят ожидания, что становится приятной случайностью. Однако когда они дают сбой, разобраться в причинах бывает крайне непросто. Порой единственный выход — заново обучить их на более качественных данных и надеяться на лучший результат.

Прожорливость означает, что системам глубокого обучения требуются колоссальные объемы вычислительной мощности и данных. Многие из них работают в гигантских дата-центрах размером с промышленный завод, которые содержат десятки тысяч графических процессоров (GPU), каждый из которых стоит десятки тысяч долларов. Каждый такой дата-центр может потреблять столько же электроэнергии, сколько небольшой город.¹⁹⁷ Доступ к этим вычислительным мощностям в полевых условиях требует надежного сетевого соединения с облачными сервисами, чего крайне трудно добиться в разгар боевых действий.

Кроме того, для многих областей применения просто невозможно предоставить те огромные наборы размеченных обучающих данных, которые требуются моделям ИИ глубокого обучения. Крупнейшие и коммерчески наиболее важные ИИ-сервисы — инструменты генеративного ИИ, такие как большие языковые модели и генераторы изображений — используют типы обучающих данных, доступные повсюду в интернете, например цифровой текст и картинки. ChatGPT (сокращение от «chat generative pre-trained transformer» — генеративный предварительно обученный трансформер для чата) был представлен мировой общественности в 2022 году. Его обучили на трехстах миллиардах слов из интернет-данных.¹⁹⁸ Более современные модели потребляют в разы больше информации. Подобные колоссальные наборы данных просто недоступны для решения большинства специализированных военных задач.

ВОЙНА — САМАЯ НЕБЛАГОПРИЯТНАЯ ДЛЯ ИИ ДЕЯТЕЛЬНОСТЬ

Фундаментальные недостатки ИИ на основе глубокого обучения настолько неблагоприятно совпадают с коренными трудностями войны, что военное дело может оказаться последней сферой, где ИИ сможет успешно функционировать без надзора. ИИ на основе глубокого обучения процветает при решении задач, которые можно четко ограничить, чтобы обучающие данные покрывали все возможные факторы. Его хрупкость приводит к сбоям, когда он сталкивается с непредвиденными ситуациями, не учтенными в обучающей выборке. Его прожорливость требует огромных объемов специфических, четко сформулированных и тщательно подготовленных обучающих данных, а также гарантированного доступа к цифровым ресурсам. Словом, глубокое обучение лучше всего работает в упорядоченной, легко оцифровываемой и строго ограниченной виртуальной среде.

В противовес требованиям ИИ глубокого обучения, война — это, пожалуй, самая изменчивая, неопределенная, сложная и двусмысленная среда из всех возможных. Она разворачивается в упрямо аналоговой физической реальности. Классические теоретики войны, такие как Карл фон Клаузевиц, подробно писали о непреодолимых «тумане» и «трении» войны. Туман — это пелена дефицита, перегрузки и недостоверности информации, которые вносят путаницу во все аспекты войны. Трение — это клубок неожиданных и сбивающих с толку факторов, которые затрудняют даже самые простые действия.¹⁹⁹ Непредсказуемость неизбежна, и, как говорится, ни один план не выдерживает первого столкновения с противником, который сделает все возможное, чтобы создать еще больше сюрпризов и хаоса. Более того, туман и трение во многом обусловлены тем, что часто называют «неизвестными неизвестными» — вещами, о существовании которых мы даже не догадываемся и которые невозможно предвидеть.

Таким образом, война характеризуется именно теми свойствами, с которыми системам глубокого обучения совладать труднее всего. В некоторых обстоятельствах тщательно выверенное применение ИИ может помочь уменьшить туман и трение, но при этом оно привносит свои собственные источники тумана и трения — в таких областях, как кибербезопасность и радиоэлектронная борьба. Налет уверенности, создаваемый мощными моделями ИИ, может усугубить проблему. Поскольку модели ИИ не знают, как многого они не знают, они часто «уверенно ошибаются». Если обучающие данные не включают в себя непредвиденные факторы (что в реальном мире практически неизбежно), мы можем невольно привить ИИ привычки, из-за которых ему будет сложнее адекватно реагировать в случае возникновения неожиданностей.

Кроме того, войны обычно происходят не в лабораториях и не в дата-центрах. Условия под открытым небом — холод или жара, ветер, дождь или соленые брызги, грязь, лед и тому подобное — наносят серьезный урон компьютерному оборудованию, а также загрязняют датчики и приводы, благодаря которым роботы воспринимают мир и действуют. Модель Borgward B IV, сыгравшая заметную роль в нескольких наземных сражениях Второй мировой войны, оказалась бесполезной в Северной Африке и на северном фронте в России, поскольку не справлялась ни с пустынной жарой и песком, ни с ледяными температурами и замерзшей грязью. При этом она была гораздо проще и прочнее, чем современные роботы с элементами искусственного интеллекта.

Наконец, многим военным роботам придется выполнять сложнейшие задачи ИИ без подключения к огромным дата-центрам. Им придется работать в жестких ограничениях по габаритам, весу, энергопотреблению и охлаждению. Для этого могут потребоваться прорывные подходы к созданию моделей ИИ — более эффективных и менее требовательных к вычислительным ресурсам, чем сегодняшние методы «грубой силы». Также могут потребоваться прорывы в области аппаратного обеспечения ИИ, например нейроморфные чипы. В то время как графические процессоры (GPU) предоставляют большое количество универсальных блоков, которые можно программно объединить в сети цифровых нейронов, нейроморфные чипы делают следующий шаг — нейронные сети встраиваются непосредственно в саму микросхему. Подобные достижения могут привести к созданию специализированных чипов ИИ, которые будут гораздо мощнее, компактнее и потребуют значительно меньше энергии. Возможно, потребуется целый ряд таких технологических скачков, чтобы возможности мощных моделей ИИ последнего поколения можно было развернуть на отдельных роботизированных платформах.

ПОСТОЯННЫЕ ПРОБЛЕМЫ ВОЕННОГО ИИ

Хотя возможности ИИ развиваются быстрыми темпами, существуют более специфические проблемы применения ИИ в военных сценариях, которые не исчезнут через несколько лет и не отступят перед очередным прорывом в сфере технологий. Вот две из них, с которыми сталкиваются разработчики военной робототехники.

Первая — это восприятие физического мира. В художественной литературе роботов часто показывают прекрасно ориентирующимися в пространстве. Однако робот воспринимает реальность гораздо более смутно, чем мы. Даже самый продвинутый ИИ, управляющий роботом в физическом мире, подобен разуму, запертому в темном ящике и способному воспринимать окружающее лишь через крошечные отверстия, просверленные в крышке. Датчики, обеспечивающие его ситуационную осведомленность, крайне ограничены по сравнению с богатейшим набором чувств, которые связывают человеческое сознание с нашей средой обитания. Такие методы восприятия, как радары, лидары и компьютерное зрение, совершенствуются, но все еще примитивны по сравнению с органами чувств живых существ. Помимо ограниченной точности и динамического диапазона, они страдают от задержки — то есть обработка сенсорных данных отстает от реальности.

Животные и люди ушли далеко вперед в том, что касается объединения богатейшей информации, поступающей в реальном времени от множества органов чувств — причем не только пяти традиционных внешних чувств, но и внутренних. К ним относятся чувство равновесия, проприоцепция (ощущение положения и движения собственного тела и конечностей) и интероцепция (наша способность чувствовать внутреннее состояние организма и, следовательно, распознавать недомогание, травму, усталость и так далее). Пилот или солдат чутко улавливает все: от крошечной точки, движущейся на периферии зрения, до дуновения и запаха ветра, странного звука или того, как колышется трава на поле впереди. У робота могут быть органы чувств, которых нет у человека (например, инфракрасное зрение), но его общая сенсорная картина бесконечно далека от человеческой.

Роботизированные приводы — компоненты, которые обеспечивают движение и прикладывают физическое усилие, — зачастую устроены еще более грубо. Чем сложнее и точнее эти детали, тем чаще они ломаются и тем большего обслуживания требуют в полевых условиях. Именно недостатки в работе датчиков и приводов обусловливают ту неповоротливость, которая делает роботизированные системы уязвимыми в бою.

Например, если нам в глаз попадает грязь, искажая зрение, мы мгновенно понимаем это благодаря сочетанию зрительных и тактильных сигналов, а также интероцепции, и знаем, что не стоит доверять зрению этого глаза, пока он не очистится. Роботы, как правило, лишены подобных способностей и не могут определить, когда датчику или другому компоненту не стоит доверять. Зачастую они не способны понять, что находятся под угрозой отказа, пока тот внезапно не произойдет.

Наряду с восприятием физического мира, вторая проблема, с которой приходится сталкиваться разработчикам робототехники, — это контекст. Представьте себе группу солдат на задании — сценарий, знакомый каждому по фильмам и телевидению. Они крадутся к своей цели, общаясь жестами. Когда они уже готовы начать атаку, командир группы что-то чувствует и поднимает кулак, давая сигнал остановиться. Что-то не так. Командир хмуро всматривается в пространство впереди, где обнаруживается нечто, отличающееся от их ожиданий. Возможно, характер цели при ближайшем рассмотрении оказывается не таким, как они думали. Возможно, рядом с плохими парнями находятся дети, или среди них виден кто-то из своих союзников. А может, дело в чем-то труднообъяснимом, что просто вызывает нехорошее предчувствие. Каковы бы ни были детали, в этой ситуации явно что-то не так, и ход операции делает резкий поворот.

Способность сделать этот простой вывод — что-то не так — лежит в основе принятия военных решений на любом уровне, а также военной этики. Она столь же важна при нанесении ударов беспилотниками, как и в наземных операциях. И все же эта способность требует глубокого пласта контекста, который питает то, что мы называем «интуицией» или даже здравым смыслом. Она требует настолько богатой внутренней модели реальности, которая позволяет нам предсказывать, что именно мы должны увидеть, — чтобы вовремя заметить, когда что-то идет не так, как должно.

В тумане и трении боя контекст жизненно важен. Даг Ленат, пионер в области ИИ, чья ранняя программа Eurisko помогла раскрыть потенциал диссоциированных боевых платформ, более сорока лет работал со своей командой над созданием символьной базы данных логических выводов, которая помогла бы наделить ИИ своего рода здравым смыслом.²⁰⁰ База данных под названием Cyc или аналогичные ей системы могли бы однажды обеспечить контекстуальное понимание в тех случаях, когда, как выразился Ленат, «внешнего налета интеллекта недостаточно».²⁰¹ Однако мы пока не знаем, как объединить такие символьные базы данных с ИИ на основе глубокого обучения. А специфическим сферам вроде ведения боевых действий потребуются собственные специализированные базы логических выводов, на разработку которых могут уйти многие годы.

ПОЛНОСТЬЮ АВТОНОМНОЕ ОРУЖИЕ НЕВОЗМОЖНО

Роботизированное оружие было создано для того, чтобы обеспечить определенность посреди тумана и трения войны. К примеру, оно помогает гарантировать, что намеченная цель будет поражена и уничтожена. Все его триумфы на поле боя стали результатом этой способности с уверенностью обеспечивать желаемые результаты. Фактически оно превращает намерения бойца в реальность.

Но важно помнить, что оружие — это инструмент. Разрушительное средство становится оружием только тогда, когда им можно управлять или направлять его для достижения желаемого эффекта. Более совершенное оружие расширяет возможности и силу того, кто им владеет. Разрушительная же вещь, которой невозможно управлять, — это просто источник опасности.

Многие прежние попытки создать оружие, приносящее победу в войне, провалились из-за того, что последствия его применения не поддавались достаточному контролю. Яркими примерами служат отравляющие газы и биологическое оружие. В обоих случаях малейшие изменения погоды или неконтролируемое распространение приводили к тому, что они отклонялись от намеченных целей и переносились на незапланированные территории, порой возвращаясь обратно на позиции применившей их стороны. В Первую мировую войну армии ряда стран масштабно использовали отравляющий газ. Его сторонники утверждали, что его вопиющая неточность — когда воздействие порой отклонялось на десять-двенадцать километров от точек прицеливания — была допустима, поскольку сражения велись в линиях окопов, расположенных в сельской местности, вдали от населенных пунктов.²⁰² Даже в Первую мировую войну это часто не соответствовало действительности, а в последующих войнах — и подавно. Военные пришли к выводу, что использование газа и экспериментальное применение биологического оружия лишь создавали угрозу в зоне боевых действий. Они заставляли все стороны носить громоздкое и дорогое защитное снаряжение. Они увеличивали общий уровень страданий, но не давали практически никаких преимуществ на поле боя.

Отравляющие газы и биологическое оружие были запрещены международными договорами. Отчасти это объяснялось тем бесчеловечным воздействием, которое они оказывали на беззащитных жертв. Но, пожалуй, еще важнее было то, что они оказались плохим оружием. Военачальники были рады убрать их с поля боя и в большинстве случаев с готовностью уничтожали имевшиеся у них запасы. Они годились лишь на роль оружия неизбирательного террора, опасного главным образом для гражданского населения, поэтому выступать против их применения было легко.

Военные не терпят того, что усугубляет и без того высокую неопределенность боя. Бойцы, как и любые специалисты, чья работа сопряжена с риском, предпочитают инструменты и методы, в предсказуемости и надежности которых они уверены. Потенциально более мощное, но ненадежное снаряжение обычно не берут с собой. Даже если оно способно на выдающиеся результаты, риск того, что оно поведет себя непредсказуемо и подведет своих пользователей в критический момент, становится решающим фактором против его использования. Планы могут учитывать известные ограничения эффективности, но они не могут учесть неизвестные переменные, вносимые неконтролируемыми факторами.

Иными словами, любая управляемая ИИ роботизированная военная система, являющаяся по-настоящему автономной и потому неподвластная воле того, кто ее применяет, — это не оружие. Это лишь источник опасности. Ярким тому примером служит то, как во время Второй мировой войны советская армия обучала автономные системы — живых собак — атаковать вражеские танки.²⁰³ Собак приучали залезать под танки в поисках пищи. На каждое животное надевали вьюк с противотанковой миной, снабженной штыревым взрывателем сверху, который подрывал мину при соприкосновении с днищем танка. На учебном полигоне с макетами взрывчатки эта идея работала отлично. Однако в бою советские военные обнаружили, что собаки в страхе реагировали на незнакомый шум и опасность. Вместо того чтобы приближаться к противнику, они бежали в поисках защиты назад, к своим. Кроме того, их обучали на советских танках, а не на немецких. Из-за этого собаки видели в советских танках знакомое и надежное убежище, а немецких избегали. Катастрофические результаты привели к закрытию программы. Собаки были устроены несравнимо сложнее любого современного военного робота. Однако советские военные на горьком опыте убедились, что у животных есть свои собственные приоритеты и своя воля, а потому они не являются оружием.

ГЛАВНАЯ ОПАСНОСТЬ ВОЕННОЙ РОБОТОТЕХНИКИ

Многие беспокоятся о перспективе появления сверхинтеллектуальных систем ИИ, превосходящих человека по уму, которые обретут сознание и захватят мир. Эта пугающая возможность стара как сам термин «робот» и десятилетиями обыгрывается в фильмах и романах. Если бы упомянутый ИИ был военной системой, оснащенной оружием, он мог бы начать беспощадно истреблять своих создателей-людей и, возможно, полностью уничтожить человечество.

Это действительно пугающая перспектива, и мы, безусловно, должны ее избежать. Однако настоящее искусственное сознание остается лишь гипотетическим предположением. Мы понятия не имеем, как создать сознание, даже если бы захотели. Не существует прикладной науки о сознании — как и о многих других человеческих качествах, которые мы можем ассоциировать со сверхинтеллектом. Огромное количество куда более приземленных, но трудноразрешимых проблем, включая упомянутые здесь вызовы в области боевого ИИ, будут ограничивать практические возможности любого робота или компьютерного ИИ. Вероятнее всего, методы глубокого обучения, как и любые другие научно-технические достижения, принесут удивительные новые возможности, а затем выйдут на плато в ожидании следующего прорыва.

К сожалению, чтобы спровоцировать катастрофу, вовсе не требуется гипотетический сверхинтеллектуальный ИИ, обладающий сознанием. Гораздо более серьезная и непосредственная опасность заключается в наделении избыточными полномочиями реального ИИ, который не способен оправдать возложенные на него ожидания. Мания ИИ может подтолкнуть людей, в том числе военачальников, давать системам ИИ право принимать решения и предпринимать действия, для которых у них недостаточно компетентности. В краткосрочной и среднесрочной перспективе главная угроза здесь исходит, скорее всего, не от всемогущего искусственного интеллекта, а от искусственной глупости.

Пугающая суть большинства вымышленных историй о катастрофах, вызванных роботами и ИИ, — от вышедшего из-под контроля компьютера управления ядерным оружием в фильме «Военные игры» до Скайнета в «Терминаторе» и далее, — заключается не в том, что ИИ был умен или автономен сам по себе, а в том, что ему предоставили слишком много власти, о чем люди часто понимали слишком поздно. Описанные ранее реальные сбои в работе систем активной защиты не были отказами в строгом смысле слова — системы работали именно так, как их спроектировали. Ошибку совершили создатели и операторы этих систем, не осознав, что у них нет избирательности, необходимой для того, чтобы отличить настоящие цели от ложных. По той или иной причине они наделили эти системы избыточными полномочиями. Весьма вероятно, что в ближайшие годы наделение избыточными полномочиями станет все более острой проблемой.

ИСТОЧНИКИ СКЛОННОСТИ К НАДЕЛЕНИЮ ИЗБЫТОЧНЫМИ ПОЛНОМОЧИЯМИ

Склонность к наделению избыточными полномочиями — это наша тенденция оказывать чрезмерное доверие робототехнике и ИИ и наделять их большей властью, чем это оправдано их ограниченными возможностями. Зачем людям делать это, особенно если они являются техническими или военными специалистами, которые должны все прекрасно понимать? К сожалению, история подобных действий уходит корнями в далекое прошлое и стара так же, как сама область искусственного интеллекта. И дело здесь не в банальной халатности или лени. Напротив, у нас, похоже, есть предрасположенность к такому наделению полномочиями, которая может корениться в глубоких психологических искажениях человека, проявляющихся при взаимодействии с ИИ и роботами.

Переоценка и магическое мышление

Десятилетия назад исследователи в различных областях заметили явление, которое они впоследствии назвали «эффектом доверия к автоматизации»: склонность даже подготовленных пользователей необоснованно доверять информации, если она представлена автоматизированной системой.²⁰⁴ Из-за этого бухгалтеры больше доверяют неверным финансовым показателям, если они получены из компьютеризированной системы учета, а операторы атомных электростанций чрезмерно полагаются на неисправные индикаторы состояния на своих пультах управления. Это искажение сохраняется даже тогда, когда люди знают, что автоматизированная система никак не проверяет данные и склонна к ошибкам. Психологи пришли к выводу, что эффект доверия к автоматизации проистекает из врожденного стремления человека минимизировать когнитивную перегрузку. Предполагая, что машина, обрабатывающая информацию, всегда заслуживает доверия, пользователи подсознательно делегируют ей ответственность, что освобождает их для концентрации на других задачах. Этот эффект усиливается при высокой когнитивной нагрузке, например в бою.²⁰⁵

Подобная переоценка проявляется еще более вопиющим образом в случае с ИИ. Например, причиной многих аварий автомобилей Tesla становилось то, что водители переоценивали функцию автопилота: спали за рулем или даже сажали собак на водительское сиденье, несмотря на предупреждения компании Tesla о том, что возможности автопилота ограничены, а водителям необходимо следить за дорогой и быть готовыми в любой момент взять управление на себя. Эта неверная калибровка доверия схожа с той, что приводила к инцидентам с автоматизированными военными системами, такими как системы активной защиты.²⁰⁶

В 1966 году специалисты по компьютерным технологиям из Массачусетского технологического института представили примитивную программу-чат-бот ELIZA. Она вела несложные текстовые диалоги с людьми, имитируя вопросно-ответный стиль психотерапевта. Ученые были потрясены тем, как быстро тестировщики начинали приписывать программе поразительные когнитивные способности, хотя на самом деле это была лишь простая программа, которая преобразовывала реплики самого пользователя с помощью базовых правил и шаблонных фраз. Эта склонность проецировать высокоуровневые человеческие качества на текстовые системы ИИ, которые ими не обладают, стала известна как «эффект Элизы».

В 2022 году один из инженеров Google заявил, что чат-бот компании LaMDa, созданный на основе большой языковой модели, обладает сознанием, основываясь на его похожих на человеческие текстовых сообщениях.²⁰⁷ Однако это было куда более продвинутое проявление эффекта Элизы. По сути, большие языковые модели отвечают на вопрос, предсказывая, как ответил бы человек, на основе закономерностей, извлеченных из их обучающих данных. Содержание ответов LaMDa давало едва заметные подсказки об иллюзорной природе его «сознания». Например, на вопрос о том, что делает его счастливым, бот ответил: «проводить время с друзьями и семьей в веселой и воодушевляющей компании».²⁰⁸ Поскольку у системы нет ни друзей, ни семьи, это, очевидно, было заимствовано из океана текстовых материалов, на которых она обучалась.

Вместо того чтобы предупреждать пользователей о соблазнительном характере этих эффектов, разработчики, напротив, часто поощряли их, делая крайне завышенные прогнозы относительно возможностей ИИ. Например, в 1970 году известный пионер в области ИИ Марвин Минский заявил журналу Life:

Через три-восемь лет у нас появится машина с общим интеллектом на уровне среднестатистического человека. Я имею в виду машину, которая сможет читать Шекспира, смазывать автомобиль, вести офисные интриги, шутить, драться. В этот момент машина начнет самообучаться с фантастической скоростью. Через несколько месяцев она достигнет уровня гения, а еще через несколько месяцев ее возможности станут неисчислимыми.²⁰⁹

Примерно в то же время корпорация RAND предлагала ВВС США перейти с пилотируемых реактивных самолетов на высокоэффективные боевые беспилотники. В обоих случаях потребовалось полвека, чтобы технологии созрели достаточно для реализации хотя бы более скромных аспектов этих прогнозов, а их наиболее оптимистичные сценарии все еще остаются за горизонтом. Цикл хайпа вокруг ИИ не нов, но он способствует усилению укоренившихся человеческих предубеждений в отношении автоматизации и искусственного интеллекта, подталкивая пользователей к магическому мышлению относительно возможностей нынешнего и будущего ИИ. Это ведет к избыточному наделению полномочиями.

Ошибка таксономии Блума

Почему даже искушенные пользователи с такой готовностью приписывают системам ИИ человеческие качества, такие как знание и понимание? Отчасти потому, что поведение ИИ представляет собой исключение из представлений, которые оставались незыблемыми на протяжении всей истории человечества.

Таксономия Блума — это стандартная и широко используемая модель когнитивного развития и обучения человека. Предложенная в 1950-х годах, она использовалась и совершенствовалась поколениями психологов и педагогов. Она описывает когнитивное развитие человека как шестиуровневую пирамиду, в которой способности более высокого уровня проистекают из способностей более низкого уровня и зависят от них. Способность самого низкого уровня — это простое запоминание информации. Следующий уровень — понимание ее смысла. Третий — применение этого понимания в новых контекстах. Четвертый — анализ сложных взаимосвязей между понятиями. Пятый — оценка и вынесение критических суждений для определения ценности или истинности идей. Шестая, высшая способность — это создание или изобретение новых идей, конструкций, художественных или научных продуктов.

Упрощенная диаграмма таксономии когнитивного развития человека по Блуму.

Системы ИИ на базе глубокого обучения способны выполнять сложные задачи оценки, такие как автоматическое распознавание военных объектов. Генеративный ИИ, также основанный на глубоком обучении, может создавать оригинальные текстовые, визуальные и другие продукты. Однако ИИ на основе глубокого обучения делает это путем обучения нейросетей на колоссальных массивах данных, состоящих из продуктов реального человеческого познания, и воспроизведения содержащихся в них закономерностей. Он выдает результаты напрямую через масштабный процесс распознавания и повторения шаблонов. Он не требует и не подразумевает наличия каких-либо более фундаментальных уровней, за исключением памяти. Таким образом, ИИ на базе глубокого обучения может демонстрировать поведение более высокого порядка, подобное человеческому, без присущего человеку понимания.

Поскольку единственным мерилом для нас служит человеческое поведение, нам противоестественно наблюдать за поразительными достижениями ИИ и при этом воздерживаться от приписывания ему глубинных человеческих качеств, которые эти достижения, казалось бы, подразумевают. Эта ошибка заставляет нас чрезмерно доверять системам ИИ, основываясь на их видимой высокой эффективности, и забывать о том, насколько они хрупки и непрозрачны. Это ведет к избыточному наделению полномочиями.

Антропоморфизм: эффект «актера в костюме робота»

Склонность человека приписывать ИИ несуществующие качества усиливается, когда он обретает физический облик, напоминающий человека или иное живое существо. Мы предрасположены считать, что роботы, которые двигаются или выглядят как живые существа, обладают их свойствами. Подобно киношному доктору Франкенштейну, воскликнувшему: «Оно живое, оно живое!», когда его творение пошевелило рукой, одно только движение часто провоцирует такую реакцию.²¹⁰

Иногда это безобидно. Существует бесчисленное множество случаев, когда военные и гражданские операторы приклеивали роботам «бегающие глазки», чтобы шутливо очеловечить их. Военнослужащие ласково обращались со своими роботами как с живыми существами еще со времен Второй мировой войны, когда операторы штурмовых беспилотников привычно называли свои аппараты «собаками».²¹¹ Немецкие танкисты на Курской дуге называли роботизированные B IV своими «собаками-минерами».²¹² А операторы роботов-саперов, уничтоженных в ходе выполнения задач, даже устраивали для них сентиментальные «похороны», чтобы почтить их службу.²¹³

Антропоморфизм, по-видимому, является врожденной склонностью. Маленькие дети, встретив простого гуманоидного робота в научном музее или парке развлечений, подходят к нему и почти мгновенно воспринимают его как сознательное живое существо: смотрят ему в глаза, называют по имени и задают вопросы. Лишь позже мы узнаем об ограничениях роботов. Однако это не просто наивная детская черта. Инженеры в области военной робототехники обнаружили, что наличие у робота головы и лица помогает людям взаимодействовать с ним более естественно. Зачастую практической необходимости в лице у робота нет, но его добавляют, потому что это помогает пользователям доверять ему. Военные испытатели в лабораторных условиях могут комфортно взаимодействовать с гуманоидным роботом, у которого есть такое необязательное лицо или голова, но им становится жутко, если они отделяются, а робот продолжает функционировать без них, разрушая антропоморфную иллюзию.

Мы можем наблюдать этот эффект в реакции людей на так называемых «робособак». Они не имеют ничего общего с собаками; это просто мобильные роботы, передвигающиеся на конечностях вместо колес или гусениц. Однако это поверхностное сходство заставляет людей приписывать им повадки настоящих собак, что совершенно необоснованно. Посетители военно-технических выставок обычно обходят робособак стороной. Пока те гарцуют под дистанционным управлением, пощелкивая сервоприводами, зрители отступают назад, словно машины готовы на них броситься. Когда операторы выключают роботов, «бывшие собаки» с глухим стуком поджимают ноги и мгновенно превращаются в обычный багаж. Этот резкий переход часто вызывает облегченные улыбки у наивных зрителей.

Массовая культура, возможно, играет огромную роль в том, что мы без лишних вопросов воспринимаем смутно одушевленные предметы как живых персонажей. Любой военный, без сомнения, с детства привыкает воспринимать нарисованных существ и кукол-маппетов как полноценных персонажей, наделенных человеческими чертами, даже если они представляют собой лишь подобие лица на явно неживом предмете.

К тому времени, как мы становимся взрослыми, мы успеваем повидать на экранах бесчисленное множество роботов и андроидов, таких как C-3PO и R2-D2 из киносаги «Звездные войны», и воспринимаем их как привычную часть нашей реальности. Британский специалист по компьютерным наукам и инноватор из Google Астро Теллер однажды определил ИИ как «науку о том, как заставить машины делать то, что они делают в кино».²¹⁴ Однако все эти вымышленные экранные роботы и андроиды, конечно же, не являются настоящими роботами под управлением ИИ. Большинство из них — это актеры в костюмах роботов. И независимо от того, сыграны ли они актерами или созданы с помощью компьютерной графики, их поведение и диалоги прописаны людьми-сценаристами. То, что нам кажется знанием об интеллектуальных роботах, на самом деле — лишь человеческие домыслы о том, какими они могли бы быть. Неудивительно, что эти домыслы наделяют их множеством человеческих качеств.

Все эти когнитивные искажения подталкивают нас давать роботам и ИИ своего рода карт-бланш. Они порождают ложные ожидания, самоуспокоенность и склонность наделять технику избыточными полномочиями. А это может привести к опасным ошибкам, особенно в военных целях. Не все люди поддаются склонности к избыточному наделению полномочиями; у некоторых возникает противоположная реакция, например рефлекторное недоверие к роботам. Однако психологические эффекты, подпитывающие эту склонность, очень распространены и притягательны, что делает ее угрозой, за которой мы должны бдительно следить и последствия которой обязаны смягчать. Инциденты и опасные ситуации, происходившие до сих пор, носили относительно единичный характер. Они могут показаться сущими пустяками в будущем, когда ИИ получит гораздо более широкие военные полномочия.

Это также может мешать надлежащему использованию робототехники. Чрезмерно оптимистичные ожидания относительно сроков помогли убедить армию США отвести беспилотным наземным машинам ведущую роль в своей программе Future Combat Systems в начале 2000-х годов. На тот момент технологии беспилотных систем были далеко не готовы оправдать возложенные на них армией надежды, что привело к краху этой чрезвычайно дорогостоящей программы и ее закрытию в 2009 году. Из-за этого опыта армия впоследствии упустила целое поколение реальных достижений и была вынуждена лихорадочно реагировать на инновации противников в области военной робототехники.

КАК ПРЕОДОЛЕТЬ СКЛОННОСТЬ К ИЗБЫТОЧНОМУ НАДЕЛЕНИЮ ПОЛНОМОЧИЯМИ?

Как и во многих других аспектах военной робототехники и ИИ, повышение осведомленности о потенциальных проблемах — это важный первый шаг. Однако предупреждений и предостережений недостаточно. Нам нужны более совершенные способы осмысления и оценки интеллектуальной робототехники. Исследователи в вооруженных силах США активно работают над созданием улучшенных методов тестирования и проверки ИИ, чтобы повысить уверенность в том, что он оправдает ожидания. Они также разрабатывают технологии «объяснимого ИИ» (explainable AI), способные укрепить доверие за счет снижения непрозрачности систем.

Вооруженные силы и аэрокосмическая отрасль накопили долгий и успешный опыт повышения безопасности полетов, и сегодня они адаптируют те строгие методики, благодаря которым авиакатастрофы практически сошли на нет, чтобы применить их в мире ИИ. Следуя лучшим практикам обеспечения безопасности воздушных судов, исследователи разработали классификации возможных видов отказов для систем, предполагающих взаимодействие человека и робота. Огромный масштаб этих классификаций, часто охватывающих двадцать или более обширных категорий потенциальных сбоев, служит для разработчиков отрезвляющим напоминанием о сложности систем «человек-робот». Они показывают, сколько именно функций необходимо протестировать и проверить, прежде чем систему можно будет безопасно эксплуатировать.²¹⁵

Многие из текущих исследований очень быстро переходят на сугубо технический язык. Тем не менее, некоторые эффективные концептуальные модели легко понятны даже неспециалистам. Например, в прошлом разработка интеллектуальных роботизированных систем зачастую фокусировалась исключительно на автономии. Общество автомобильных инженеров (SAE) представило несколько последовательно дорабатываемых моделей для оценки и классификации уровней автономности беспилотных автомобилей. Военные эксперты разработали аналогичные схемы применительно к военным системам, таким как беспилотные летательные аппараты.²¹⁶ Такой подход принес огромную пользу, но повлек за собой побочный эффект: термин «автономия» стал практически синонимом передовой робототехники.

Строго говоря, автономия, или способность функционировать без прямого контроля или надзора со стороны человека, — это лишь одно из трех измерений зрелости роботизированной системы. Два других — это полномочия и надежность.

Полномочия — это степень самостоятельности, которой наделена система. Системе, уполномоченной управлять множеством сложных, критически важных для безопасности функций, предоставляется гораздо больше полномочий, чем той, которой поручено управление лишь несколькими простыми или менее важными задачами.

Надежность — это уровень уверенности в том, что система не откажет даже при самых сложных сценариях.

Эти три измерения составляют три стороны так называемого «железного треугольника», поскольку они находятся во взаимном противоречии. При определенном уровне развития технологий улучшение одного параметра часто требует ослабления одного или нескольких других. Удерживая во внимании все три стороны «железного треугольника» и признавая необходимость компромиссов между ними, мы можем минимизировать слепые зоны и риск происшествий, особенно при внедрении новых роботизированных систем.

Концепция «железного треугольника» зрелости роботизированных систем.

Точно так же, по мере роста возможностей ИИ и робототехники на его основе, мы можем решать неизбежные вопросы доверия, адаптируя модели, которые уже используются для построения доверия внутри человеческих военных коллективов. Это зрелая область, где на протяжении многих лет проводилось множество исследований, и их результаты применимы к группам, в состав которых входят роботы. Военные исследователи изучили историю этих изысканий и пришли к выводу, что доверие основывается на четырех базовых факторах: компетентности, честности, предсказуемости и доброжелательности.²¹⁷

Четырехфакторная модель доверия в военных коллективах, адаптировано на основе работы Бле и Томпсона, 2009 г.

Эта простая модель дает разработчикам роботизированных систем очевидный практический вывод. Два фактора — компетентность и предсказуемость — относятся исключительно к эффективности работы. То есть к гарантированности результатов. Именно ради этого и было изобретено роботизированное оружие. Два других аспекта — честность и доброжелательность — касаются субъектности. Они включают в себя такие факторы, как мотивация и намерения. Их трудно оценить у людей и практически невозможно ни задать, ни оценить в системах ИИ, по крайней мере с помощью известных сегодня технологий. Чтобы способствовать росту доверия, военные системы должны максимально повышать компетентность и предсказуемость и избегать любого подобия субъектности, намеренного или ненамеренного. Пока не наступит эпоха, когда мы научимся проектировать и контролировать субъектность внутри системы ИИ, нам следует избегать всего, что создает ее иллюзию. Возникновение любых сомнений относительно кажущейся субъектности робота или системы ИИ лишь добавляет тумана и трения войны, разрушает доверие и сводит на нет саму цель военной робототехники.

ФОКУСИРОВАНИЕ БОЕВОГО ИИ НА ОБЛАСТЯХ, ГДЕ ОН СПОСОБЕН ОБЕСПЕЧИТЬ ОПРЕДЕЛЕННОСТЬ

Искусственный интеллект необходим для реализации потенциала робототехники как в военных, так и в гражданских целях. В военном деле ИИ нужен нам для того, чтобы преодолеть давние проблемы, связанные с когнитивной нагрузкой, уязвимостью, а также навигацией и управлением, которые сдерживали военное применение роботов на протяжении ста лет. Он необходим для достижения тактических преимуществ, изначально заложенных в роботизированных системах. Он позволяет радикально переосмыслить боевые системы, способные выживать и возвращать маневр на высокоточное поле боя, используя такие принципы, как диссоциация. Он также крайне важен для обеспечения в широких масштабах таких качеств, как различение целей и избирательность, что может способствовать развитию военной этики и соблюдению законов вооруженных конфликтов.

Однако, несмотря на нынешнюю волну прогресса, основанную на глубоком обучении, ИИ все еще предстоит пройти долгий путь, прежде чем он сможет без контроля со стороны человека справляться с задачами реального боя. Развитие ИИ идет по пути, который может напоминать одну из апорий Зенона. Каждый крупный прорыв приближает нас к конечной цели, но одновременно открывает новые загадки и трудности, требующие еще больших усилий для совершения следующего шага. Мы сталкиваемся с целым ворохом таких новых вызовов, пытаясь перенести технологии ИИ из виртуальной цифровой среды в нестабильный, неопределенный, сложный и неоднозначный физический мир вооруженного противоборства.

Умное оружие уже давно наделено возможностью помогать в выборе целей в узко заданных параметрах. Однако в обозримом будущем боевому ИИ будет не хватать проницательности и человеческой способности к суждению, необходимых для самостоятельного определения вариантов действий в боевой обстановке за рамками этих узких ограничений. Вместо этого будущие разработки, по крайней мере в вооруженных силах США и их союзников, сосредоточены на человеко-машинном взаимодействии и на том, чтобы помочь роботизированным системам выполнить обещание, ради которого они и создавались: обеспечить определенность среди тумана и трения войны. Сохранение критического взгляда на ИИ, подкрепленное соответствующими методологическими моделями, поможет нам избежать смертельно опасного искушения наделить его чрезмерными полномочиями.

Наблюдение за тем, как гоночные дроны под управлением ИИ с трудом обрабатывают недостаточные и неоднозначные данные датчиков, колеблются и разбиваются, пытаясь ориентироваться на незнакомых трассах, очень отрезвляет инженеров. Тем не менее гораздо лучше осознать иллюзорность магического мышления и чрезмерного оптимизма в безопасной обстановке, нежели в реальном бою. Мы должны принять тот факт, что ИИ — это не разовый прорыв, а целая область науки и техники, состоящая из множества развивающихся технологий. Он продолжит развиваться в последующие десятилетия и, вероятно, столетия. Военный ИИ будет приносить важные результаты от одной прикладной задачи к другой, начиная с более простых условий эксплуатации, причем каждый шаг будет подтверждаться тщательными испытаниями, включая реалистичные испытания в условиях противодействия в реальном мире.

До тех пор пока ИИ будет ориентирован на улучшение таких боевых показателей, как избирательность, военная робототехника будет продвигаться к своим первоначальным оптимистичным целям. Она поможет сделать войну более высокоточной и прогнозируемой, снизив масштабы разрушений и человеческих страданий. И главное, роботизированное оружие останется оружием — послушным инструментом в руках человека, способным все более точно исполнять волю своих создателей.