К книге
«Зверь в машине»9. BELUA IN MACHINA. Машины, мораль и сердце тьмы.
70%
9. BELUA IN MACHINA. Машины, мораль и сердце тьмы.
14

Утром 16 марта 2022 года мужчины средних лет Виталий Контаров, Игорь Мороз и Григорий Головнёв каждый по отдельности искали припасы на улице возле Донецкого областного драматического театра в Мариуполе, на юге Украины.268 Величественное здание театра девятнадцатого века было превращено в убежище для беженцев, когда российские войска сжимали кольцо вокруг города с востока и запада. Внутри укрывались сотни других мирных жителей, в основном женщины и дети, включая выживших после удара российских бомб по роддому неделей ранее. Сценограф театра нанес слово «Дети» на площадках с двух сторон от здания театра буквами такого размера, чтобы их было видно на спутниковых снимках.269

Мужчины услышали гул пролетавшего над головой военного самолета — звук привычный, поскольку российская авиация бомбила город непрерывно. Несколько недель спустя они рассказали о случившемся правозащитникам. «Мы услышали самолеты... Я видел, как с одного самолета в сторону театра были выпущены две ракеты», — сказал Виталий. Игорь вспоминал: «Все произошло на наших глазах. Мы были в 200 или 300 метрах, [когда] произошел взрыв... Я слышал самолет и звук падающих бомб. Затем мы увидели, как крыша [театра] взлетела вверх». Григорий также упомянул самолет и взрыв: «Я видел, как взорвалась крыша здания... Она взлетела метров на 20, а затем рухнула». Выжившие, находившиеся в глубине театра, рассказывали, что их отбросило взрывной волной, когда верхние этажи здания были снесены вместе с укрывавшимися там семьями. Выжившие из подвала выбирались наружу сквозь адские сцены: раненые лежали среди руин. Один мужчина, выбравшись, увидел истекающих кровью людей, у некоторых были открытые переломы. «Одна мать пыталась найти своих детей под завалами, — вспоминал он. — Пятилетний ребенок кричал: „Я не хочу умирать“. Это разрывало душу».270 Власти осажденного города оценили число погибших примерно в триста человек.

Анализ характера разрушений от взрыва и показания очевидцев указывали на то, что российские 500-фунтовые (250 кг) бомбы с лазерным наведением сдетонировали прямо под крышей.271 В этом районе не было и намека на какую-либо активность украинских военных, и не существовало никаких причин, по которым драматический театр мог оказаться в списке стратегических целей. Использование бомб с лазерным наведением означало, что пилоты отчетливо видели цель перед нанесением удара.

Дальнейшего расследования не последовало. Вскоре после удара наступающие российские войска завершили окружение и с боем прорвались к центру города. В течение двух недель они заняли приморский район, где стояли руины театра. Девяносто процентов городских зданий были повреждены или разрушены. Выжившие очевидцы спаслись из осады, несколько дней пробираясь через оккупированную территорию. Укрепив свою власть в разрушенном городе, российские оккупационные власти расчистили это место и подготовились к восстановлению театра как витрины русской культуры.

Первые создатели робототехнического оружия стремились внести точность и определенность в хаос войны. Согласно их теории, вооружившись этими продуктами передовой науки и разума, более технологически развитые и цивилизованные страны смогут победить более агрессивные государства. Делая войну все более состязанием машин, они надеялись сделать ее более «стерильной», уменьшить ее дикий, жестокий характер и, возможно, проложить путь к полному искоренению войны как вида человеческой деятельности.

Это была хорошая идея, и она все еще могла бы сработать. К сожалению, возникли две сложности. Первая заключалась в том, что технологический прогресс, как оказалось, вполне совместим с агрессией и дикостью. Нацистская Германия продемонстрировала это с болезненной очевидностью, и за ней последовали другие примеры. Вторая сложность в том, что революционная природа робототехнического оружия приводит к тому, что оно попадает во множество новых рук, а многих из этих новых владельцев совершенно не заботят точность и «стерильность». Если робототехническое оружие и ИИ окажутся под контролем тех, кто не разделяет рационалистического, научного подхода к ведению войны, они могут придать сил тому самому варварству, которое должны были победить. Нам следует беспокоиться о том, как мы будем применять робототехническое оружие. Но гораздо больше нас должно тревожить то, как его могут применить другие — те, кто устроен совсем иначе, в том числе и против нас самих, и что это будет означать для будущего человеческих конфликтов.

ТЕРРОР КАК ТАКТИКА И СТРАТЕГИЯ

Военные с давних времен использовали бессмысленную жестокость и террор как инструменты войны. Задолго до того, как американские теоретики применения военно-воздушных сил определили, что индустриального противника можно подчинить научными методами — путем точечного уничтожения ключевых промышленных и логистических узлов, — армии понимали, что врага можно сломить страхом. В древности агрессоры часто угрожали резней городам, которые отказывались сдаваться. Например, Чингисхан наказывал города, пытавшиеся сопротивляться его войскам, сжигая их дотла, вырезая всех выживших и выстраивая пирамиды из человеческих голов в назидание остальным. Несмотря на малочисленность населения Монголии, его армии смогли быстро подчинить себе гораздо более крупные империи — отчасти благодаря запугиванию и тому паническому ужасу, который они внушали еще до своего появления.

Когда в начале Первой мировой войны немецкие армии продвигались через Бельгию во Францию, германское командование приказало им принудить Бельгию к быстрой капитуляции с помощью кампании террора. На любое сопротивление военные отвечали беспощадными зверствами, включая разрушение города Лёвен бесчинствующими войсками. Как сказал один немецкий офицер: «Мы сотрем его с лица земли... Камня на камне не останется. Мы научим их уважать Германию. Целые поколения людей будут приходить сюда и смотреть на то, что мы совершили».272 Союзники назвали эту политику schrecklichkeit — немецким словом, означающим ужас или устрашение. Во Второй мировой войне нацистский режим применял эту политику гораздо шире. Иногда он использовал свое роботизированное «вундерваффе» для поддержки террористических кампаний. Кампания по применению «Фау-1» для разрушения Лондона была актом мести, призванным запугать Великобританию и заставить ее сдаться. Роботизированные наземные машины использовались как орудия террора при подавлении Варшавского восстания.

В Украине, начиная с февраля 2022 года, Россия наносила массированные удары по гражданскому населению, в том числе с использованием высокоточного оружия. Она обрушивала шквал огня реактивной артиллерии на жилые кварталы.273 Она использовала управляемые ракеты для ударов по больницам, торговым центрам, жилым многоэтажкам, ресторанам и многим другим гражданским объектам. Российские высокоточные удары по объектам коммунальной инфраструктуры и электростанциям в зимний период также были попыткой использовать страдания мирного населения, чтобы сломить волю украинцев.274 Аналитики отмечали, что российские военные расходовали значительную часть своих крылатых ракет и другого высокоточного оружия против украинских гражданских целей.275 Это соответствовало и другой недавней российской практике. Став новым премьер-министром в 1999 году, Владимир Путин заработал свою репутацию на жестоком подавлении чеченского мятежа, применив массированную артиллерию, баллистические ракеты и термобарическое оружие ТОС-1 против столицы — города Грозного. Впоследствии Организация Объединенных Наций назвала Грозный самым разрушенным городом на Земле. В Сирии российские авиаудары наносились по рынкам и больницам в удерживаемых повстанцами районах, помогая правительству Башара Асада победить не за счет военных успехов на поле боя, а делая жизнь настолько невыносимой, что его противники сдавались, лишь бы прекратить эти страдания.276

Террористические бомбардировки обычно демонстрируют крайне низкую эффективность в достижении военной победы, но тем не менее они широко применяются. Они не требуют особого мастерства, поэтому их могут осуществлять плохо обученные армии. Их демонстративное насилие тешит самолюбие авторитарных лидеров и их сторонников внутри страны.

Многие другие государства в последнее время также использовали военную силу для проведения этнических чисток и других кампаний террора против гражданского населения. Эту стратегию иллюстрируют кампании в бывшей Югославии, Судане, Восточном Тиморе, Мьянме и других регионах. Война правительства Эфиопии против Тыграя, возможно, унесла жизни во много раз большего числа мирных жителей, чем война в Украине. Правозащитники обвинили эфиопское правительство в нанесении многочисленных ударов беспилотников по гражданскому населению в регионе Амхара.277 Марокканскую кампанию с применением БПЛА аналогичным образом обвиняют в преднамеренных ударах по некомбатантам с целью изгнания гражданского населения Западной Сахары с этих земель.278

Государства также использовали военную силу против собственного населения вне условий войны, чтобы подчинить и контролировать его. Наглядным примером стала бойня на площади Тяньаньмэнь в 1989 году, когда китайское правительство задействовало армейские подразделения, включая танки, для подавления мирных протестов сторонников демократии в центре Пекина. Крайние случаи, такие как кровавое правление «красных кхмеров» в Камбодже в 1970-х годах, унесшее жизни почти четверти населения, — лишь верхушка айсберга. Другие случаи, когда авторитарные государства использовали военную силу для запугивания и усмирения собственного народа, слишком многочисленны, чтобы их перечислять.

Когда за этим стоят негосударственные субъекты, применение террора и жестокости может быть еще более ужасающим. Такие группировки в еще меньшей степени связаны рамками ожиданий, предъявляемых к государственным армиям, и обладают большей свободой в совершении зверств против неугодного им населения. Современные боевики из таких группировок, как ИГИЛ и «Боко Харам», без всяких колебаний устраивали массовые убийства мирных жителей и совершали злодеяния, сделав это основой своей стратегии. Жестокое негосударственное насилие — феномен не новый. Именно католический монах, возглавлявший войска добровольцев в религиозной войне (Альбигойском крестовом походе) во Франции в XIII веке, впервые произнес команду «Убивайте всех, Господь узнает своих» у стен мятежного города Безье. Его войска вырезали до двадцати тысяч горожан.

Короче говоря, контроль человека над роботизированным оружием никак не гарантирует его этичного использования, если этот человек стремится наносить удары по некомбатантам и совершать зверства. Грубая сила всегда была доступнее, чем воинское мастерство. Причинять неизбирательные страдания проще, чем наносить точечные высокоточные удары. По мере того как роботизированное оружие распространяется среди новых пользователей, многие из них будут без колебаний использовать его как оружие террора. Для таких субъектов робототехника и ИИ могут открыть новые возможности для террора и массового уничтожения.

РОБОТЫ КАК ОРУЖИЕ ТЕРРОРА БУДУЩЕГО

Некоторые аналитики беспокоятся, что робототехника и ИИ могут породить еще более ужасающие виды оружия. Однако точечное и избирательное оружие, подобное самурайскому мечу, само по себе не внушает ужаса. Но когда точность и избирательность не являются целью, робототехника и ИИ могут привнести новые грани, которые злоумышленники способны использовать для максимизации ужаса.

Конструирование для запугивания и «робобоязнь»

Создатели роботов используют антропоморфизм и другие приемы, чтобы формировать нашу реакцию на машины. Сегодня они задействуют привычные очертания, приятные человеческие голоса, мягкие цвета и формы, а также прочие детали, чтобы роботы казались безопасными и даже очаровательными. Гуманоидных роботов часто снабжают симпатичной лицевой панелью, которая не несет никакой иной функции, кроме эстетической. Такие дизайнерские решения помогают успокоить людей, взаимодействующих с машинами, снижая уровень тревоги и способствуя доверию. Это вполне логично для безобидных сервисных роботов или для тех, что работают в таких местах, как контрольно-пропускные пункты в аэропортах, где они могут взаимодействовать с семьями и детьми.

Однако конструкторы могут легко развернуть этот принцип в противоположную сторону, используя дизайн для усиления запугивания и нагнетания чувства опасности и страха. Солдаты, впервые столкнувшиеся с танками, часто говорили о «танкобоязни», которая парализовала их от ужаса из-за непривычного и угрожающего вида этих машин. Разработчики могли бы попытаться усилить «робобоязнь», особенно у наземных роботов или беспилотников, предназначенных для действий на виду у вражеских солдат или гражданского населения. Они могли бы издавать пугающие звуки. Произвольные лицевые панели можно было бы сделать намеренно ужасающими или нечеловеческими. Роботы могли бы использовать визуальные сигналы, сообщающие об опасности — например, апосематизм: острые грани и высококонтрастные цвета, которые на подсознательном уровне предупреждают об угрозе, как у ядовитых насекомых и рептилий.

Изменчивость программного обеспечения

Предсказуемость — ключевой элемент доверия. Особенно когда речь идет о роботах. Однако, в отличие от живых существ, природа робота не является неизменной частью его существа. Операционное программное обеспечение робота можно заменить в любой момент, полностью изменив его поведение и сделав весь прошлый опыт общения с ним бессмысленным.

Как только мы знакомимся с новым видом живых существ или неодушевленных предметов, мы можем предсказать их поведение и понять, как с ними обращаться, поскольку их природа неизменна. Животное, будь то собака или акула, действует в соответствии со своей природой. Собака может быть опасной, потому что способна укусить, но мы можем контролировать этот риск, зная, что при агрессии она, скорее всего, зарычит или залает, а в знак дружелюбия — завиляет хвостом, и так далее. Эта же предсказуемость позволяет нам обращаться с потенциально опасными неодушевленными вещами, такими как горячая плита или пистолет.

Программное обеспечение робота может измениться без предупреждения или каких-либо внешних признаков. Эти изменения могут стать результатом неудачного обновления или кибервмешательства. Из-за изменчивости программного обеспечения робот, которого мы знаем сегодня, завтра может стать совершенно другим. Безобидный робот способен в любой момент превратиться в убийцу.

Ученые и философы давно спорят о том, в какой степени человеческий разум является частью нашего физического существа, в частности — мозга. Философ Гилберт Райл назвал идею обособленности разума «призраком в машине». Но в случае с роботами спорить не о чем. Аппаратное и программное обеспечение робота определенно разделены, а его «разум» можно легко заменить.

Артур Кёстлер в своей книге 1967 года «Призрак в машине» отмечал, что человеческий мозг содержит как древние, более примитивные структуры, общие с низшими животными, так и более развитые, управляющие рациональным мышлением. Примитивные слои порой могут подавлять рациональную логику. При определенных обстоятельствах ненависть, гнев и страх способны возобладать над разумом. В случае с роботами насилие может прийти на смену разуму с молниеносной быстротой. Простым примером тому служит операция израильских спецслужб, которые заложили взрывчатку в тысячи пейджеров и раций, предназначенных для боевиков «Хезболлы», превратив безобидную электронику в смертоносное оружие. В результате взрывов в сентябре 2024 года погибли более тридцати боевиков и пострадали более трех тысяч человек. Изменение программного обеспечения способно превратить куда более сложное роботизированное оборудование в источник опасности или оружие с дистанционным управлением. Изменчивость программного обеспечения способна навсегда ограничить доверие людей к роботам. Между тем злонамеренные операторы могут намеренно использовать эту особенность, чтобы сеять хаос и ужас новыми методами.

Нападения бешеных псов

Создать эффективное роботизированное оружие с высокой избирательностью действия так же сложно, как разработать хорошее лекарство от рака. Создать плохое, неизбирательное оружие — просто, и именно такие образцы, скорее всего, появятся первыми. Небольшой автономный квадрокоптер со взрывчаткой Kargu-2 турецкого производства, возможно, использовался в гражданской войне в Ливии в 2020 году для нанесения бесконтрольного удара, результаты которого остались неясными.279 Подобные примеры наверняка будут множиться.

Вооруженный робот, смертоносный, но действующий без разбора, считался бы ненадежным и неэффективным в рамках западных концепций высокоточной войны. Однако он отлично подошел бы для террористических задач, выполняемых по указке беспринципных государств или негосударственных группировок. Для них смертоносность и неизбирательность — это и есть цель. Вооруженного робота или группу таких роботов можно выпустить как неуправляемую угрозу, подобно своре бешеных собак, спущенных преследовать и рвать на части прохожих.

Рои как оружие массового поражения

Под контролем военных полуавтономные рои боеприпасов могут быть мощными и эффективными как для подавления одиночных целей скоординированным огневым налетом, так и для поражения рассредоточенных, но четко выраженных целей, таких как мины на минном поле. Однако их использование в менее структурированных миссиях и в более неопределенной обстановке в обозримом будущем останется сложной технической и тактической задачей. Неконтролируемый человеком ИИ пока не способен справляться со всеми сложностями поля боя, а непредсказуемое эмерджентное поведение самоорганизующихся роев лишь добавит хаоса. Такие рои могут легко превратиться в наделенные избыточными полномочиями группы несовершенного оружия, наводящегося по сигнатурам. Трудности в управлении автономными роями боеприпасов означают, что на поле боя многие из них могут быть скорее источником опасности для всех вокруг, нежели эффективное оружие, наподобие облаков ядовитого газа.

Однако сочетание смертоносности, непредсказуемости и слабой избирательности может превратить их в мощное оружие террора против гражданских целей. Их военные недостатки окажутся не багами, а фичами. Как и другие виды оружия массового поражения, они могут оказаться более полезными для террористов, нежели для регулярных армий. Крайне грубые сигнатуры целей, такие как «все люди» или «все, что движется», способны сделать их привлекательным инструментом для террористов или авторитарных режимов, использующих незаконные неизбирательные атаки с массовыми жертвами как инструмент государственной политики.

ОТСТРАНЕННОСТЬ И ОБЕЗЛИЧИВАНИЕ

Многие опасения по поводу неэтичного использования роботизированного оружия строятся вокруг идеи о том, что военная робототехника будет способствовать отчуждению и дегуманизации тех, кто ее применяет, и тем самым развязывать руки для ведения войн. И вновь эти опасения обоснованны, но, скорее всего, направлены не туда.

Западные армии давно миновали пик эпохи безличной «кнопочной» войны. Обезличивание войны достигло своего апогея во время стратегических бомбардировок Второй мировой войны и ядерных учений времен холодной войны. Во Второй мировой войне экипажи стратегических бомбардировщиков почти не контактировали с землей. Они часто сбрасывали бомбы по координатам на карте или на радиомаяк, предварительно сброшенный самолетом-целеуказателем. Их неуправляемые бомбы сеяли сплошные разрушения, свидетелями которых сами пилоты никогда не становились. Зенитчики, со своей стороны, заполняли небо шрапнелью, но редко видели конкретные бомбардировщики, которые сбивали. Поэт и ветеран армейской авиации Рэндалл Джаррелл после войны описал отчужденность подобных сражений следующим образом:

В бомбардировщиках, названных девичьими именами, мы жгли

Города, о которых учили когда-то в школе, —

Пока наши жизни не угасли; наши тела лежали среди

Тех людей, которых мы убили и никогда не видели.280

Нет действия, столь же оторванного от своих последствий, как запуск ядерных баллистических ракет. Например, на подводной лодке с баллистическими ракетами времен холодной войны пост управления пуском был, пожалуй, самым комфортабельным местом на борту. Во время тренировок офицер сидел в тихом кондиционированном помещении в мягком кресле в окружении компьютеров и нажимал на спусковой крючок каждый раз, когда на панели управления появлялся запрос «намерение произвести пуск». Присутствие других офицеров, давление процедур предотвращения случайного пуска и напряжение момента не устраняли сюрреалистического разрыва между движением пальца и уничтожением военных баз или городов за тысячи миль отсюда. К счастью, этот сценарий так и не воплотился в реальность, отчасти благодаря ответственности ведущих ядерных держав.

Сегодня война носит гораздо более личный характер, что иллюстрирует пример «стратегического капрала», описанный в седьмой главе. Вопреки некоторым ожиданиям, роботизированное оружие сделало войну более личной, чем когда-либо прежде. Некоторые критики предполагали, что использование разведывательно-ударных беспилотников в войне с терроризмом сформирует отстраненное мышление, как в компьютерной игре «PlayStation». Однако реальность оказалась прямо противоположной. Операторы беспилотников сталкивались с крупными планами жестокого насилия чаще, чем даже бойцы сил специального назначения на земле. Необходимость тщательно выбирать нужные цели, а затем определять момент для удара с минимальным сопутствующим ущербом означала, что операторам дронов приходилось наблюдать, как их потенциальные цели занимаются обыденными вещами — например, завтракают или играют с детьми. Это рождало ощущение близости, неведомое воинам прошлых лет. Последствия наблюдения за подобными сценами, а затем созерцание результатов собственных секундных решений, когда приходило время, часто оказывались мучительными. Например, один оператор нанес удар, уничтоживший члена террористической сети, но пощадивший его ребенка. С ужасом он наблюдал за тем, как «ребенок подошел к останкам своего отца и начал складывать эти куски обратно, пытаясь придать им человеческий облик».281 Пилоты разведывательно-ударных аппаратов и операторы вооружения сообщали о самых высоких показателях психологического стресса, главным образом из-за сюрреалистической близости, которую обеспечивают их технологии и которой требует их доктрина высокоточных ударов.

Этот пример с разведывательно-ударными системами показывает, что война остается ужасной, но также демонстрирует, насколько далеко готовы зайти современные демократические армии в требовательности к своим бойцам и технологиям, чтобы достичь высокой точности и минимизировать вред для мирных жителей. Понадобилось почти десять лет, чтобы возможности разведки и целеуказания догнали по точности сами системы вооружения, но к 2012 году сопутствующие потери среди гражданского населения снизились почти до нуля, а удары достигли «почти безошибочной точности», согласно исследованию Брукингского института.282 Оружие со сверхнизким сопутствующим ущербом и другие технологические достижения продолжают улучшать эти показатели.

Пилоты FPV-дронов в Украине видели врага еще ближе: они часто наблюдали последние мгновения ужаса на лицах вражеских солдат, когда беспилотники преследовали их на открытой местности, настигали в окопах или укрытиях. Пилоты сообщали, что испытывают меньше психологических или моральных травм, о которых заявляли американские операторы дронов во время войны с терроризмом, поскольку их целями были вражеские солдаты, вторгшиеся на их родину.283

Критики роботизированного оружия утверждают, например, что «автономному оружию не будет хватать человеческого суждения, необходимого для оценки соразмерности атаки, отличия гражданского лица от комбатанта и соблюдения других основных принципов законов войны».284 США и армии других демократических стран с этим согласны. Растущая сложность современной войны говорит не в пользу полностью автоматизированной «кнопочной» войны. Роботизированные военные операции в нестабильной, неопределенной, сложной и неоднозначной обстановке современной войны требуют контроля со стороны человека. Хотя ИИ может помочь снизить нагрузку на операторов, общая тенденция такова, что роль «стратегического капрала» сохранится и в роботизированную эпоху.

ТОЧНОСТЬ ОБЕСПЕЧИВАЕТ ЭТИЧНОЕ ПРИМЕНЕНИЕ

Соблюдение этических норм в рамках законов войны — той части международных конвенций, которая регулирует применение вооруженной силы, — требует точности. Хотя они и не представляют собой формальный свод кодифицированных законов, они закрепляют три принципа законного применения оружия на войне. Первый — это различение, означающий, что удары должны наноситься по военным объектам, а не по мирным жителям или гражданским объектам. Второй — это избирательность, означающая, что оружие или удары должны быть направлены на конкретные военные цели, а не на обширные районы, где военные объекты соседствуют с гражданским населением и гражданскими объектами. Третий — это соразмерность или сдержанность, что означает принятие мер предосторожности для минимизации ожидаемых потерь среди гражданского населения и предотвращения чрезмерного ущерба гражданским объектам.

Практически говоря, все эти принципы сводятся к точности. Точность и предсказуемость, дающие оружию большую военную эффективность, — это те же самые качества, которые делают возможным его более этичное применение. Таким образом, цели разработки роботизированного оружия тесно согласуются с целями военной этики. Например, некоторые задаются вопросом, почему США не разбомбили железнодорожные пути, ведущие в Освенцим, во время Второй мировой войны. К сожалению, в то время у нас не было средств для точечного удара. Максимум, что могли сделать дальние бомбардировщики, — это подвергнуть ковровой бомбардировке весь район, включая близлежащие города. Даже если бы благодаря невероятному везению какие-то бомбы и повредили рельсы, ремонт занял бы всего несколько часов. Сегодня мы могли бы уничтожить их высокоточным оружием, не убивая при этом сотни мирных жителей поблизости. Такие более этичные варианты действий становятся возможными благодаря повышенной точности или, если говорить более комплексно, улучшенной избирательности, которую обеспечивает роботизированное оружие.

Однако подобные этически превосходящие варианты представляют интерес только для тех армий, которые заботятся о морали. Дистанционное, «кнопочное» оружие может оказаться весьма привлекательным для тех, кто проводит террористические кампании и совершает зверства, — для тех, кому не важна избирательность, а дегуманизация является удобным свойством. Если они служат целям, поставленным кровожадным режимом, террористической группировкой или криминальным картелем, то вопросы о том, управляются ли эти вооружения человеком внутри контура или человеком над контуром, теряют всякий смысл. Поэтому главную тревогу вызывает не то, что роботизированное оружие может деперсонализировать средства ведения боя. Она заключается в том, как мы определяем цели, для которых используется роботизированное оружие, и кто именно будет эти цели выбирать.

ОПРЕДЕЛЕНИЕ ЦЕЛЕЙ И ПРИНЦИП ДЕЦЕНТРАЛИЗОВАННОГО УПРАВЛЕНИЯ

В самых сложных и неоднозначных условиях, таких как боевые действия, роботам, возможно, всегда будет требоваться определенное взаимодействие с человеком. Однако по мере совершенствования технологий мы увидим, как роботы самостоятельно выполняют все более широкий спектр задач — как в повседневной жизни, так и в военной сфере. Станет все более очевидным, что то, действуют ли они этично и вообще выполняют ли то, что мы от них ожидаем, зависит не столько от постоянного надзора человека за каждым их действием в реальном времени, сколько от того, как мы определяем преследуемые ими цели и правила, которым они следуют для их достижения.

Военачальникам уже приходилось решать этот же вопрос применительно к подчиненным им бойцам, поскольку изменения в характере современной войны требовали от подчиненных все большей автономии и инициативы. В результате профессиональные армии разработали и усовершенствовали принцип децентрализованного управления.

Децентрализованное управление — один из ключевых принципов современного военного руководства. Оно ориентировано на донесение замысла командира, обеспечивая понимание цели или желаемого исхода миссии, а не на детальное предписание способов решения конкретных задач. Такая гибкость позволяет подчиненным использовать свои навыки, разумную инициативу, здравый смысл и творческий подход для определения наилучшего способа достижения поставленных целей в меняющихся и непредсказуемых обстоятельствах.285 Командиры определяют желаемое конечное состояние, указывая «что» и «почему», в то время как подчиненные командиры разрабатывают «как».286 Как говорил генерал Джордж Паттон: «Никогда не говорите людям, как именно нужно делать. Скажите им, что делать, и они удивят вас своей изобретательностью».

Децентрализованное управление предполагает доверие, и поэтому оно гораздо шире применяется в армиях демократических стран, нежели автократическими правительствами, которые не доверяют собственному народу, включая своих солдат. Устоявшаяся доктрина содержит конкретные указания о том, как следует определять желаемые конечные состояния, как оценивать и распределять риски, а также многие другие детали децентрализованного управления. Военные могут адаптировать этот подход к более скромным уровням инициативы, суждения и творческого потенциала, которыми ИИ объективно способен обладать, а также к более ограниченным полномочиям роботизированного оружия.

В качестве простого примера: предположим, что самолетам приказано разбомбить вражеский авианосец. Однако пилоты не могут обнаружить авианосец из-за облачности или по какой-то иной причине. Если они увидят поблизости другой авианосец противника, они могут атаковать его вместо первоначальной цели. Они также могут атаковать другие боевые корабли противника, если обнаружат их в качестве второстепенных целей. Все это соответствовало бы замыслу командира, который формально заключался в том, чтобы атаковать флот противника в порядке приоритетности целей. Децентрализованное управление повышает предсказуемость и эффективность, поскольку позволяет бойцам, находящимся непосредственно на месте событий, самостоятельно корректировать план атаки для наилучшего достижения желаемого результата. Оно также способствует соблюдению военной этики. Например, если то, что изначально принималось за вражеский авианосец, при ближайшем рассмотрении оказалось гражданским пассажирским лайнером, пилоты могли бы прервать атаку в соответствии с замыслом командира.

Четко определенные рамки полномочий, задаваемые принципом децентрализованного управления, применимы и к роботизированному оружию на базе ИИ. Если оружие обладает необходимыми возможностями, гибкость в осуществлении таких полномочий в жестко ограниченных пределах может обеспечить большую предсказуемость и контролируемость результатов. Например, если единственная задача роботизированного оружия — поразить заданные географические координаты, это предполагает крайне ограниченные полномочия. Оно поразит эту точку независимо от того, находится ли там намеченная цель. Однако, если его разумно наделить полномочиями, оно сможет осуществлять поиск намеченной цели в окрестностях этих координат и корректировать атаку в зависимости от обстоятельств, чтобы достичь желаемого результата и избежать непредвиденных последствий.

Децентрализованное управление признает, что подчиненные-люди обладают собственной субъектностью. Солдат — это не просто оружие в руках командира или государства, а субъект морального выбора и комбатант в соответствии с законами войны. Солдат — существо разумное, и в конечном счете он сам решает, как поступить, в том числе подчиняться ли приказам.

Полномочия в рамках децентрализованного управления для роботов и ИИ неизбежно будут более ограниченными, поскольку они являются оружием, а не независимыми субъектами морали. Не существует прикладной науки о сознании, которая позволила бы проектировать роботов, способных проявлять собственную субъектность, особенно в условиях боя. Следовательно, нет никаких оснований ожидать, что любой существующий или перспективный военный ИИ сможет самостоятельно выбирать свои цели. Это позиционировало бы ИИ как искусственных комбатантов. У них нет способности понимать суть и последствия своих действий. Поэтому, в отличие от использования их в качестве высокоинтеллектуальных инструментов для точного исполнения человеческой воли, ожидание от них проявления собственной субъектности было бы сродни вооружению невменяемых. Это привело бы к потере контроля и предсказуемости, что в корне противоречит самому назначению роботизированного оружия. Это стало бы вопиющим примером избыточного наделения полномочиями и само по себе являлось бы неэтичным решением. Правильная адаптация доктрины децентрализованного управления может помочь предотвратить это.

ЗАКЛАДЫВАЯ ОСНОВЫ ЭТИКИ В РОБОТИЗИРОВАННОЙ ВОЙНЕ

Мы можем объединить концепцию децентрализованного управления с двумя другими взаимодополняющими моделями, представленными во второй главе, чтобы создать прочную основу для ответственной автономии оружия на базе ИИ. Децентрализованное управление задает рамки для применения ограниченной автономии при выполнении боевой задачи, цели которой определены соответствующим командиром-человеком. Модель, используемая в военном процессе поражения целей, добавляет аспекты, связанные с выбором целей и применением силы. Она точно так же возлагает этическую ответственность на командира и подчеркивает, что делегирование полномочий — будь то человеку или ИИ — не освобождает командира от этой ответственности.

Наконец, модель медицинской этики, представленная во второй главе, рассматривает вопрос этической ответственности в ситуациях, когда каждое отдельное действие агента нечеловеческой природы, такого как противоопухолевый препарат, не может контролироваться и одобряться ответственным человеком в индивидуальном порядке. Она фокусируется на принципе избирательности и может быть напрямую адаптирована к роботизированному оружию. Сочетание этих трех концепций — военного процесса поражения целей, децентрализованного управления и медицинской этики — вместе с обширной подтверждающей литературой по ним, обеспечивает основу для рассмотрения моральных вопросов военной робототехники на более строгом и глубоком уровне, чем это обычно происходит в ходе публичных дискуссий. Они определяют предохранительные барьеры для автономных решений и четкое распределение обязанностей, позволяющее избежать путаницы в отношении этической ответственности за действия роботов.

Пересечение трех устоявшихся концепций, обеспечивающих основу этики роботизированного оружия на базе ИИ.

Все три концепции сходятся в выводе о том, что этическая ответственность не может быть делегирована тому, кто лишен субъектности. Поскольку истинная субъектность для ИИ является лишь гипотетической возможностью, в обозримом будущем человеческие командиры и операторы сохранят этическую ответственность за выбор и применение роботизированного оружия. Эти концепции подробно описывают, как реализовать это на практике. При их тщательном применении мы сможем использовать растущие возможности робототехники и ИИ для воплощения намерений этичного командира или оператора с большей уверенностью и точностью, тем самым обеспечивая более этичные и законные военные действия.

В краткосрочной перспективе нам потребуется формулировать замысел узко и предельно конкретно — так, чтобы это было технически доступно для понимания современного ИИ. Например: «Уничтожить танки противника в пределах этой обозначенной зоны». По мере совершенствования ИИ и роста автономности роботизированных систем мы сможем ожидать от них более широкого истолкования человеческого замысла, в манере, более близкой к тому, как военные командиры делегируют задачи подчиненным-людям. Это может потребовать от нас все чаще сталкиваться с фундаментальной пропастью непонимания между человеком и машиной. Пытаясь донести до ИИ наши более глубокие цели, мы будем вынуждены вплотную заняться факторами, которые мотивируют человеческое стремление к войне и насилию, и осознать опасности, связанные с тем, чтобы поручать машинам их интерпретацию.

РОБОТЫ И ИИ ФУНДАМЕНТАЛЬНО ЧУЖДЫ ЧЕЛОВЕКУ

Homo sapiens остается единственной формой высшего разума на Земле на протяжении десятков тысяч лет, с тех пор как люди уничтожили все остальные виды нашего рода. Таким образом, единственная форма разума, с которой мы знакомы, — это наш собственный. Однако на протяжении всего грядущего существования человечества нам, возможно, придется жить бок о бок с цифровыми компьютерными разумами нашего собственного творения — как в мирное время, так и на войне.

Возможно, это заставит нас осознать, что наша конкретная форма разума — не единственно возможная и, возможно, даже довольно необычная. Мы можем представить себе, что на далеких планетах существуют другие разумные существа с иным происхождением и природой. И все же ни одно живое существо не может быть столь чуждым нам, как цифровой ИИ. Все известные нам живые организмы имеют определенное родство. Даже морские обитатели, светящиеся в вечной тьме океанских глубин, или бактерии, образующие красочные колонии в почти кипящих горячих источниках, используют биологию и органическую химию, родственную нашей собственной. Компьютерный же ИИ, напротив, отличается от нас вплоть до молекулярного уровня. Он основан на кристаллах кремния, а не на углеродных органических молекулах. Его фундаментальная логика является электронной и цифровой, а не биохимической и аналоговой. Его можно выключить и включить снова. Его программное обеспечение отделимо от аппаратного и может быть изменено в любой момент. У него нет почти ничего общего с нами как с живыми существами. Он вообще не живой. Цифровой искусственный интеллект более фундаментально чужд нам, чем любая форма жизни, которая могла бы существовать в самых отдаленных уголках Вселенной.

Польский писатель Станислав Лем известен произведениями, исследующими концепцию чуждости. Его интеллектуальный роман 1968 года «Глас Господа» посвящен трудностям, с которыми могут столкнуться люди при попытке понять сигнал внеземного разума. В нем Лем отмечает, что простая телеграмма «бабушка умерла похороны среду» может быть понята на любом человеческом языке, поскольку состоит из универсальных понятий, знакомых каждому человеку: материнство, смерть и ее ритуализация, течение дней.287 Однако Лем указывал, что на Земле существуют организмы, которым чуждо то или иное из этих понятий, поскольку они живут в вечной тьме, не размножаются половым путем или биологически бессмертны, как раковые клетки. Он предполагает, что внеземной разум может оказаться настолько чуждым, что не будет знаком ни с одним из этих явлений. Какие общие концепции в таком случае позволили бы нам понять его, а ему — понять нас? И ведь компьютерный цифровой ИИ — это именно такой разум.

ИИ глубокого обучения ведет себя так, будто имитирует человека, потому что его обучили имитировать человека. Однако само по себе глубокое обучение — процесс далеко не человеческий. Системы ИИ глубокого обучения способны выявлять и воспроизводить тонкие закономерности из обучающих данных, созданных людьми, но это не делает их человекоподобными. Роботы не проявляют человеческое поведение спонтанно. Инженеры могут придать роботу человеческую форму и заставить его двигаться так, словно он танцует, но на самом деле он не танцует. Точно так же военный боевой робот на самом деле не воюет. Он лишь имитирует чуждое ему поведение.

Любой подобный робот или ИИ, действующий в нашей физической человеческой реальности, обречен быть чужаком в чужой стране, окруженным вещами, которые ему абсолютно чужды. Мы не можем ожидать от машинного разума истинного понимания таких сугубо человеческих явлений, как война, так же как мы сами не смогли бы понять феномены цифрового кремниевого мира, развивавшегося без участия человека. Война, пожалуй, — одно из самых странных и непостижимых человеческих проявлений. Война в ее самом базовом определении — организованное смертоносное насилие против других групп внутри собственного биологического вида — это практика, которую не разделяют с нами даже другие земные животные, и уж тем более компьютеры.

Это важно, поскольку в той мере, в какой мы ожидаем от роботов и ИИ принятия более неформализованных или интуитивных решений на войне, нам придется кодифицировать и закладывать в них ту своеобразную человеческую логику, которая побуждает нас сражаться и убивать других представителей собственного вида. Наделяя военный ИИ большей автономностью и полномочиями, мы будем требовать от него более широкого толкования этого опасного и двусмысленного обычая, который мы и сами не всегда понимаем. Чем больше мы требуем от военного ИИ человекоподобных суждений, тем более он будет склонен к неверному истолкованию и к ужасным ошибкам.

ЗВЕРЬ ВНУТРИ

Многие из наших страхов перед ИИ основаны на проекции. Например, многие боятся, что гипотетический сверхразумный, обладающий чувствами ИИ может воспринять людей как угрозу и попытаться уничтожить нас прежде, чем мы успеем причинить ему вред. Что, обретя «сознание», он будет руководствоваться чувством незащищенности, экзистенциальной паникой, стремлением к власти и выберет насилие в целях самообороны. Эти страхи, по сути, сводятся к опасениям, что ИИ поступит так, как у нас самих возникло бы искушение поступить в подобной ситуации. Такие страхи и ожидания говорят больше о нашем собственном виде, чем об ИИ. Сам по себе ИИ склонен к желанию убивать не больше, чем к чревоугодию или половому влечению. Эти страсти совершенно чужды электронному компьютеру. Единственная причина, по которой ИИ может «думать» и действовать подобным образом, заключается в том, что люди сами его этому обучили. Но такое обучение может быть непреднамеренным — например, через скрытые глубоко в созданных людьми обучающих данных темы и паттерны, которые мы ему предоставили.

У будущих роботов и ИИ будет масса возможностей извлечь дурные уроки из человеческого поведения. И им не придется ходить далеко. Множество примеров доказывают, что темный, первобытный импульс все еще живет в нас, прямо под поверхностью. Стоит поскрести эту поверхность, снять слои теорий и дисциплины — и перед нами часто предстает обнаженное сердце тьмы. Создаваемые нами роботы и ИИ опасны потому, что опасны люди. Мы и есть «Зверь в машине».

В Руанде после геноцида миротворцы и журналисты наткнулись на деревню, почти все жители которой были вырезаны. Посреди нее лежало тело мальчика лет десяти, его шея была наполовину перерублена ударом мачете. Его лицо ничего не выражало, но рана оскалилась, словно ломоть яркой дыни, глумясь над человеческими притязаниями на разум и добродетель. Оглядывая море трупов, солдат мог бы пробормотать: «Это не война». Но это была именно она — сорвавшая с себя всякую маску цивилизованности.

В одной стране, которая останется неназванной, небольшая банда вооруженных подростков терроризировала город, совершая убийства и грабежи. Не получая защиты от властей, испуганные и разгневанные горожане устроили засаду на банду. Двоим парням удалось бежать, но жители поймали бывшую с ними девочку-подростка. Толпа избила ее, а затем сожгла посреди улицы. Когда пламя утихло, она, обугленная, все еще шевелилась, и несколько человек из толпы нерешительно посмотрели вниз, словно думая: «Что мы наделали? Может, помочь ей?» Но тут кто-то вылил на нее ведро бензина, и им пришлось отступить от вспыхнувшего огня под одобрительные крики толпы.

Вторая мировая война в Европе началась не тогда, когда немецкие танки пересекли границу Польши. Она началась на несколько лет раньше, когда обычные немецкие граждане приняли человеконенавистническую концепцию, согласно которой определенные группы людей считались недочеловеками, а преследования и массовые убийства виделись путем к собственному благополучию. Прежде чем явиться на поле боя, война родилась в ночных бесчинствах толпы, уличных бунтах и погромах.

Склонность к жестокости не присуща исключительно «чужакам». Когда эмоции накалены, они взывают к каждому из нас. Страх, гнев и желание во что бы то ни стало защитить тех, кого мы любим, искушают нас совершать поступки, о которых мы никогда бы не задумались при трезвом свете дня. Наши взгляды и поведение, демонстрируемые в условиях безопасности, могут быстро измениться, стоит лишь этому чувству безопасности рухнуть.

Прошлые кризисы показывают, как быстро даже американские граждане и лидеры могут потребовать от военных отбросить заботы о соразмерности и избирательности применения силы и «драться без перчаток» в борьбе с противником. Такие лозунги, как «вбомбить их обратно в каменный век», с легкостью завоевывают симпатии толпы. Требования к военным США «снять перчатки» и применять силу без ограничений звучали во время войны во Вьетнаме,288 войны против «Аль-Каиды» после 11 сентября,289 войны против «Талибана» в Афганистане,290 и войны против ИГИЛ.291

Несмотря на свои недостатки, профессиональные армии современных демократических государств в нынешнем веке часто служат защитным барьером из законных ограничений, рациональности и дисциплины, сдерживающим и смягчающим тягу к насилию. Они изолируют нас от «сердца тьмы» и защищают нас от самих себя. Мы можем требовать вбомбить наших врагов обратно в каменный век, но окажись мы сами в кабине бомбардировщика, мы бы растерялись перед хаотичным нагромождением приборов и рычагов управления и были бы вынуждены просить военных сделать это за нас. Боевой информационный центр военного корабля и шахта ядерной ракеты пугают не меньше и требуют работы подготовленных специалистов. В процессе обучения эти специалисты также усваивают дисциплину, самообладание и законы вооруженных конфликтов. Они проникаются понятием воинской чести, которая, помимо прочего, требует щадить мирное население.

Если робототехника и ИИ сделают войну слишком простой в использовании, мы можем лишиться большей части этой защиты. Лидеры, поддавшись крикам толпы, могут заявить военному руководству: «Вы нам больше не нужны, мы можем отдать приказ сами».

Современная война, возможно, стала высокотехнологичной, профессиональной и сугубо научной. Однако первобытные отделы нашего мозга, такие как миндалевидное тело, по-прежнему ничем не возбуждаются, не приводятся в ярость и не пробуждаются к жизни так сильно, как насилием. Первобытный мозг способен подавить разум и цивилизованные привычки. Боксер-тяжеловес Майк Тайсон как-то сказал, что у каждого есть план на бой, пока он не получит в челюсть. Насилие — это мощнейший наркотик. И сегодня наша реакция на сообщения о терактах, массовой стрельбе или гражданских беспорядках напоминает нам о том, что на каком-то уровне зверь внутри нас все еще жив.

Как социальные животные, люди обладают врожденной способностью к сопереживанию и состраданию. Однако эти чувства мы зачастую приберегаем лишь для тех, кого считаем «своими». По отношению же к тем, в ком мы видим чужаков или угрозу, мы способны проявлять поразительное бессердечие и жестокость. Среди позвоночных только наши ближайшие родственники, шимпанзе, ведут нечто похожее на войны — пусть и редко, совершая жестокие набеги на кланы, с которыми у них возникают территориальные конфликты. Исследователи не раз наблюдали, как группы самцов шимпанзе окружали членов других кланов и забивали их до смерти, а самки шимпанзе руками разрывали младенцев.292

Обуревающие нас буйные животные инстинкты, подобные диким божествам, закованы цивилизацией в цепи, но томятся они в неглубоком подземелье, совсем рядом с поверхностью. Если нами движет ненависть, гнев или страх, стремление защитить близких или жажда мести, мы можем легко сбросить сдерживающие их оковы разума и закона. И если в будущем эти первобытные боги войны восстанут, они вполне могут воплотиться в тех роботизированных телах, которые мы для них приготовили.

Короче говоря, нам следует быть осторожнее в своих желаниях касательно военных роботов и ИИ, способных действовать подобно человеку. Будет невероятно сложно создать цифровой ИИ, способный в полной мере трактовать человеческие намерения и подражать поведению людей на войне. И если мы когда-нибудь действительно создадим ИИ, который будет действовать в точности как человек — особенно в ситуациях жестоких кризисов, — мы можем горько пожалеть о результате.

К счастью, в ближайшей и среднесрочной перспективе автономность и полномочия ИИ и роботизированного оружия ограничены незрелостью самих технологий. Современные роботизированные системы не способны даже поддерживать собственную работоспособность в течение длительного времени. Но в более отдаленном будущем ситуация может измениться. И это путь к изменению не просто характера войны — используемого нами оружия и тактики, — но, в конечном счете, самой ее природы как сугубо человеческой деятельности.

ВЫБОР, КОТОРЫЙ МЫ ДОЛЖНЫ СДЕЛАТЬ

Возможно, предотвратить получение роботизированного оружия новыми державами уже не удастся. Но если человечество хочет успешно миновать опасности этих мощных, развивающихся военных технологий и направить их по этичному пути, доминирование в сфере роботизированного оружия должно оставаться в руках приверженных этическим нормам военных ведомств тех стран, которые соблюдают права человека и законы войны. Если же превосходство перейдет к многочисленным алчущим перемен подрывным силам, включая безрассудные авторитарные государства или жестокие негосударственные группировки, то риск глобальных катастроф многократно возрастет.

Некоторые обеспокоенные люди могут возразить и указать на то, что армии демократических стран, например США, в прошлом тоже совершали преступления. Это правда. Однако существует огромная разница в том, как различные правительства и группы реагируют на подобные нарушения и военные преступления. Здесь нет и не может быть знака равенства. Например, некоторые американские военнослужащие издевались над пленными во время войны в Ираке. В результате этих издевательств прямо или косвенно могли погибнуть до нескольких десятков задержанных. Публикации в независимой прессе и официальные расследования раскрыли правду. Мне стало физически плохо, когда эти новости предали огласке. Это стало национальным позором, и вполне заслуженно. Двенадцать тюремных охранников были осуждены по различным статьям обвинения. В отличие от этого, сирийские чиновники замучили до смерти более 14 000 заключенных в тюрьмах сирийского диктатора Башара Асада во время гражданской войны в Сирии, причем тела более 6700 из них зафиксированы на фотографиях.293 Правительство Сирии не проводило никаких расследований. Ни один из виновных не предстал перед судом, по крайней мере до свержения Асада в конце 2024 года. Напротив, тем, кто разоблачил эти зверства, пришлось спасать свои жизни бегством. Эти жестокие смерти считались не преступлениями или отклонениями от нормы, а инструментом государственной политики.

Точно так же некоторые наблюдатели справедливо указывают на то, что в ходе операций, проводимых армиями демократических государств, гибли мирные жители. К сожалению, это до сих пор неизбежно. Однако это не идет ни в какое сравнение с преднамеренными и беспощадными ударами по гражданскому населению со стороны враждебных держав. Действия самих сил противника доказывают, что они прекрасно понимают эту разницу. Многие противники, такие как ИГИЛ, настолько хорошо знают о нежелании США и союзных им демократических стран причинять вред мирным гражданам или гражданским объектам, что регулярно используют это нежелание в своих военных целях — например, прикрываясь мирными жителями как живым щитом.

Если автократические режимы вроде тех, что правят в России, Китае, Иране, Северной Корее или где-либо еще, не уважающие права человека, вырвутся вперед в области роботизированного оружия и военного ИИ, то все наши благородные опасения касательно этики потеряют всякий смысл. Если же инновационное лидерство или контроль над повесткой дня перейдет к негосударственным силам, последствия могут быть еще хуже. Когда ИГИЛ додумалось оснащать оружием небольшие коммерческие любительские дроны, оно одновременно вырезало десятки тысяч мирных жителей и отрубало головы пленным перед телекамерами.

Заглядывая в будущее, нам еще предстоит ответить на множество острых этических вопросов, касающихся использования ИИ в бою. Где должна проходить разумная граница между человеческим контролем и оценкой ситуации, с одной стороны, и полномочиями ИИ — с другой, для каждого конкретного военного применения? Отличаются ли моральные рамки для систем сугубо оборонительных, таких как комплексы активной защиты, и систем, обладающих ударным потенциалом? Должна ли эта граница быть разной для систем, уничтожающих только другие беспилотные аппараты, и для тех, которые могут унести человеческие жизни, и возможно ли вообще провести такое различие?

Насущный моральный вопрос, который стоит перед нами сегодня, таков: окажется ли роботизированная военная революция под контролем тех, кто мучительно ищет ответы на подобные этические дилеммы, или тех, кого они нисколько не заботят? Робототехника и ИИ неизбежно трансформируют ведение войны. У нас есть этические и правовые основы, позволяющие учесть все сложности их ответственного применения в военной сфере. Однако для тех, кто пренебрегает этикой, путь на поле боя оказывается гораздо короче. Если мы не побежим изо всех сил, они окажутся там первыми. Тогда возобладают их правила, и навязывать их они будут не через правовые механизмы и международные соглашения, а путем силового навязывания свершившихся фактов и власти оружия.

Предыдущая главаГлава 14 из 20Следующая глава