Сидя в своем офисе в центре Сальты, Пабло показывает мне, какие статистические операции его специальная аналитическая программа производит с индивидуальными демографическими данными и как государство могло бы использовать эти цифры, чтобы принимать решения в отношении конкретных групп людей. «Может, им нужен колодец? Или школа? Где именно? Сколько в сообществе человек с ограниченными возможностями? У скольких есть дети? Это можно представить наглядно», – говорил он.

Закрытие пилотного проекта не остановило Пабло. Наоборот, этот проект помог ему начать новую карьеру самозанятого эксперта по технологиям, консультирующего различные государственные организации. После отставки Пабло и Чарли основали некоммерческую организацию Horus Foundation, которая обслуживает несколько крупных клиентов из государственного и частного сектора. ИИ-проект просто стал их визитной карточкой, которая открыла им путь к правительствам, нуждающимся в цифровых услугах, а впоследствии также к корпорациям, работающим с государственными структурами в Африке и Латинской Америке.

С 2019 года Пабло работает в национальных программах Бразилии и Аргентины, нанося на карту все трущобы этих стран и помогая правительственным организациям лучше обслуживать живущих там людей. Кроме того, он участвует в совместных частно-государственных проектах в Камеруне, где сотрудничает с французской горнодобывающей компанией, которая вытесняет местные сообщества. Пабло собирает демографические и медицинские данные отдельных людей, чтобы строить модели, рекомендующие меры поддержки в сфере здравоохранения и санитарной профилактики заболеваний для деревень, которые оказываются в сложной ситуации при ведении поблизости горных работ.

Поскольку эти проекты по анализу данных кажутся многообещающими, Пабло хотелось говорить о будущем, но я спросила у него, использовался ли алгоритм, разработанный в Сальте, для поддержки семей из группы риска. Если да, то привело ли это к желаемому результату – снижению числа подростковых беременностей?

Ответы на эти вопросы чрезвычайно раздосадовали и меня, и Пабло. Хотя с помощью модели было найдено не менее 250 семей, нуждающихся в поддержке, несколько ученых выразили сомнения в ценности пилотного проекта. Предрасположенность к подростковой беременности была выявлена почти в трех четвертях семей в районе проведения эксперимента, и прогнозировать беременность на индивидуальном уровне оказалось нецелесообразно. Очевидно, решительные меры необходимо было принимать на уровне всего сообщества – а это было делом государственных организаций, а не программистов и сотрудников Microsoft.

Кроме того, под вопрос была поставлена и надежность системы. В частности, исследователи ИИ из Университета Буэнос-Айреса обнаружили несколько конструктивных дефектов в коде алгоритма, который был загружен на платформу для хостинга проектов с открытым кодом GitHub, принадлежащую Microsoft{114}. Поскольку количество подростковых беременностей в изучаемом сообществе было невелико – оно исчислялось сотнями, – для обучения модели пришлось искусственно породить недостающие данные. Хотя такой метод вполне допустим, очевидно, что его применили некорректно. В связи с этим одни и те же или очень схожие данные использовались и для обучения, и для испытания модели. Иными словами, складывалось впечатление, что ИИ-модель корректно прогнозирует риск беременности в новых семьях, хотя на самом деле ее просто испытывали на ответах, которые были ей уже знакомы.

Критики модели не имели доступа к полному набору данных, но если их утверждения верны, нельзя говорить, что система, как и заявлено, работала с 86-процентной точностью. Ученый, опубликовавший эти критические замечания, сказал мне, что такую ошибку в программе мог допустить разве что студент.

Другая, менее очевидная проблема была связана с установлением истины. В силу конфиденциального характера информации невозможно было удостовериться, что девушки и их семьи рассказывают о прошлых и текущих беременностях правдиво, особенно если они задумывались об аборте. На самом деле высока была вероятность того, что в ходе анкетирования они говорили неправду, поскольку в тот период аборты в Аргентине были запрещены. Стало быть, что данные из обучающего набора были необъективны, а исправить перекос было невозможно. Как же доверять прогнозам такой системы?

Я попросила Пабло подумать, справедлива ли эта критика. Он сказал, что пилотный проект был закрыт почти сразу после старта, поэтому систему не успели испытать и довести до ума. Я не отступала. Наблюдалось ли снижение числа беременностей?

Пабло явно стало не по себе. «Да, мы успели поработать с семьями, мы сообщили им о выявленных рисках и начали улучшать их положение в различных сферах. Иногда мы занимались образованием родителей или пытались помочь матерям-одиночкам и другим членам их семей найти работу, – сказал он. – В одном доме был земляной пол, и мы положили там плитку. Мы обучали людей профессиям сантехников и плотников, чтобы они могли трудоустроиться. Они радовались помощи от государства».

Но если не учитывать эти ситуативные вмешательства, проект был закрыт слишком рано – всего через два-три месяца после начала работы с семьями, – и поэтому невозможно оценить, повлияли ли алгоритмы на количество подростковых беременностей в этом районе. Новое правительство, пришедшее к власти в 2019 году, расставило приоритеты иначе, и ближайшие соратники бывших министров были уволены.

Пабло расстроился, что не увидел свой ИИ-проект в действии, – это ударило и по его самолюбию, и по его профессиональным амбициям. Однако он остался технократом, верящим в силу ИИ-технологий. Он считал, что их система не была ни плохо спроектированной, ни бесполезной, а представляла собой рабочий вариант, которому просто не дали шанса. Кроме того, он полагал, что бывший губернатор не смог четко объяснить, в чем состоят задачи алгоритма, а соперничающие политические группировки встали на его пути к успеху.

Между тем Microsoft получила некоторый опыт работы в регионе и полигон для испытания систем машинного обучения Azure в государственном секторе – а также по 50 тысяч долларов за каждый год из трех лет использования своей облачной платформы. Но это не просто помогло ей привлечь новых клиентов. Почти десять лет американский технологический гигант пытался расширить сферу своего влияния и выйти за границы корпоративного мира, позиционируя себя как международного политического и дипломатического игрока, способного влиять на государства и законы. Компания начала переосмыслять свою роль в сфере кибербезопасности в 2017 году, когда предложила корпорациям и странам принять Женевскую конвенцию в области цифровых технологий и подписала соглашения с правительством Франции{115}.

С тех пор она пытается делать то же самое в сфере искусственного интеллекта, чтобы участвовать не только в обсуждении вопросов международной кибербезопасности, но и во всех глобальных дискуссиях об ИИ-политике{116}. Хотя и кажется, что Microsoft сыграла лишь незначительную роль в разработке алгоритма для прогнозирования подростковых беременностей в Сальте, этот шаг прекрасно вписывается в стратегию компании по расширению своего политического влияния. Подобно колониальным мегакорпорациям ушедших эпох – например, Ост-Индской компании и Англо-Персидской нефтяной компании, – в наши дни технологические компании начинают функционировать как монополистические квазигосударства.

В конце 2020 года, через несколько лет после разработки программы для прогнозирования подростковых беременностей и отказа от нее, в Аргентине были легализованы аборты. Хотя политический контекст для женщин и девушек изменился благодаря работе борцов за права женщин, социальный контекст остался прежним. К абортам по-прежнему относятся неодобрительно, а собранные в семьях данные – конфиденциальная информация о репродуктивном здоровье, наследственности, местах работы, – остаются в единой базе, которая будет передаваться от одного правительства другому. Не стоит ли опасаться того, что может произойти, если она попадет не в те руки?

Правительства и раньше использовали персональные данные граждан против них самих. В конце концов, с 1976 года в Аргентине семь лет царила военная диктатура, которая собирала подробную информацию о населении посредством анкетирования, а затем на базе нее создавала пропаганду для влияния на население{117}.

В тот же период данные легли в основу печально знаменитой операции «Кондор» – организованной при поддержке США кампании террора и репрессий, совместно проведенной несколькими диктаторскими режимами в странах Южного конуса, в том числе в Чили, Аргентине, Бразилии и Боливии. Эти государства собирали данные о гражданах, которых считали угрозой для авторитарной власти, включая левых политиков и философов, профсоюзных деятелей и представителей духовенства, и делились ими друг с другом. Полученная информация хранилась в общей компьютерной системе и использовалась, чтобы планировать похищения, «исчезновения», пытки и даже убийства{118}. Персональные данные людей становились оружием, которое использовалось против них.

В свой последний вечер в Сальте я прошлась от гостиницы до парка Сан-Мартин на юге города, чтобы увидеть местную достопримечательность «Портал памяти» – побеленную арку, установленную в память о жертвах аргентинской диктатуры. На одной ее стороне черными буквами были начертаны слова чилийского поэта-активиста Пабло Неруды. Обратившись к интернету, я выяснила, что передо мной стихотворение «Враги» – громкий призыв к оружию, воспевающий память граждан, убитых латиноамериканскими диктаторами. Ритм стихотворению задает повторение фразы pido castigo, «я требую наказания», – не только для тех, кто отдавал приказы о казнях, но и для всех, кто оправдывал преступления и содействовал их совершению. Неруда хотел, чтобы их всех осудили прямо здесь, в одном из парков Сальты.

Когда я спросила у Пабло Абелейры, может ли история повториться, он кивнул. Он понял, о чем я. Однако он сказал, что правительство и ранее располагало этими данными. Если бы власть имущим потребовалось исказить их или превратить в оружие, им хватило бы и того, что и так было в их распоряжении, даже без помощи ИИ-технологий. «Мы работаем с правительствами, потому что верим, что у них благие намерения».

Я уверена, что намерения Пабло – и цели ИИ-технологии – были благими: выявить семьи, которые нуждаются в дополнительной поддержке, и прийти к ним на помощь, пока они не оказались в бедственном положении, например из-за нежелательной беременности.

Но я обнаружила, что никто не желал брать на себя ответственность за работу системы. По сути, этот пилотный проект не имел ни владельца, ни контролера. Когда команду расформировали, а сотрудники Microsoft занялись другими делами, код отправился в архив, данные были похоронены в недрах государственной бюрократии, превратившись в призрак алгоритма, который они питали, а сама модель просто исчезла.

В лучшем случае этот проект стал напрасной тратой государственных денег и ресурсов, в худшем – злоупотреблением доверием по большей части коренных и креольских семей, которые делились своими данными, надеясь, что в итоге это поможет им решить финансовые проблемы.

В выигрыше осталась лишь группа, которая разработала и недолгое время контролировала эту технологию: компания Microsoft, возможно, обеспечившая себе ряд государственных контрактов, и братья Абелейра, использовавшие полученный опыт и налаженные в процессе связи, чтобы улучшить собственную репутацию и дополнить свои резюме.

Для заявленных бенефициаров – женщин и девушек из трущоб Сальты – практически ничего не изменилось. Они продолжают жить как прежде и по большей части испытывают такие же нужды и сталкиваются с теми же проблемами, что и их матери. ИИ-система вообще не изменила их повседневную жизнь.

* * *

Послеполуденная жара в Норте-Гранде поражает воображение. Она лишила нас всех воли к жизни. Даже закаленные бродячие псы ковыляли по улицам, высунув языки, в поисках хоть какого-нибудь пятнышка тени. Норма окликнула двух женщин, которые ждали нас на другой стороне улицы: местную политическую советницу Марипи Джункосу, одетую в ярко-красное платье, и ее ассистентку Милу, студентку и будущую медсестру, пришедшую делать заметки. Марипи поздоровалась с нами. «Готовы выдвигаться?»

Посовещавшись, Марипи и Норма пошли по раскаленной добела дороге. Мила поспешила следом. Норма говорила низким, взволнованным голосом. «Эти выбоины надо залатать, пока не пошли дожди, – сказала она, указав на колдобины. – Дальше будет только хуже». Не отставая от них, Мила фотографировала проблемные места на свою старую «нокию».

Норма указывала пальцем на другие проблемы, которые требовали решения: неасфальтированные дороги, кучи мусора, дома с прохудившимися крышами, открытые сточные канавы. Телефон ассистентки неустанно щелкал. «Туда мы не пойдем, – сказала Норма, указав на тупик с двумя-тремя домами. – Там опасно».

Мы быстро шагали по узким улицам, переступая через спящих собак и обходя древние «форды-фиесты» и «пежо–504», покрытые пылью с холмов. Из домов раздавались свинговые ритмы кумбии. Норма целеустремленно шла вперед – теперь по залитой солнцем дороге, которая тянулась вдоль высохшего поля. Сухие стебли травы и проволочная сетка рисовали узоры на небесной лазури. Нам встретился знак: «Мусор не бросать». Из валяющейся старой покрышки торчал одинокий зеленый побег.

«Здесь должен быть сквер с детскими игровыми площадками, – сказала Норма, замедлив шаг и покачав головой при виде бесплодной земли. – Нам очень нужен такой сквер. Просто представьте, насколько он будет здесь полезен».

Наконец она остановилась у заброшенной с виду кирпичной постройки с зарешеченными окнами и зеленой дверью. Снаружи здание немного напоминало тюрьму. «Это новый общественный центр, – удовлетворенно сказала Норма. – Теперь там есть даже интернет». Но этого мало. Она хотела, чтобы наряду с центрами для пожилых людей появилось и общественное пространство для молодежи. Место, где малолетние матери будут чувствовать себя в безопасности и где молодые люди смогут вместе играть в спортивные игры. Место, где у них появится возможность побыть детьми и хотя бы ненадолго забыть о непомерном грузе ответственности. В отсутствие таких пространств они просто сидят дома, забытые и обделенные вниманием.

«Им это просто необходимо, – говорит Норма. – Им нужно место для себя».