В теории прогностические полицейские алгоритмы позволяют дешевле и эффективнее распределять ограниченные ресурсы, чтобы органам правопорядка не приходилось разбираться с последствиями уже совершенных преступлений.

Для проверки этой теории был разработан целый ряд экспериментов с ИИ-системами. Они использовались для прогнозирования бандитизма в Великобритании{92}, для выявления потенциальных террористов в Германии{93} и для предупреждения домашнего насилия в США. Методы машинного обучения испытываются в качестве инструментов для прогнозирования рецидивизма среди осужденных преступников, для подкрепления решений о мере наказания и о назначении залога. Но пока остается открытым вопрос о том, насколько хорошо они работают.

Тем временем есть основания полагать, что такие алгоритмы проявляют расизм – непреднамеренно или в силу особенностей своего проектного решения. Даже в тех случаях, когда алгоритмы не учитывают расу, они используют эрзац-переменные – прошлые аресты, присутствие при совершении насильственных преступлений, жизнь в определенном районе и даже самую обычную бедность, – которые закрепляют институциональный расизм. Это было продемонстрировано в расследовании некоммерческой журналистской организации ProPublica, которая проанализировала прогнозный инструмент COMPAS, широко используемый в США для прогнозирования вероятности рецидивов у обвиняемых в совершении преступлений и вынесения решений о том, отпускать ли их под залог. Журналисты ProPublica изучили прогнозы COMPAS для более чем семи тысяч арестованных во Флориде и пришли к выводу, что это расистский алгоритм. Они обнаружили, что «чернокожие почти вдвое чаще белых отправляются в группу высокого риска, хотя более не нарушают закон». Белые, напротив, «гораздо чаще чернокожих отправляются в группу низкого риска, но в итоге совершают другие преступления»{94}.

В голландские списки тоже вошли в основном небелые мальчики, и критики утверждают, что отчасти это объясняется тем, что в сравнении со своими белыми сверстниками они привлекают гораздо больше внимания со стороны полиции.

В Нидерландах такие технологии оценки риска, как «Список 600» и «Список 400», входят в национальную политику обеспечения безопасности, которую голландский антрополог из Лейденского университета Анук де Конинг называет системой «рассеянного контроля»{95}. Помимо алгоритмов ProKid, в стране используется также ИИ-программа Crime Anticipation System (CAS, «Система прогнозирования преступлений»), которая прогнозирует, где и когда в будущем произойдут преступления. Эту программу разработали в Амстердаме и впоследствии внедрили по всей стране.

В рамках «рассеянного контроля» используются и статистические модели – в том числе на базе ИИ, – которые помогают брать на прицел конкретные группы: главным образом небогатую и небелую городскую молодежь. Цель состоит в том, чтобы прогнозировать и предотвращать проблемы. В совокупности эти меры воплощают собой сочетание «заботы и принуждения», которое отразилось в слогане, использованном полицией для «Списка 600»: «Составлен с заботой»{96}.

На протяжении полутора лет де Конинг беседовала с молодыми людьми и их семьями из амстердамского района Диамантбурт, а также с социальными работниками и полицейскими и обнаружила, что крупнейшую подгруппу в «Списке 600» составляют юные голландцы марокканского происхождения, живущие в этом районе. При этом городские власти утверждали, что их компьютерные системы не учитывали такие факторы, как раса, национальность и этническая принадлежность. Де Конинг изобличила широкую сеть надзора и наказаний, в которую входили не только правоохранительные органы, но и государственные социальные, образовательные и воспитательные службы. Она пришла к выводу, что алгоритмические прогнозы и надзор на основе данных не только имеют дискриминационный характер, но и порождают культуру страха среди семей иммигрантов, подрывая их доверие к государственным институтам.

Это происходило на фоне резкого увеличения количества камер видеонаблюдения в Диамантбурте, аналогично ситуации в недавние годы в лондонском Стратфорде. Один мальчик из списка, который дал де Конинг интервью под псевдонимом Мо, сказал ей, что из-за камер возникает ощущение, будто полиция «постоянно стоит над душой», а его самого и его друзей держат под колпаком и штрафуют за самые безобидные вещи: когда они собираются вместе, перешучиваются и тусуются возле местного общественного центра. Полицейские прекрасно знают этих мальчишек и пользуются этим, чтобы им угрожать. «Когда полицейские проезжают мимо и называют тебя по имени, тебе сразу кажется, что тебя поставили на место. [Когда полицейский говорит мне:] “Привет, Мо!”, – я отвечаю: “Привет, козел!”»

И списком с данными этих ребят дело не ограничивалось. В одном полицейском участке в районе Амстердам-Вест примерно в восьми километрах от Диамантбурта на стене красуется цветная мозаика из восьмидесяти полицейских снимков местных фигурантов «Списка 600», которая служит ежедневным напоминанием о том, кого полиции надо держать на прицеле.

«Список 600» был составлен по инициативе бургомистра Амстердама Эберхарда ван дер Лана, который ранее работал адвокатом по уголовным делам. Список был призван предотвратить вовлечение молодежи в преступный мир. Все вошедшие в список имели хотя бы одну судимость за совершение «серьезного» преступления, но условия для исключения из списка не оговаривались{97}. К этим детям приставлялись государственные координаторы – с семьей Дианы их работало как минимум двое, – которые помогали шестистам подросткам не сворачивать со стези добродетели.

Чтобы подкрепить это начинание, бургомистр указал на выводы специалиста по поведенческой психологии Жаклин Винтьес, которая консультировала центральное правительство и утверждала, что большинство взрослых преступников начинали демонстрировать признаки деструктивного поведения – совершать поджоги, употреблять наркотики, курить, прогуливать школу, драться – еще до достижения двенадцати лет. После этого Винтьес и ее коллегам поручили разработать ProKid – набор моделей машинного обучения, которые должны прогнозировать, будет ли человек в возрасте от нуля до двадцати трех лет нарушать закон. Бургомистр рассчитывал использовать эти прогнозы для раннего вмешательства, чтобы эти воображаемые преступления так и не произошли.

В июле 2016 года более ста амстердамских детей младше восемнадцати лет получили уведомления о включении в «Список 400», составленный на основе прогнозов модели ProKid. В прессе это назвали «уникальным экспериментом», который позволял прогнозировать – и менять – будущее ребенка. В мэрии сообщили, что дети включались в список не только на основании прошлых приводов в полицию, но также с учетом данных, используемых для оценки риска: «например, о зафиксированных прогулах или о том, что [ребенок] был жертвой, свидетелем или подозреваемым в деле о домашнем насилии»{98}. Хотя в названии списка фигурировало число 400, на самом деле имен в нем было меньше. Судя по внутренней переписке сотрудников мэрии, которую исследователи получили по Закону о свободе информации, этого им, похоже, было недостаточно{99}. «В “Список 400” входят двести человек, – написал один из чиновников, – а денег выделяется на четыреста. Можно ли расширить критерии отбора?»

Модель ProKid, обученная на данных об арестах, произведенных в 2011–2015 годах, выявляла закономерности в демографических характеристиках и поведении людей. На основании этого она прогнозировала, будет ли человек арестован в будущем. Важно отметить, что модель никак не могла спрогнозировать, совершит ли человек преступление, поскольку в обучающем наборе данных содержалась информация об арестах, а не о приговорах. Чем больше я об этом читала, тем более четко вырисовывался у меня в голове уроборос – древний символ змея, поедающего собственный хвост. Вот как это работало: полиция главным образом направляла ресурсы на контроль за жизнью иммигрантских сообществ, в значительной мере состоящих из небелой молодежи. Вмешательства полицейских, которые иногда приводили к арестам, становились единицами информации для компьютерной программы, созданной для прогнозирования будущих столкновений с той же полицией. Очевидно, что в этой модели не учитывался вопрос о том, какие преступления совершались на самом деле и кто именно их совершал.

Для оценки риска в каждом случае разработчики алгоритма брали ряд переменных, включая пол и возраст ребенка, а также его историю взаимодействия с полицией, в том числе в качестве свидетеля или жертвы преступлений. Они обнаружили, что часто эти переменные имели корреляцию с арестами. Как утверждали в мэрии, все вошедшие в «Список 400» хотя бы раз бывали арестованы, хотя и не обязательно осуждены.

Кроме того, в ProKid учитывались такие данные, как взаимодействие с полицией друзей и близких индивида, а это связывало людей с теми, с кем они обычно проводили время или состояли в родстве. Учитывая, что социальная среда может существенно влиять на ребенка, ученые полагали, что выбранные ими единицы данных служат важными индикаторами преступного поведения{100}.

После того как Диана и десятки других родителей получили письма о включении их детей в «Список 400», сотрудники Городского совета Амстердама написали бургомистру письмо, текст которого исследователи позже получили по Закону о свободе информации{101}. В нем чиновники отметили, что плохо понимают, почему алгоритмическая система включила в список конкретных людей, поскольку программы на базе машинного обучения представляют собой так называемые черные ящики – непрозрачные системы, внутренние механизмы которых не до конца могут объяснить даже их создатели.

Источник: Письмо бургомистру

Среда, 3 августа 2016 года

Тема: ProKid + информация для родителей

Письма о выводах ProKid разосланы молодежи и родителям, и теперь, как и ожидалось, озабоченные родители начинают нам звонить. Разумеется, мы пока не можем ответить на самый важный их вопрос. Почему я или мой ребенок оказались в этом списке? Разумеется, мы хотим, чтобы родители были максимально вовлечены в судьбу ребенка. Пока мы пытаемся с этим разобраться. Мы вообще не упоминаем о ProKid. И пытаемся не использовать слово «прогнозировать».

* * *

Составленные алгоритмами списки были не просто инструментами для прогнозирования. Они были проклятием. Попадание в один из них навсегда меняло жизнь многих молодых людей. Эти подростки начинали сомневаться в себе. Просто попав в список, они получали клеймо и чувствовали, что их осуждают везде, куда бы они ни пошли. Даже сохраняя надежду со временем исключить свои имена из списка, они опасались, что теперь их шансы поступить в университет, найти работу и купить дом стремятся к нулю и это навсегда. Программа ProKid взяла события, над которыми они были не властны, например присутствие на месте преступления или жизнь в неблагополучной семье, вывернула их особым образом и, возможно, навсегда лишила их будущего.

Попадание в «Список 600» не только омрачило жизнь множества подростков, но и запустило самосбывающееся пророчество, поскольку фигурантов списка принялись активно вербовать наркоторговцы. Диана рассказала мне, скольких из них преступники привлекли к работе, поскольку считали их легкой добычей и пускали в ход угрозы, если они осмеливались возражать.

Одна мать сказала, что ее сыну, включенному в «Список 600», угрожали насилием, если он откажется помогать в совершении преступлений. Она пыталась объяснить это полиции и социальным работникам. «Но кто меня послушает? Никто. Никто, – сокрушалась она. – Я не знала, что он теперь заклеймен. Я передала всю информацию в “Список 600”. Теперь они начальствуют над нами»{102}.

Адвокат Элин Грунендаль защищала интересы нескольких юношей из района Диамантбурт. В основном это были голландцы марокканского происхождения. Она слышала о мальчиках, которых увольняли с работы, которым запрещали бывать в таких общественных местах, как бассейн, которых преследовали, притесняли и даже арестовывали без предъявления обвинений, просто потому что их имена входили в «Список 600». Хотя данные не были обнародованы, полиция и другие государственные органы имели к ним доступ и часто указывали на это юношам из обоих списков.

Каждый арест – даже безосновательный – становился дополнительной единицей информации для модели, которая использовала такие столкновения с полицией как признак того, что исключать имена из списка не нужно. Вот почему людям было сложно избавиться от наложенного на них клейма. Вошедшие в «Список 400» и вовсе чувствовали себя беспомощными, поскольку их заклеймили за вещи, не поддающиеся их контролю. Нафайо, который никогда прежде не «конфликтовал с законом», принялся угонять мотороллеры, и его мать полагает, что виной тому возникшее у него чувство никчемности.

В 2022 году на экраны вышел короткометражный фильм «Матери». Его режиссер Нирит Пелед побеседовала с несколькими голландскими матерями, чьи сыновья попали в списки, и показала, как в итоге это повлияло на их семьи. Ей пришла идея снять этот фильм, когда она услышала, как несколько матерей обсуждают списки, стоя возле кафе неподалеку от ее дома в Амстердаме. Пелед познакомилась с Дианой и посетила несколько общественных мероприятий, на которых собирались матери включенных в списки юношей, и это вылилось в многочасовые разговоры о влиянии предсказывающих преступления программ на общество. Чтобы не раскрывать личности женщин, она снимала в фильме актрис, реплики которых были взяты из интервью с реальными матерями.

В фильме Пелед матери сообщили о притеснениях: во внутренних документах социальных служб их называли «слегка отсталыми» и «нервными», но оспорить или изменить эти характеристики они не могли. При этом ожидалось, что они будут открывать свои двери целым толпам незнакомцев, даже не спрашивая, зачем те пришли.

Если они сообщали социальным работникам о своей уязвимости, это использовали против них, как их ошибку. Клеймо «проблемные родители» давало чиновникам право относиться к ним с презрением и бездушием. Матерям постоянно казалось, что стоит им хоть раз оступиться, как у них и вовсе заберут детей. Одна мать сказала, что стоило ей только дать властям отпор, как ее тут же «заклеймили “проблемной матерью”, а поскольку [на нее] навесили этот ярлык, [она], вероятно, уже вошла в какой-нибудь список 600 проблемных матерей»{103}.

В «Матерях» рассказывается о четырнадцатилетнем чернокожем парнишке, который был арестован за кражу банки газировки из магазина. Ему не позволили вернуться в школу. Вместо этого ему велели явиться вместе с матерью на собрание, где присутствовали полицейские, психологи и школьные работники. Как отмечает его мать, казалось, что они были настроены против него. Полицейские не оказывали поддержку, а лишь усиливали конфронтацию, и складывалось впечатление, что идет настоящий суд.

В 2021 году некоммерческая организация Fair Trials, которая следит за отправлением уголовного правосудия в Европе, организовала для журналистов, политологов и правоведов мероприятие, чтобы обсудить «Список 600» и программу ProKid. Диане предложили рассказать свою историю. «Если ты мать-одиночка, – сказала она собравшимся, – ты должна вписываться в определенные… рамки. Если ты в эти рамки не вписываешься, тебя в них впихнут. Я лишилась всех денег, потому что мой сын попал в “Список 600”, я потеряла работу. И сразу вписалась в эти рамки. Я даже не понимала этого, но тебя действительно в них загоняют».

Диана выбралась из замкнутого круга лишь после того, как взяла ситуацию в свои руки, рассказала историю своих злоключений в голландской газете Het Parool и написала напрямую бургомистру, попросив назначить нового координатора. «Я написала бургомистру, что [алгоритм] хорош в теории, но плохо работает на практике». Газетная статья и письмо бургомистру привлекли внимание к ее семье, и им назначили нового социального работника, который помог Диане изменить положение дел.

Новый координатор стал работать непосредственно с Дианой, помогая ей вернуть уверенность в себе и поднять самооценку, чтобы она снова смогла заботиться о своих детях. Через три месяца, окончательно встав на ноги, она поняла, что привлечение матерей к заботе о детях – ключ к решению поведенческих проблем. Со временем она даже пришла к выводу, что государственная поддержка, разработанная с учетом нужд конкретных семей, может приносить людям пользу.

Однажды вечером, поговорив с Дианой, я взяла в руки старый экземпляр «Алой буквы» – американского романа 1850 года, в котором пуританское общество клеймит позором молодую женщину Эстер Прин, родившую ребенка вне брака. Она становится изгоем и носит на груди клеймо – алую букву «А». Прин не спастись, не искупить свой грех, не получить прощения. У меня в голове зазвучали слова Дианы с мероприятия Fair Trials: «Семьи разрушаются, детей забирают у матерей. Такова наша реальность».