Для государственных органов главный вопрос состоял в том, правда ли оценка рисков и последующее вмешательство в жизнь подростков приводят к снижению преступности. Семьям и правозащитникам важнее было понять, оправдывают ли благие цели сомнительные средства: внесение сумятицы в молодые жизни, негативное влияние на семьи и предположительно дискриминационный фокус на иммигрантских сообществах.
Первым делом я поискала свидетельства успеха системы. Стремясь к обеспечению прозрачности, голландское правительство четыре года публиковало отчеты об эффективности «Списка 400». Самый свежий из них, обнародованный в 2017 году, показал, что на конец года в «Список 400» входил 231 человек в возрасте от 14 до 24 лет (программа ProKid работала с детьми до 18 лет, но в список добавили и других молодых людей). После создания алгоритмических списков в 2015 году количество арестов в этой группе сократилось на 33% – со 123 до запуска программы до 82 за два с половиной года после его создания. Но было неясно, как аресты распределяются внутри группы, – например, не может ли быть такого, что улучшается поведение лишь небольшой доли включенных в список, в то время как остальных арестовывают не реже, а то и чаще.
Кроме того, в отчете сообщалось, что 13% фигурантов «Списка 400» были перемещены в более серьезный «Список 600», а значит, их арестовывали чаще и за более тяжкие преступления, чем раньше, и даже осуждали за них. В этой группе количество арестов за три года сократилось всего на 9%. И снова было неясно: то ли программа сделала правильный прогноз, но вмешательства не помогли, то ли само включение в списки делало молодых людей более уязвимыми для преступного мира.
В целом результаты казались в лучшем случае скромными, особенно в сравнении с негативными последствиями для семей, которых заставили участвовать в этом эксперименте. Голландский антрополог Пауль Мютсарс несколько лет изучал влияние на людей используемых в стране программ для поддержания правопорядка, включая системы на основе ИИ. В ходе своего исследования он сопровождал полицейских, которые патрулировали бедные районы, в частности Амстердам-Вест. Он взял интервью у начальника полицейского участка, который признал, что из его района в «Список 600» попали исключительно представители этнических меньшинств. «Разумеется, у них гораздо больше шансов оказаться пойманными, – сказал он, – потому что мы постоянно за ними следим»{104}.
Мютсарс также слышал, как полицейские отпускают расистские шуточки и преследуют марокканцев, которых они называют «нафферами» (от англ. North African – выходец из Северной Африки). «Я вместе с полицейскими заходил в крошечные квартиры, где даже мебели нормальной не было, – рассказывает он. – Там царила нищета, но они даже не замечали, что вокруг нас происходит. Это вписывалось в этнические стереотипы».
Полиция держала эти семьи на прицеле, поскольку их дети входили в «Список 600», что «заставляло их чувствовать себя беспомощными перед лицом неодолимой силы этого алгоритма». Баланс «сместился от заботы к принуждению».
Изначально прогнозные алгоритмы и подходы на основе больших данных планировалось использовать для реабилитации, напоминает Мютсарс. «Если цель состоит в том, чтобы обеспечить восстановительное правосудие в проблемных семьях, то [алгоритмы] не работают. Они запугивают людей, используя их близких в качестве рычагов давления, – сказал он. – Разве это можно считать успехом, если даже без рецидивов люди притесняются в обществе? Если да, то это очень печально».
Помимо непредвиденных последствий использования таких ИИ-систем, как ProKid, существует и более общий вопрос о том, можно ли считать оценки ИИ – например, прогнозы вовлеченности человека в преступный мир и риска рецидивизма – более справедливыми, чем выводы людей. Проанализировав систему COMPAS, журналисты газеты Washington Post обнаружили, что выводы ProPublica о расизме приложения отчасти объясняются разными представлениями о справедливости у журналистов и компании Northpointe, владеющей COMPAS{105}. В представлении Northpointe выставляемые оценки говорили об одинаковом риске рецидивизма вне зависимости от расы обвиняемого. Но поскольку чернокожие преступники чаще нарушали закон повторно, большее число чернокожих обвиняемых отправлялось в группу высокого риска. Между тем журналисты ProPublica считали несправедливым, что с чернокожими, которые когда-то подвергались обвинениям, но впоследствии не нарушали закон, обращаются более сурово, чем с белыми в аналогичных случаях. Иными словами, невозможно создать статистическую систему, соответствующую всем представлениям о справедливости. Возможно, как предположили в Washington Post, проблема требует более радикального решения – например, замены выплаты залога на электронный мониторинг, «чтобы никто не сидел за решеткой без необходимости».
В конце концов, все сводится к людям, которые руководят процессом, – ИИ не может заменить свободу человека выбирать наиболее справедливый исход. Я поговорила с американским специалистом по криминологии и статистике Ричардом Берком, который разработал несколько ИИ-инструментов для американской системы уголовного правосудия. «Это проблемы политики и этики, в которых я не разбираюсь», – признался он. Поэтому он привлекает к сотрудничеству людей, которые принимают решения, включая членов комиссий по досрочному освобождению, адвокатов, судей и полицейских, и предлагает им различные компромиссы. Он показывает, как алгоритмы работают с разными группами населения, и предлагает выбирать, на чем делать акцент и какие результаты важнее. «Эти параметры всегда определяют люди», – говорит он.
Через три года после включения в амстердамский «Список 600» имя Дамьена наконец-то из него вычеркнули. В телеинтервью журналист спросил у юноши, заслужил ли он попадания в этот список из-за своих преступлений. «Я считаю, что за все расплатился раньше, когда меня судили за мои проступки, – сказал Дамьен. – Меня приговорили к домашнему аресту, мне установили комендантский час, я даже заплатил несколько штрафов. Я знаю, что после этого усвоил свой урок».
Слова Дамьена о том, что он уже расплатился за свои преступления, натолкнули меня на мысль о милосердии. Когда обществу следует прощать человека? Справедливо ли, что человека наказывают один раз, или же необходимо и дальше сомневаться в нем и наблюдать за ним, чтобы он больше не нарушал закон? И не становится ли грубое вмешательство государства в эти дела не благом, а наказанием?
Идея о прощении занимает центральное место в поведенческой психологии, особенно в том, что касается развития ребенка. Мы говорим детям, что простим их в любом случае, что мы любим их, даже когда злимся, и что у них всегда есть шанс исправиться. Исследования показывают, что, прощая детей, мы повышаем их самооценку, помогаем им принимать себя и воспитываем в них здоровое отношение к ошибкам. В результате они превращаются в самодостаточных и эмпатичных людей{106}.
Всевозможные ИИ-инструменты и другие статистические программы, прогнозирующие траекторию жизни человека, имеют карательный, а не эмпатичный характер. Поддерживать общественный порядок на основе этих прогнозов – значит не оберегать и прощать, а исключительно оценивать, с какой вероятностью человек оступится. Каждое действие, каждое наблюдение, каждая сторона вашей личности каким-то образом связываются с преступностью, поскольку именно в таком ракурсе рассматривается ваша жизнь. Ошибки ваших родителей, цвет вашей кожи, ваш родной язык, ваша любимая музыка, общий уровень социальных и институциональных предубеждений – все становится эрзац-переменными в алгоритме, который оценивает вашу потенциальную опасность для общества. Полиция начинает преследовать вас в повседневной жизни, подкрепляя в вас чувство собственной несостоятельности.
Раздумывая о ценности эмпатии, я наткнулась на статью о роли прощения в государственном профилировании с помощью ИИ. Ее написала Каролина Ла Форс, которая изучает профилирование уязвимых групп, осуществляемое голландским правительством, и она утверждает, что детей необходимо исключить из государственных и полицейских систем профилирования, таких как «Список 600», «Список 400» и ProKid, просто потому что дети невинны. Эта идея нашла частичное отражение в европейских законах об охране персональных данных в виде «права на забвение», которое позволяет человеку потребовать, чтобы та или иная компания уничтожила его персональные данные, а также в виде права обжаловать автоматизированные решения и потребовать человеческого вмешательства. Кроме того, Ла Форс отмечает, что у этих детей должно быть право не подвергаться алгоритмической оценке. Их данные должны быть забыты{107}.
Эмпатия учит нас, что никто не идеален, но все заслуживают прощения. Оценка рисков говорит обратное: вот твоя зафиксированная цифровым образом реальность, а твои преступные наклонности только и ждут момента вырваться наружу. Обстоятельства таковы, что ты вообще не заслуживаешь прощения. Еще находясь в «Списке 600», Дамьен сказал голландскому телеведущему: «Я просто не вижу выхода».
Когда я спросила Ла Форс, может ли она вообразить более удачное решение для борьбы с преступностью среди подростков и молодежи, она проявила оптимизм. «Мне сильно не хватает мнения детей», – сказала она. Теперь она изучает, как привлечь детей и их родителей к разработке решений, чтобы не клеймить кого попало оценками алгоритмов. Кроме того, она предложила включать в прогнозные алгоритмы все переменные, связанные с улучшением жизни молодых людей, включая сведения о посещении служб по работе с молодежью, о работе с психологами и позитивные результаты, которые могли бы сбалансировать их психологический портрет. «Я возвращаюсь к принципу прощения, – сказала она. – У детей должна быть возможность выбраться из этих списков. Почему бы в дополнение к черному списку не сделать и белый?»
Пока мы говорили, я поняла, что почему-то в этом случае в дискуссии об этике ИИ – о том, как работают автоматизированные системы, какие критерии и единицы информации используются и насколько прозрачными должны быть результаты, – власти забыли о том, что на самом деле важно. В центре этой карательной системы был ребенок или молодой человек, который совершил ошибку. Какой смысл использовать технологии, если они причиняют вред детям и семьям, которым вообще-то должны помогать?
Оказывается, власти Амстердама продолжают использовать прогнозные полицейские алгоритмы, поскольку верят в их положительное влияние на снижение преступности. Они утверждают, однако, что больше не доверяют прогнозирование системам машинного обучения. Чуть более года назад – после выхода фильма «Матери» – мэрии Амстердама пришлось ответить на критику со стороны общественности и членов городского совета. Бургомистр Фемке Халсема подтвердила, что оба списка по-прежнему используются.
Но она сказала, что программа ProKid, созданная на основе ИИ-технологий, более не применяется при формировании «Списка 400». Вместо нее город использует простой статистический метод на базе ряда установленных критериев, включая прогулы уроков, аресты, подозрения в совершении правонарушений и продажу поддельных лекарств. «Хотя программа ProKid+ имела под собой научные основания, комплексная оценка различных факторов риска производилась слишком изощренно и потому заинтересованным лицам было сложно в ней разобраться, – написала Халсема. – Мы прислушались к мнению молодых людей и их родителей и поэтому прекратили использовать ProKid+».
Халсема отрицает, что в процессе имели место предвзятость и дискриминация, и настаивает, что критерии попадания в список были прозрачны и «никакие персональные данные о расе, этнической принадлежности, национальности, религии, политических взглядах, гендере и сексуальных предпочтениях не влияли на включение людей в “Список 400”».
Она признала справедливость критики матерей из фильма Пелед и других, включая Диану, отметила, что опыт «показал, что необходимо еще усерднее работать над информированием родителей и их включением в процесс», и добавила, что теперь при попадании ребенка в один из списков его родители сразу приглашаются на специально организованную встречу.
В письме таилось и последнее откровение: ученые работают над новой версией программы ProKid, чтобы выявлять молодых людей в возрасте до двадцати трех лет, «которые могут (глубже) погрузиться в преступный мир». В мэрии заявили, что программа еще не внедрена, но история с охраной правопорядка на базе ИИ явно далека от завершения.
В служебной записке, направленной бургомистру в 2016 году и полученной исследователями по Закону о свободе информации, работники городских учреждений выражали озабоченность тем, что причиняют вред детям, которым пытаются помочь. Хотя прошло почти восемь лет, поднятые в ней вопросы актуальны и сегодня.
По состоянию на 1 июля на основе выводов ProKid+ в «Список 400» вошло 125 человек. Мы заметили, что эта история по-прежнему вызывает слишком много вопросов. Программа ProKid+ оценивает риски, а не анализирует данные уголовного судопроизводства. Это значит, что учитываются не только поступки конкретного человека. Иногда человек попадает в систему… из-за поведения других людей. Кроме того, через ProKid в список попадают и люди, которые вообще не имеют криминального прошлого. Получается, что мы объявляем преступниками молодых людей, которые входят в группу риска и которым мы вообще-то хотим помочь?
В Лондоне, продолжая наш разговор, Диана увлеченно рассуждает о своем будущем. Впервые за долгое время она смотрит в него с надеждой. Теперь она не борется с государством, а выступает за обеспечение более прозрачной работы алгоритмов и контроля над последствиями их применения. «Алгоритм создают люди, которые видят цифры. Такова его природа. Они не видят людей, они видят цифры», – говорит она.
После интервью газете Het Parool и переписки с бургомистром Амстердама ее общественная кампания привела к основанию фонда, объединяющего матерей, дети которых по-прежнему остаются в «Списке 600» и «Списке 400». Создав сеть из ста матерей в Амстердаме, Диана начала работать с другими городами, включая Гаагу. Она надеется, что арендованное для фонда помещение станет местом, где матери получат возможность высказываться, делиться своими историями и страхами и обмениваться информацией. Она назвала свой фонд De Moeder Is De Sleutel – «Ключ в матери».
«Быть добрым не значит быть слабым, – говорит она. – Все, в чем нас обвиняют, – что мы слишком эмоциональны, что мы плачем, – все это нужно этим детям. Нам необходимо иначе растить своих сыновей, но еще более необходимо… прощать друг друга».