Хотя прогноз осуществляется на основании данных, доступных в конкретный момент, полностью полагаться на этот метод нельзя.
Ваши ученые были так заняты размышлениями о том, способны они на это или нет… что не подумали, а стоит ли им это делать вообще.
Одна из самых важных вещей в любом прогнозе – убедиться, что вы предсказываете то, что хотите знать. На деле это гораздо труднее, чем кажется.
К примеру, в конкурсе ImageNet, где AlexNet одержала победу в 2012 году, цель – научить машины распознавать изображения. Но в данных для обучения содержится другое. Они представляли собой то, что, по мнению добровольцев из Mechanical Turk, изображено на картинках. Если, скажем, человек будет раз за разом ошибочно определять львенка как кошку, это изображение станет частью данных для обучения как кошка, и у любой системы, определившей его как льва, будут урезаны очки и изменены параметры, чтобы исправить эту «ошибку».
Мораль этой истории такова: иногда «истина» таковой не является.
В случае с прогнозами криминального правосудия недостатки такого рода заметны еще сильнее. Для краткости часто говорят о прогнозировании самого рецидивизма, но данные для обучения под это не заточены. Они принимают во внимание не повторное совершение правонарушения, а повторный арест и повторное осуждение. Эта разница может быть критичной.
Кристиан Лам, ведущий статистик в Группе анализа данных по правам человека (Human Rights Data Analysis Group), и Уильям Айзек с кафедры политических наук университета штата Мичиган в 2016 году написали об этом в своей статье, посвященной использованию прогностических моделей в деятельности полиции:
«Поскольку данные собираются как побочный продукт полицейской работы, прогнозы на основании схем, полученных из этих данных не соответствуют будущим преступлениям. Они соответствуют только тем правонарушениям, о которых известно полиции. В этом смысле ее прогностическая деятельность названа надлежащим образом: она предсказывает работу полицейских, а не совершение преступлений [196].
Подобная критика появилась еще в 1930‐е годы. Когда в Иллинойсе вводилась предложенная Эрнстом Берджессом реформа процедуры УДО, критики – особенно скептически настроенные к тому, что освобожденные действительно вернутся в общество, – утверждали, что официальные лица недооценивают уровень повторных преступлений. В 1937 году Элмер Шнакенберг, лидер республиканского меньшинства в Палате представителей Иллинойса, жаловался: «Если условно-освобожденный не попался на преступлении в первый или второй год после освобождения, его… вносят в список исправившихся» [197].
Разрыв между тем, что мы намеревались измерить с помощью инструмента, и тем, что на самом деле содержат данные, должен в равной степени беспокоить и консерваторов, и прогрессистов. Система оценивает преступников, которые успешно избегают ареста, как «имеющих низкий риск», тем самым давая рекомендацию освобождать других таких же преступников. А люди, находящиеся под пристальным надзором полиции, и незаконно осужденные, становятся частью сомнительной эталонной статистики «имеющих высокий риск», вынуждая систему рекомендовать для них и им подобных тюремное заключение.
Это особенно беспокоит в контексте прогностической деятельности полиции, где данные для обучения используются, чтобы направить сами действия полиции, в свою очередь, создающие информацию об арестах. Так может получиться порочный круг [198].
Человек, совершающий преступление на территории, где полиция менее агрессивна или менее ответственно исполняет свои обязанности, будет помечен системой как некто, не имеющий рецидивов. И в этом районе станет меньше полицейских. Разница в деятельности правоохранительных органов между двумя похожими районами будет, скорее всего, только расти. Как подытоживают Лам и Айзек, «модель становится все более уверенной в том, что районы, где продолжается криминальная деятельность, – это места, которые ранее отличались высокой преступностью: систематическая ошибка отбора встречается с ошибкой подтверждения» [199]. Система начинает формировать реальность, которую должна прогнозировать. Петля обратной связи, в свою очередь, и дальше вносит отклонения в данные для обучения.
Есть способы смягчить влияние проблем на модель. COMPAS, к примеру, делает три разных прогноза «риска»: насильственное повторное преступление, повторное правонарушение и неявка в суд. В полицию куда чаще сообщают о насильственных преступлениях (например, об убийствах), чем о ненасильственных, и в связи с этим полиция чаще обеспечивает правовые санкции и аресты. И все неявки обвиняемых в суд по определению становятся известными судебной системе, не оставляя буквально никакого пространства для смещенной выборки данных или разницы в обеспечении правовых санкций. Мудрое использование инструментов оценки риска, таким образом, может придать особое значение насильственным повторным преступлениям и неявке в суд по сравнению с ненасильственными правонарушениями, основываясь на том, что данные для обучения модели более достоверны именно в этих случаях. Это ряд юрисдикций и начинает претворять в жизнь [200].
Среди других способов смягчения негативных последствий можно отметить попытку создать модель, принимающую в расчет большие расхождения в пресечении определенных правонарушений, к примеру, она будет относиться к чернокожему жителю Манхэттена, несколько раз арестованному по одному типу преступления, так же, как и к белому манхэттенцу, имеющему только один арест. (Разумеется, для этого потребуется, чтобы модель в качестве входных данных получала и расу обвиняемого.)
Второй, не менее серьезный вопрос, требующий разрешения, состоит в том, используем ли мы прогностическую модель – даже если она измеряет то, что требуется, – именно в предполагаемой области применения или для чего‐то другого.
Например, в некоторых штатах COMPAS используют, чтобы принимать решения при вынесении приговоров, что многие считают нелепым и даже неприемлемым. Рассказывает Кристина Ремингтон, помощник генерального прокурора штата Висконсин: «Я не хочу, чтобы в суде звучало: человек, стоящий перед нами, получил от COMPAS оценку риска в 10 баллов, и поэтому я прошу для него максимального приговора». Но COMPAS используется для вынесения приговоров, в том числе и в Висконсине. Когда житель этого штата Пол Зилли получил более длинный срок, чем ожидал, из-за оценки COMPAS, его государственный защитник вызвал в качестве свидетеля защиты никого иного, как Тима Бреннана. Бреннан подтвердил, что COMPAS не был разработан для вынесения приговоров [201]. Мы должны точно знать, для каких прогнозов разработан наш инструмент, и должны быть очень осторожны, используя его с иными параметрами. «Используйте только по назначению», – написано на этикетках рецептурных медикаментов. Такие напоминания необходимы и для машинного обучения.
Если взглянуть еще шире, мы можем бросить вызов одному из самых фундаментальных, пусть и негласных замыслов всего предприятия: лучший прогноз ведет к повышению общественной безопасности.
Поначалу кажется, что думать иначе – просто сумасшествие. Но есть причины остановиться и обдумать некоторые предположения, скрывающиеся за этой точкой зрения.
Профессор правоведения Колумбийского университета Бернар Аркур в своей книге «Против прогнозов» (Энгвин цитирует ее как эпиграф к своей работе) поднимает несколько таких вопросов. Он считает, что связь между улучшением прогнозов и уменьшением преступности не настолько прямолинейна и бесспорна, как может показаться. Например, представьте прогностический инструмент, который определяет, что самые опрометчивые водители – это мужчины. Вполне возможно, что агрессивные гонения на водителей мужского пола не приведут к значительному понижению их безрассудности, но подтолкнут водителей-женщин, которых будут реже останавливать, к более неаккуратному поведению за рулем. Дороги в среднем могут стать менее безопасными из-за использования прогнозов. «Другими словами, – подытоживает Аркур, – профилирование по более высоким показателям преступности в прошлом, настоящем или будущем может быть абсолютно непродуктивным с точки зрения главной цели правоохранительной деятельности – сведения преступлений к минимуму» [202]. Такого рода сценарии, приводящие к обратным результатам, не настолько маловероятны или редки, как может показаться, считает Аркур. Если разница в контроле за соблюдением законов поощряет пропущенную группу больше, чем удерживает тщательно исследованную, это может только усугубить проблему.
Прогнозы также могут не достичь конечной цели – сделать общество безопаснее, – если не превратятся в действия. В 2013 году в Чикаго запустили пилотную программу для снижения уровная вооруженного насилия, создав «Оперативный список граждан» (неофициально – «горячий список»), где перечислены люди с высоким риском стать жертвами вооруженных нападений. Эти люди становились жертвами насильственных преступлений в 233 раза чаще, чем средний житель Чикаго. В этом смысле прогнозирующие возможности списка казались безукоризненными. Тем не менее убийства происходили так редко, что даже в «горячем списке» их жертвами стали только 0,7 %. Что же тогда делать с этими прогнозами? Каким образом вмешательство в жизнь тысячи людей может помочь тем семерым, кого действительно убьют?
«Эффективно используя современные средства анализа данных, полицейские департаменты, возможно, смогут более эффективно определять будущих жертв преступлений и принимать меры», – отмечал доклад 2016 года корпорации RAND, посвященный прогностической деятельности полиции Чикаго [203]. Тем не менее «одно только улучшение точности прогнозов может не привести к снижению преступности… важнее, чтобы правоохранительные органы имели больше информации о том, что делать с этими прогнозами» (курсив мой) [204].
Прогнозы не были самоцелью. Что лучше: мир, в котором мы на 99 % можем быть уверены, где и когда произойдет преступление, или мир, где на 99 % меньше преступлений? В фанатичной гонке за точностью прогнозов или, если уж на то пошло, за справедливостью отдельно взятого прогностического инструмента мы можем упустить нечто большее [205].
В досудебном освобождении, для которого COMPAS и был разработан, есть похожий разрыв между прогнозами и их применением, что следует рассмотреть более подробно. Прогноз, утверждающий, что кто‐то не явится в зал суда, не обязательно означает, что человека нужно содержать под стражей все это время [206].
Александра Чулдехова объясняет: «Если вы подумаете об этом с такой точки зрения, то решите, что эта группа населения заслуживает особого внимания. Возможно, они в меньшей степени способны позаботиться по себе. Может быть, у них не такой высокий риск, но более сильная нужда». Возможно, им нужно, чтобы кто‐то присмотрел за детьми в этот день или подвез их в суд, а не получить штраф. Как выяснилось, простое напоминание о дате суда может значительно повысить явку обвиняемых [207]. К несчастью, в отличие от COMPAS многие инструменты оценки риска отождествляют неспособность явиться в суд с прогнозом криминальных правонарушений [208]. Если одну потенциально рискованную ситуацию можно решить лишением свободы, а другую – текстовым сообщением, это можно считать огромной проблемой.
Эта точка зрения тесно переплетается с мнением Тима Бреннана. Информационный лист COMPAS, который показывают судье, разработан так, чтобы оценка риска выделялась красным цветом, а оценка потребностей – зеленым. «Зеленым, – говорит Бреннан, – потому что это поможет человеку» [209]. Главной идеей было освободить из-под стражи как можно больше обвиняемых и определить их на лечение, под наблюдение общества и так далее – в конце концов, AS в COMPAS обозначает «альтернативные меры пресечения» (Alternative Sanctions). Но некоторые судьи рассматривают «потребности» – бездомность, отсутствие близких людей – не как путь к реабилитации, а как новые поводы для содержания под стражей [210]. Разумеется, чтобы применить к человеку альтернативные санкции, направить его на лечение, обучение, психологическое консультирование, нужно, чтобы такие услуги действительно существовали. Если их нет, тогда это проблема, которую не может разрешить ни одна статистическая модель и ни один судья.
«Это подводит к моей главной мысли», – говорил Мориц Хардт [211]. Модель машинного обучения, подготовленная с помощью данных, «по определению является инструментом для предсказания будущего на основании прошлого… Вот почему этот инструмент совершенно не подходит для многих областей, где пытаются разработать способы вмешательства и механизмы, чтобы изменить мир» [212].
Хардт развивает свою мысль: «Снижение уровня преступности и арестов – это действительно очень серьезная проблема, которую я хотел бы оставить специалистам по криминальному правосудию. Я считаю, что прогнозы дают несколько пессимистичную точку зрения. Они словно говорят: „Предположим, что мы не сможем конструктивно снизить уровень преступности. Мы предскажем, где произойдет преступление, отправимся туда и попытаемся поймать злоумышленника до того, как что‐то случится“. На мой взгляд, это не механизм конструктивной борьбы с преступностью. Вот что я называю пессимистическим подходом. Я не хочу предсказывать, где произойдет преступление. Полагаю, что это полезно, но предпочел бы иметь механизм снижения уровня преступности. Я как специалист по информатике не могу ничего предложить, абсолютно ничего. Я не могу сказать, что что‐то в этом смыслю. И потребуются годы, чтобы разобраться, что я могу сделать».
О важности того, чтобы сделать шаг назад и посмотреть на систему криминального правосудия в более крупном масштабе, не забывали и первые исследователи этой сферы.
Эрнст Берджесс в 1937 году, когда его первый доклад по системе УДО указал на модель оценки риска, которая стала применяться во всем штате, чувствовал, что пришло время перейти к чему‐то более глубокому. «В Иллинойсе, на мой взгляд, – писал он, – пора перестать экспериментировать с условно-досрочным освобождением как с отдельной частью наших проблем в пенитенциарной системе. Что требуется, так это крупное вмешательство, включающее в себя полную реорганизацию тюремной системы штата» [213].
С тех пор прошло больше восьмидесяти лет, и его слова все еще остаются правдой.