В главе 2 мы рассматривали все более широкое применение инструментов оценки риска в системе уголовного правосудия. Здесь возможен серьезный вред, и некоторые его проявления мы уже обсудили.

«Эталонная истина», на которой обучаются модели, связана не с тем, совершит ли обвиняемый преступления в будущем, а с тем, будет ли он вновь арестован и получит ли приговор. Если у представителей разных групп систематически различаются показатели рецидивов после арестов и задержаний, то мы, в лучшем случае, ищем оптимальные решения для искаженных данных о рецидивизме – а не работаем с проблемой рецидива как таковой. Это крайне важная мысль, которой часто не придают должного значения.

Кроме того, стоит задуматься: ради обучения модели мы делаем вид, будто знаем, как поступит обвиняемый, если его освободят. Но откуда мы можем об этом знать?

Обычный подход заключается в том, чтобы изучить первые два года его криминальной истории человека после полного отбытия наказания и использовать эти данные как приближенные к тому, что произойдет в течение двух лет после досрочного освобождения. Такой метод косвенно предполагает, что возраст и опыт тюремного заключения не влияют на поведение человека после возвращения в общество.

Однако на практике возраст в ряде случаев оказывается фактором с наибольшей предсказательной силой. Более того, допущение о том, что тюремное заключение никак не влияет на поведение, не только неверно, но и отражает печальный взгляд на систему, которая, по крайней мере формально, призвана реабилитировать преступников.

Если, как свидетельствуют некоторые данные, тюремный опыт действительно повышает вероятность преступной деятельности у тех, кто его пережил, то повторные правонарушения среди отбывших наказание становятся обучающими данными для модели. Эта модель затем предполагает, что такие люди будут столь же опасны при досрочном освобождении [803]. В результате она рекомендует более длительные сроки заключения, что может привести к новым преступлениям.

Таким образом, прогнозы становятся самореализовывающимися: людей лишают свободы без необходимости, а общественная безопасность страдает еще сильнее.

Во многих областях машинного обучения значительную роль играет так называемое обучение с переносом: систему сначала обучают для одной задачи, а затем перенастраивают на другой. Однако такой перенос не всегда осуществляется разумно и обоснованно.

Например, инструмент COMPAS изначально разрабатывался не для вынесения приговоров, но в некоторых юрисдикциях его используют именно в этой роли. Аналогичная ситуация наблюдается и с моделями векторного представления слов, которые применяют для принятия решений о найме сотрудников.

Системы, созданные для прогнозирования, нередко начинают использоваться для выполнения того самого действия, которое они должны предсказывать. В корпоративной культуре с долгой историей сексизма модель, корректно прогнозирующая, что женщин будут принимать на работу реже, может неосознанно усилить это неравенство – и в результате женщин действительно станет намного меньше.

Чтобы модели не просто воспроизводили и подтверждали прошлое, а предлагали что‐то новое, к их разработке нужно подходить вдумчиво и осознанно.

Мы также видели, что для понятия «справедливости» предлагается множество формальных определений, которые кажутся интуитивно понятными и приемлемыми. Однако математически доказано: ни одна система принятия решений – будь она человеческой или машинной – не способна учесть их все одновременно.

Некоторые исследователи предлагают отказаться от попыток согласовать эти разнородные формальные системы вручную. Вместо этого они советуют обучать модель на примерах того, что люди считают «справедливым» и «несправедливым», и позволить алгоритму самостоятельно сформировать рабочее определение справедливости [804].

Однако такой подход, вероятно, породит новую проблему выравнивания – столь же трудно обнаружимую, как и другие подобные проблемы.