Я спросил Джона Клейнберга, что он думает о полученном результате – о невозможности существования справедливых алгоритмов, – и что, по его мнению, нам делать. «Я не скажу ничего сенсационного, – ответил он. – Думаю, в зависимости от обстоятельств… оба определения важны. И то, какое из них будет иметь больший вес, зависит от вашей сферы деятельности».

Действительно, критические аспекты этого компромисса кардинально меняются в разных областях. Возьмем, к примеру, кредитование, которое отличается от уголовного судопроизводства. Отказать в ссуде тому, кто ее выплатит, значит не только потерю процентов для заимодавца, но и серьезные последствия для заемщика. Допустим, он не сможет купить дом или начать свое дело. С другой стороны, дать ссуду тому, кто ее не вернет, означает только денежные потери для заимодавца. Эта асимметрия может влиять на восприятие справедливости. Мы хотим быть уверенными, что все кредитоспособные заемщики из двух разных групп имеют одинаковые шансы на получение ссуды, даже когда математика говорит, что тогда снизятся не только прибыли заимодавцев, но в той или иной группе кредит получат больше недостойных людей [180].

Однако в правосудии и – особенно – когда речь идет о тяжких преступлениях, и ложноположительные (люди с высокими оценками риска, не совершающие новых преступлений), и ложноотрицательные результаты (люди с низкими оценками риска, которые становятся рецидивистами) ведут к человеческим жертвам. Компромисс, на который мы готовы пойти, будет в результате совершенно иным.

Сэм Корбетт-Дэвис, к примеру, утверждал, что выравнивание ложноположительных оценок в контексте оценки риска – черные или белые обвиняемые, которые не совершат повторных правонарушений, не содержатся под стражей напрасно, – приведет к применению разных стандартов для обвиняемых разных рас до тех пор, пока реальный уровень нарушений отличается. Например, в тюрьме будет оставаться каждый чернокожий обвиняемый с оценкой риска 7 и выше и каждый белый с оценкой от 6. Такой подход, как считает Корбетт-Дэвис, «может нарушать пункт о равной защите законом Четырнадцатой поправки» [181].

По мнению Корбетт-Дэвиса, в действительности дела обстоят еще хуже: «Поскольку мы станем удерживать в тюрьме обвиняемых с более низкой степенью риска и выпускать людей с относительно высоким риском, произойдет рост тяжких преступлений, совершенных освобожденными преступниками. И так как мы знаем, что преступления обычно совершаются внутри общин, эти преступления будут сосредоточены в районах, населенных этническими меньшинствами, и их жертвы также попадают под Четырнадцатую поправку» [182].

Доказательство невозможности совмещения метрик также показывает, что выравнивание ложноположительных и ложноотрицательных оценок означает отказ от калибровки. Если говорить конкретнее – от гарантии, что для каждого уровня риска шанс обвиняемого совершить преступление остается таким же, независимо от пола и расы. «Без калибровки, – говорит Корбетт-Дэвис, – непонятно, что означает оценка риска. Если вы спросите меня, насколько велик риск этого обвиняемого, и я отвечу «на 2», а вы спросите, что это значит, мне придется ответить: „Если это мужчина, значит, существует 50 %-ная вероятность повторного нарушения, а если женщина, то риск равен 20 %». Видите, двойка теряет свое значение» [183].

Тим Бреннан согласен с тем, что калибровка первостепенна: «Если белый и чернокожий имеют оценку риска 7, означает ли это, что оба могут проиграть? Одинаковый риск ареста?.. Стандартный метод – полностью удостовериться в том, что калибровка не имеет систематической ошибки, связанной с расой, и в том, что уровень точности один и тот же… Мы сделали и то, и другое. А если бы сделали что‐то еще, то нарушили бы закон» [184].

Тем не менее даже те, кто подчеркивает важность калибровки, думают, что ее одной недостаточно. Как говорит Корбетт-Дэвис, «хоть калибровка и желательна, она дает мало гарантий беспристрастности решений» [185].

Как бы то ни было, то, что эти критерии невозможно удовлетворить одновременно, не означает, что нельзя идти на компромиссы, – а это может быть лучшим вариантом. Другие исследователи занялись этой проблемой, и работа продолжается [186].

Я спросил Джулию Энгвин, что она думает о волне теоретических результатов, к которым привела ее статья, и о невозможности сделать то, что, казалось бы, требовала ее команда, – создать инструмент, который был бы откалиброван и имел одинаковое количество ложноотрицательных и ложноположительных результатов.

«Я думаю, – ответила она, – что перед нами вопрос политики. И вопрос морали. Но было приятно узнать, что никто не знал о существовании этой проблемы, пока мы ее не подняли. Это то, что я больше всего люблю в журналистике… Четкое определение проблемы позволит ее решить» [187].

Не всем нравилось публичное обсуждение, спровоцированное работой ProPublica. Группа специалистов по криминальному правосудию во главе с Энтони Флоресом опубликовала ответ. В нем COMPAS не только защищали как откалиброванную модель (и калибровку как приемлемый критерий справедливости), но, более того, жаловались на вред от самих разногласий [188]. «Мы живем в уникальное время, – писали юристы. – Нам выпал шанс, который дается раз в поколение, а может, и раз в жизни. Мы можем с помощью научных методов реформировать систему вынесения приговоров и уничтожить широко распространенное государственно-правовое явление взятия под стражу, и эта возможность исчезает из-за ложной информации и неверного понимания [статистических моделей оценки риска]. Плохо проведенные исследования или заявления, которые вводят в заблуждение, могут привести к растерянности и/или ступору тех, кто ответственен за формирование политики».

Тим Бреннан разделяет бо́льшую часть этих тревог и, разумеется, совершенно не согласен с характеристикой COMPAS, данной ProPublica. Но когда я спросил его о том, есть ли положительные моменты в этих дискуссиях, особенно в междисциплинарном движении, которое они породили среди специалистов по информатике, он согласился: «Я думаю, справедливость надо разложить на коэффициенты, уведомив людей об их значении, выгоде и издержках – и о невозможности использовать некоторые. Когда вы понимаете проблему или называете ее, решение становится более вероятным, чем когда вы не понимаете, что проблема существует в принципе» [189].

Большинство специалистов по информатике согласилось, что такие вещи лучше обсуждать открыто, чем замалчивать.

«Важно подчеркнуть, что от математики никуда не деться, – говорила Синтия Дворк. – Так что лучшее, на что мы можем надеяться, – это то, что позволяет математика. И мы намного дальше продвинулись в понимании пределов, которые она ставит» [190].

Для Морица Хардта первая волна академических и технических работ, последовавших за исследованием ProPublica, узаконила использование таких этических понятий, как справедливость, в качестве приемлемых тем для исследования не только в научных отделах, но и в корпоративном мире. В 2016 году, когда появилась волна работ, включавшая и его собственную, Хардт работал в Google. Он вспоминает, как наблюдал ее влияние: «Прежде люди не были так уверены, что существует что‐то такое, чего стоит касаться. Эти темы были как горячая картошка». С тех пор произошел взрыв интереса к подобным исследованиям, как в компании Google, так и вне ее. «Так что есть кое-что, чем я горжусь, – говорит Хардт. – Я действительно внес вклад в культуру» [191].

Для Джона Клейнберга роль специалиста по информатике, задающегося такими вопросами, – это обеспечение заинтересованных лиц инструментами, которые помогут четко сформулировать проблему. «Наша позиция – не говорить вам, кто прав, но дать язык для того, чтобы вести дискуссию… Я рассматриваю это как часть своих обязанностей как специалиста по компьютерным наукам: можем ли мы говорить строго научно о вещах, которые существовали неофициально. Ведь мир двигается в этом направлении».

Так и есть. В конце лета 2018 года Калифорния провела SB 10, мощную реформу системы правосудия, повсеместно упразднявшую освобождение под залог. Теперь у штата оставалось только два варианта: поместить обвиняемого под стражу или освободить до суда. Более того, поправка требовала использования алгоритмических инструментов оценки риска при принятии таких решений [192]. До конца того года Конгресс США принял Закон первого шага, за который проголосовали обе партии. Он предполагает широкомасштабную реформу криминального правосудия и среди множества нововведений требует от министерства юстиции разработать статистическую модель, которая будет использоваться для оценки риска рецидивизма всех федеральных заключенных, а также для определения плана их реабилитации [193].

Хотя стремительное и масштабное внедрение в практику этих инструментов только растет, состязание между внедрением и мудростью, с которой эти инструменты создаются и используются, начинает хоть как‐то выравниваться. Спотыкаясь и прихрамывая, мы приходим к пониманию того, что значит сделать «хороший» прогноз.

Тем не менее в этой дискуссии выявилась еще более крупная проблема: а действительно ли мы хотим прогнозировать, занимаясь всем этим?

После публикации отчета ProPublica репортер Washington Post позвонил Чулдеховой, чтобы услышать ее комментарий. В сущности, у него было два вопроса. Первый касался противоречий между требованиями ProPublica и защитой Northpointe.

«На это у меня был заранее заготовленный ответ, – рассказывает Чулдехова. – Если показатели повторных преступлений различаются в разных группах населения, то нельзя получить все и сразу. Чего у меня не было, так это хитроумного ответа, когда репортер спросил: „Что же на самом деле имеет значение?“

И это действительно стало вопросом, который заставил меня посмотреть на проблему с другой точки зрения» [194].