Карл понимал, что технология не готова для такого широкого внедрения. В 2018 году Джой Буоламвини, Тимнит Гебру и Дебора Раджи – три чернокожие исследовательницы из Microsoft – вместе с другими соавторами опубликовали статью, в которой сравнили точность систем распознавания лиц от компаний Microsoft, Face++ и IBM{51}. Они обнаружили, что частота ошибок при распознавании светлокожих мужчин не превышает 1%, но доходит до 35% при распознавании темнокожих женщин. Карл знал, что в 2019 году Найджер Паркс из Нью-Джерси провел десять дней в тюрьме и заплатил несколько тысяч долларов, пытаясь защититься от обвинений в магазинной краже и нападении на полицейского в Вудбридже{52}. Система распознавания лиц, применяемая полицией Вудбриджа, ошибочно распознала преступника в 33-летнем чернокожем Парксе. Год спустя дело было закрыто за недостаточностью улик, и позже Паркс подал против полиции иск о нарушении его гражданских прав. Через год после этого программа распознавания лиц снова дала сбой, и Роберт Джулиан-Борчак Уильямс, отец двоих детей из Детройта, был арестован за магазинную кражу, которой не совершал{53}. Его задержали прямо у него во дворе, на глазах у близких.

Технология распознавания лиц ошиблась и тогда, когда идентифицировала Амару Маджид, родившуюся в Америке, как террористку, которая участвовала в организации взрывов в Шри-Ланке на Пасху 2019 года{54}. Маджид, которая в то время училась в университете, сказала, что из-за ошибки системы и она сама, и ее семья испытали унижение и боль, когда их родственники из Шри-Ланки неожиданно увидели в вечерних новостях ее фотографию среди снимков обвиняемых в терроризме.

Наблюдая, как сталкиваются два его мира, Карл был вынужден признать, что ИИ-надзор имеет негативные последствия, – и задуматься о собственной роли в создании систем, которые могут ограничивать свободу индивидов и целых сообществ, живущих своей обычной жизнью. «Думаю, раньше я полагал, что создаю технологию, – сказал он, – а другие умные люди заботятся о ее регулировании. Теперь мне пришлось гораздо глубже задуматься о том, чем именно я на самом деле занимаюсь».

То, что он считал техническими недочетами, – например, тот факт, что алгоритмы гораздо более точно распознают мужские и европеоидные лица и часто ошибаются при распознавании лиц темнокожих людей и женщин, – оказалось куда более серьезной проблемой.

«Это сложное чувство. Как инженер и как ученый, я хочу создавать технологии во благо, – сказал он. – Но как человек и как чернокожий, я знаю, что люди будут использовать технологии неподобающим образом. Я понимаю, что определенным способом мою технологию можно использовать и против меня».

Я освещаю новости технологий на протяжении десяти лет, и Карл стал одним из немногих специалистов по информатике, которые открыто заявили мне о своих моральных терзаниях. Общаясь с ним, я поняла, в каких натянутых отношениях инженеры порой состоят со своими же детищами, и увидела, какие этические дилеммы встают перед ними, когда их профессиональные побуждения сталкиваются с личными.

Кроме того, он оказался одним из немногих технарей, которые интуитивно понимают, какие угрозы таит в себе технология распознавания лиц.

«Проблема не в алгоритмах – проблема в людях», – настаивает он. Он утверждает, что всякий раз, когда технология распознавания лиц дает сбой в сфере охраны правопорядка, проблемы возникают в силу человеческого фактора: из-за повышенного внимания, которое полиция проявляет к мужчинам-афроамериканцам и представителям других меньшинств, и неспровоцированного насилия полицейских в отношении чернокожих – как было с Филандо Кастилем, Джорджем Флойдом и Брионной Тейлор.

Карл знал, что технология часто дает ложные срабатывания, а люди склонны искать подтверждение своей точки зрения. Следовательно, если полицейский считает человека виновным в преступлении, а ИИ-система это подтверждает, под ударом оказываются невинные люди. «Но если это чернокожие, то кому какая разница?» – говорит Карл.

По его признанию, он опасается, что неизбежные ошибки технологии приведут к неоправданному вооруженному насилию. Он боится, что проблемы такого рода усугубят дискриминацию по расовому и любому другому признаку. Вместе с ИИ люди могут создать гораздо более опасную полицейскую систему, чем существует сегодня.

«Это все та же проблема, что возникла в период действия законов Джима Кроу в шестидесятых, ведь они предполагали сегрегацию при равенстве возможностей, но равенства никто не видел, все ограничивалось сегрегацией… люди в принципе не относятся ко всем одинаково. Законы принимают люди, и алгоритмы тоже используют люди. В конце концов, компьютеру совершенно все равно».