Работая в «Тсехотсое» и бостонских отделениях неотложной помощи, Зиад замечал, что западная медицина подводит тех, кто оказывается на задворках системы: людей с небелым цветом кожи, женщин, а также всех бедных, безработных и необразованных людей. Он своими глазами видел, как сообщество навахо страдает от недостатка качественных медицинских услуг.

Он сказал мне, что проблема не только в социуме. Неравенство по умолчанию заложено даже в технологии здравоохранения. Взять, к примеру, вездесущий пульсоксиметр – прибор, который надевается на кончик пальца и измеряет уровень кислорода в крови. Этот инструмент часто встречается в кабинетах семейных врачей и дома у больных и пожилых людей, поскольку позволяет быстро и эффективно выявлять потенциально фатальные изменения в биохимических процессах организма. Он фиксирует колебания в количестве света, поглощаемого кожей человека, и на этом основании определяет процент насыщения крови кислородом.

Однако, как отметил Зиад, это устройство не делает поправку на различные уровни меланина, и исследования показывают, что пульсоксиметр хуже справляется со своей задачей в случае с темнокожими пациентами, чья кожа поглощает больше света, чем у светлокожих людей{80}. Этот прибор предвзят в силу своей конструкции. В исследовании, проведенном в 2020 году, ученые из Мичиганского университета обнаружили, что пульсоксиметр показывал значения в пределах нормы для 12% пациентов с опасно низким уровнем кислорода в крови{81}. Таким образом, прибор, который по-прежнему широко используется во всем мире в своем нынешнем виде, показывает, что дизайн технологии порой бывает дискриминационным и приводит к смертельным исходам, которых можно было бы избежать, особенно среди небелых людей.

Именно такое широко распространенное неравенство в медицине подтолкнуло Зиада к изучению ИИ как потенциального способа решения этой проблемы, и он заинтересовался тем, как основанные на данных инструменты вроде моделей машинного обучения могут помогать врачам принимать лучшие решения – и работать на благо всем пациентам. Чем глубже он в этом разбирался, тем больше крепла его уверенность в том, что такие системы выявления закономерностей привнесут в отделения неотложной помощи важные навыки, которых недостает врачам: более глубокое понимание состояния здоровья меньшинств и способность корректировать когнитивные искажения и делать более осведомленные прогнозы о жизни и смерти. Зиад полагал, что ИИ сможет не только улучшить медицинское обслуживание, но и сократить существующее неравенство.

При этом Зиад понимал, что ИИ-системы не безупречны. В конце концов, они создаются людьми, а данные, на которых они обучаются, отражают особенности общества, в котором они собраны. Это мы определяем, что учитывать и что считать эталонной «установкой» ИИ, скажем, при радиологической диагностике, и мы решаем, как взвешивать переменные, – например придавая большую ценность мнению врачей, а не опыту пациентов.

На эти решения влияют глубоко укорененные предрассудки – скажем, отношение медицинских кругов к меньшинствам и женщинам. Я уяснила, что глупо полагать, будто ИИ сам по себе обеспечивает объективность и дает навыки, которых недостает людям. Если не визуализировать эти предрассудки и не научить ИИ-системы их избегать, они будут сказываться на решениях алгоритмов так же, как на наших собственных.

В 2019 году Зиад решил оценить точность медицинских алгоритмов, которые уже использовались институтами здравоохранения. Первым делом он получил доступ к ИИ-системе, разработанной крупной американской медицинской компанией Optum. Ежегодно ее алгоритмы использовались для рекомендации дополнительного медицинского обслуживания примерно семидесяти миллионам жителей США{82}. Система здравоохранения опиралась на этот алгоритм, чтобы назначать пациентам, которые обращаются за первичной медицинской помощью, дополнительный уход – например, закреплять за ними медсестер или записывать их на повторный прием к терапевту. Цель состояла в том, чтобы не допустить ухудшения их состояния и предотвратить необходимость в госпитализации. ИИ-модели оценивали риски для каждого из пациентов, а медицинские центры по всей стране на основании этого решали, кого переводить в группу высокого риска и лечить соответствующим образом.

Изучая, как алгоритм оценивает риски для отдельных пациентов, Зиад обнаружил в данных некоторую странность: у чернокожих пациентов оценки оказывались ниже, чем можно было бы предположить, зная, как далеко в итоге зайдет их болезнь. Копнув глубже, Зиад нашел причину. Разработчики алгоритма приняли на первый взгляд вполне безобидное решение: они обучили систему оценивать здоровье человека на основании его ежегодных трат на медицинские услуги. Иными словами, модель использовала медицинские затраты, чтобы оценивать медицинские нужды{83}.

Казалось бы, в этом есть логика: заболевшие люди обычно дороже обходятся системе здравоохранения. Но проблема с этим предположением, отраженным в дизайне системы, состоит в том, что не все подходят к тратам одинаково. Меньшинства и другие социальные группы, слабо обеспеченные услугами здравоохранения, не всегда могут отпроситься с работы, чтобы сходить к врачу, или сталкиваются с дискриминацией внутри системы, которая отмахивается от них, в результате чего им назначают меньше процедур и анализов, а следовательно, их медицинское обслуживание оказывается дешевле. При этом их медицинские нужды в среднем выше, чем нужды белых пациентов с эквивалентными медицинскими затратами.

Эта ошибка разработчиков привела к возникновению в системе расовой предвзятости: модель систематически отдавала приоритет более здоровым белым пациентам, обходя стороной менее здоровых чернокожих, которые нуждались в дополнительном лечении и уходе. Ученые рассчитали, что из-за предвзятости алгоритма особый уход рекомендовали менее чем половине из тех чернокожих пациентов, которым он был необходим. «Вы тратите меньше, хотя потребности у вас точно такие же. Вот так и возникала предвзятость, которую мы обнаружили», – объяснил Зиад. Он вызвался помочь Optum переделать ИИ с опорой на данные, которые лучше отражают реальное состояние здоровья пациентов, и перенастройка системы привела к значительному снижению ее расовой предвзятости.

В отличие от предвзятостей и ошибок отдельных врачей, эта ошибка ИИ негативно сказывалась на огромном количестве чернокожих пациентов. Целый ряд других подобных систем тоже делал выводы о медицинских нуждах пациентов, анализируя их затраты на здравоохранение, и, по оценке Зиада, это сказывалось примерно на 200 миллионах американцев. И дело не ограничивалось одними США.

«Рассуждая об этой проблеме – о проблеме прогнозирования того, чье здоровье ухудшится, – мы систематически ошибались, – сказал Зиад. – Эта ошибка распространилась по всему сектору – по государственным системам медицинского страхования в США и по государственным системам здравоохранения в Европе. Все мы совершали одну и ту же ошибку».