Подразумевается, что правила ясны, единообразны и всем доступны. Как все мы знаем, в действительности так бывает редко.

Предоставление огромного количества информации без адекватной структуры и документации – это не прозрачность.

В середине 1990‐х Рич Каруана из Microsoft был студентом магистратуры в университете Карнеги – Меллона. Рич работал с нейросетями, когда его научный руководитель Том Митчелл попросил помочь в одном деле.

Митчелл работал над амбициозным междисциплинарным проектом, охватывающим несколько организаций и объединяющим биостатистиков, специалистов по информатике, философов и врачей. Они изучали пневмонию. Когда пациенту ставился этот диагноз, больнице необходимо было быстро принять критически важное решение: госпитализировать его или лечить амбулаторно, то есть оставить в больнице и отслеживать состояние или отпустить домой. В то время пневмония была шестой по частоте причиной смерти в Соединенных Штатах, примерно 10 % больных умирали. Верно определить, кто из пациентов находится в группе риска, значило спасти чьи‐то жизни.

Группа получила набор данных о примерно пятнадцати тысячах больных пневмонией. Задачей было создать модель машинного обучения, прогнозирующую выживаемость пациентов, что помогло бы разделять новых пациентов на потоки. В результате получился своего рода конкурс разных моделей машинного обучения: логистическая регрессия, обучение, основанное на правилах, байесовский классификатор, дерево принятия решений, метод ближайших соседей, нейросеть – всех не перечислить [216].

Каруана работал с нейросетями (в 1990‐е последним словом науки были не глубокие, а широкие нейросети) и не без гордости представил свои результаты. Нейросеть победила с легкостью. Она оказалась лучшей из сложных моделей и со значительным отрывом превзошла более традиционные статистические методы, такие как логистическая регрессия [217].

Группа написала в отчете: «Даже небольшие улучшения в прогнозе для широко распространенных заболеваний с дорогостоящим лечением, таких как [пневмония], скорее всего, приведут к значительным улучшениям в качестве и эффективности оказания медицинской помощи. Таким образом, важен поиск моделей с самым высоким возможным уровнем прогностических показателей» [218].

Поэтому вполне естественно, что больница Питтсбурга, которая была партнером исследования, решила внедрить самую высокопроизводительную модель. Ведь так?

«Мы заговорили о том, безопасно ли использовать нейронную сеть, когда речь идет о жизни людей, – рассказывает Каруана [219]. – И я сказал: „Черт побери, нет, мы не будем использовать эту нейросеть на пациентах!“»

В итоге они внедрили одну из более простых моделей, которую нейросеть легко опережала. И вот почему.