Ричард Амбросино, один из ученых, участвовавших в проекте, готовил по тому же набору данных совершенно другую модель с обучением, основанном на правилах. Она из тех систем машинного обучения, работу которых проще всего понять: они обычно имеют вид списка правил в виде «если x, тогда y». Вы просто читаете список сверху вниз, и как только правило подходит, останавливаетесь. Представьте графическую схему программы, которая не разветвляется и выглядит как единая ветка, выполняющаяся сверху вниз: «Это правило выполняется? Если да, вот ответ. Если нет, продолжайте читать». Этим модели с обучением, основанным на правилах, напоминают условные выражения или операторы переключения в традиционном программировании; они также во многом похожи на то, как думают и пишут люди. (Более сложные модели используют не списки, а наборы, где многочисленные правила применяются одновременно.) [220]

Амбросино создавал основанную на правилах модель, используя данные по пневмонии. Однажды вечером, обучая модель, он заметил, что она усвоила правило, которое выглядело очень странным: «Если у пациента в анамнезе есть астма, то он попадает в группу с низким риском и может лечиться амбулаторно».

Амбросино не знал, что делать с этим открытием. Он показал его Каруане. Тот вспоминал: «Он говорит: „Рич, как ты думаешь, что это значит? Бессмыслица какая‐то“. Странно, заболев пневмонией, радоваться, что у тебя астма». Пара исследователей пришла на следующее собрание группы, где присутствовало несколько врачей. Возможно, доктора медицины смогут объяснить то, перед чем пасуют специалисты в информатике. «Они сказали: „Вы знаете, возможно, это реальная схема действий из наших данных. … Мы считаем астму таким серьезным фактором риска для пациентов с пневмонией, что не просто кладем их в больницу… А можем сразу поместить их в отделение интенсивной терапии или реанимацию“.

Другими словами, корреляция, которую выявила основанная на правилах система, была верной. Астматики действительно в среднем умирали от пневмонии реже, чем здоровое население в целом. Но именно из-за высокого уровня медицинской помощи, которую они получали. «Так что помощь, которую получают астматики и которая уменьшает для них риск, – это именно то, в чем модель отказывала этим пациентам, – поясняет Каруана. – Думаю, проблема ясна». Модель, рекомендующая астматикам амбулаторное лечение, была не просто неправа, она угрожала их жизни [221].

Глядя на странную логику, которую обнаружила основанная на правилах модель, Каруана тут же понял, что его нейронная сеть должна была использовать ту же самую логику, просто это было не так очевидно.

Поправить или отредактировать основанную на правилах систему достаточно просто, нейросеть «исправить» труднее, хотя ничего невозможного в этом нет. «Я не знал, где именно в нейросети проблема, но знал, что так или иначе мог ее решить, – вспоминает Каруана. – В процессе я мог опубликовать больше статей – это хорошо, – и избавиться от проблемы. Я бы сказал, что причина, по которой мы не стали внедрять нейросеть, была не в астме, потому что о ней я тогда уже знал.

Меня беспокоили вещи, которым нейросеть научилась, которые были столь же рискованными, как и астма, но основанная на правилах модель их не усвоила». Поскольку нейросеть более гибка, а ее мощность выше, она может научиться вещам, которых «не знает» основанная на правилах система. Это, в конце концов, и дает нейросетям преимущество, поэтому нейронная сеть Каруаны и выиграла внутреннее соревнование группы. «Есть вещи, из-за которых мы не стаем использовать эту модель. Потому что не знаем, что нуждается в исправлении. Таким образом, проблема прозрачности нейросети в конце концов заставила меня отказаться от нее. Это очень долго меня беспокоило. Потому что самые точные модели машинного обучения часто не обладают прозрачностью в необходимой степени. А я человек, занимающийся машинным обучением. Так что мне нужны точные и безопасные модели».

В отрасли часто замечают, что самые точные модели наименее понятны, а самые понятные менее точны. «Это меня злило, – рассказывает Каруана. – Я хотел заниматься машинным обучением в области здравоохранения. Нейросети действительно хороши, они точны, но не обладают прозрачностью и недоступны для восприятия, и я думаю, что это опасно. Так что, наверное, мне не стоило заниматься тем, чем я хотел» [222]. Но вместо этого Каруана решил провести следующие двадцать лет, разрабатывая модели, которые стараются взять лучшее из обеих сфер, которые в идеале будут так же точны, как нейросети, и так же прозрачны и понятны, как список правил.

Один из его фаворитов – это архитектура под названием «обобщенные аддитивные модели», впервые представленная статистиками Тревором Хасти и Робертом Тибширани в 1986 году [223]. Обобщенная аддитивная модель – это коллекция графиков, каждый из которых представляет собой влияние единственной переменной. Например, один график может показывать риск в виде функции от возраста, другой – от уровня кровяного давления, третий – от температуры или частоты сердечных сокращений и так далее. Эти графики могут быть линейными, криволинейными или чрезвычайно сложными, но эта сложность может быть немедленно визуализирована, стоит только посмотреть на график. Затем отдельные риски с одной переменной просто складываются, и получается окончательный прогноз. Таким образом, этот метод значительно сложнее, чем, скажем, линейная регрессия, но его куда проще интерпретировать, чем нейронную сеть. В старом плоском двумерном графике вы можете визуализировать каждый фактор, входящий в модель. Любые странные схемы тут же становятся заметными.

Через много лет после своего первого исследования пневмонии Каруана взял ту же базу данных и создал обобщенную аддитивную модель для ее изучения. Оказалось, что эта модель так же точна, как его старая нейронная сеть, и обладает куда большей прозрачностью. К примеру, он представил риск смерти от пневмонии как функцию от возраста. Вывод соответствовал ожиданиям: если у вас пневмония, вам лучше быть молодым или в среднем возрасте – чем вы старше, тем больше опасность. Но была одна удивительная вещь: внезапный резкий скачок в возрасте 65 лет. Странно, что один день рождения запускал такой всплеск риска. Что же произошло? Каруана понял, что модель сумела усвоить влияние выхода на пенсию. «Правда, раздражает, что это может быть опасным? Вы надеетесь, что, как только выйдете на пенсию, риск уменьшится; грустно, но он только возрастет» [224].

Куда важнее то, что чем внимательнее Каруана изучал свою модель, тем больше проблемных связей замечал. Он боялся, что его старая нейросеть усвоила не только проблемную корреляцию с астмой, но и другие подобные соотношения, при этом простым, основанным на правилах моделям того времени не хватало мощности, чтобы показать, что еще могло проскочить в нейронную сеть. Теперь, двадцать лет спустя, у него были мощные интерпретируемые модели. Это как получить более мощный микроскоп и неожиданно увидеть пылевых клещей на своей подушке и бактерии на коже.

«Я смотрел на нее и думал: о боже, не могу поверить! Она считает, что боль в груди – это хорошо. Она полагает, боль в сердце – еще лучше. Она считает, что весить больше 100 кг – просто отлично… Она считает хорошим все, что для пациента плохо» [225].

Во всем этом здравого смысла было не больше, чем в ситуации с астмой: корреляции были абсолютно реальными, но они вытекали из того, что подобных пациентов в первую очередь отправляли в палаты интенсивной терапии, и именно поэтому они выживали с большей вероятностью.

«Слава Богу, – говорит Каруана, – что мы не внедрили нейронную сеть».

Сегодня Каруана утверждает, что оказался в положении, отличным от ситуаций большинства исследователей. Он продолжает разрабатывать архитектуру модели, которая обещает такую же точность прогнозов, как у нейронной сети, но при этом остается понятной. Но вместо того, чтобы продвигать решение собственного изобретения – к примеру, продвинутую версию обобщенной аддитивной модели [226], – он говорит о самой проблеме. «Все совершают такие ошибки, – рассказывает Каруана. – Я сам делал их много десятков лет и даже не подозревал о них.

Сейчас моя цель – напугать людей. Ужаснуть их. Я пойму, что добился успеха, если они остановятся и подумают: „Вот черт! У нас и правда здесь проблема!“»