Природа скрывает свои секреты за счет присущей ей высоты, а не путем уловок.

Объяснение причин – это антитеза власти. Когда голос власти умолкает, говорит голос разума. И наоборот.

Рич Каруана – далеко не единственный, кто в последние годы так или иначе пришел к мысли: «Вот черт! У нас и правда здесь проблема!» По мере того как модели машинного обучения распространяются в инфраструктуре принятия решений по всему миру, многие начинают чувствовать себя неуютно, сознавая, как мало знают о том, что происходит внутри моделей.

Каруана ощущает себя особенно неуютно, когда пользуется большими нейросетями, поскольку они давно имеют репутацию «черных ящиков». При том, что нейронные сети очень быстро проникают во все сферы – от промышленности до медицины и вооруженных сил, – все больше людей охватывает такое же волнение.

В 2014 году руководитель группы проектов Управления перспективных исследовательских проектов министерства обороны США (Defense Advanced Research Projects Agency, DARPA) Дэйв Ганнинг говорил с Дэном Кауфманом, директором подразделения инноваций в информационных технологиях. «Мы обдумывали разные идеи того, что может делать ИИ, – рассказывал Ганнинг [228]. – Мы отправили целую группу специалистов по теории и методам анализа данных в Афганистан, чтобы работать с информацией и пытаться найти схемы, которые могут быть полезны для военных истребителей. И они уже начали замечать, что эти методы машинного обучения усваивают интересные схемы, но их пользователи часто не могут объяснить почему». Быстро развивающийся набор инструментов мог оценивать финансовые записи, информацию о передвижениях, логи сотовых телефонов и многое другое, чтобы определить, не планируют ли люди забастовку. «Могли возникать подозрительные паттерны, – рассказывал Ганнинг, – но теперь хотелось понять почему». Объяснить это они не могли.

Примерно в то же время Ганнинг побывал на собрании, организованном системой разведорганов в лаборатории аналитических наук университета штата Северная Каролина. Семинар собрал исследователей машинного обучения и экспертов по визуализации данных. «В аудитории был правительственный аналитик разведки. Она слушала, как мы говорим обо всем, что может делать технология машинного обучения, – вспоминал Ганнинг, – и была настроена непреклонно. Ее проблема состояла в том, что она уже использовала алгоритмы больших данных, и те давали ей рекомендации. Но чтобы передать их наверх, ей приходилось под ними подписываться. И ее оценивали – и могли уволить, – основываясь на том, верны ли те рекомендации. Но она не понимала их логики». Должна ли она ставить свою фамилию под документом? И на каких основаниях ей следует принимать решения?

С развитием компьютерных технологий специалисты в области обороны обнаружили, что им все чаще приходится задумываться о том, как могло бы выглядеть автоматизированное сражение, о рисках и проблемах автономного оружия. Многие из этих вопросов и проблем по сей день остаются теоретическими.

«В области проблем анализа разведданных эти системы уже существуют, и люди их используют, – говорит Ганнинг. – Понимаете, что я имею в виду? Проблема уже есть. И ее нужно решать».

В течение двух лет Ганнинг стал руководителем многолетней программы DARPA, пытающейся решить эту проблему. Он назвал проект XAI: Explainable Artificial Intelligence (Объяснимый искусственный интеллект).

На другой стороне Атлантического океана Европейский союз готовился принять «Общий регламент ЕС по защите данных» (General Data Protection Regulation, GDPR). Он вступал в силу в 2018 году и полностью менял то, как компании собирают и хранят информацию, как делятся ею и используют ее онлайн. Регламент – все 260 страниц – стал одним из важнейших документов в истории конфиденциальности данных. В нем было и кое-что более интересное и интригующее и, возможно, не менее значительное.

Брайс Гудман, который осенью 2015 года работал в Оксфордском институте Интернета, изучал черновик законопроекта, и вдруг кое-что привлекло его внимание. «Я немного знал о машинном обучении и о том, что его лучшие методы не всегда прозрачны и интерпретируемы, – рассказывал он. – И тут я наткнулся на это. В первых черновиках GDPR эта мысль была выражена куда более явно… Там говорилось, что у людей есть право потребовать объяснения алгоритмических решений [229].

Меня заинтересовало, что появляются законодательные акты и что кто‐то выступает вперед и открыто говорит о проблеме».

Гудман обратился к своему коллеге из Оксфорда Сету Флаксману, недавно получившему PhD в области машинного обучения и общественной политики.

– Слушай, недавно я кое-что прочитал в GDPR, – сказал Гудман. – И, кажется, это будет проблемой.

– Да, похоже, так и будет, – ответил Сет.

Если вам отказали в выдаче ссуды, не дали кредитную карту, заключили под стражу до суда или отказали в УДО и с этим была как‐то связана система машинного обучения, у вас есть право узнать не только о том, что произошло, но и о том почему.

Весной 2016 года GDPR был официально принят Европейским парламентом, и волосы руководителей компаний технического сектора встали дыбом. Юристы описывали переговоры с законодателями Евросоюза. «Понимаете, – пытались объяснить первые, – дать вразумительные объяснения работе глубокой нейронной сети – это неразрешимая научная проблема». Как писали Гудман и Флаксман, для этого «может потребоваться полный пересмотр стандартов и широко используемых алгоритмических методов». Но законодатели ни на сантиметр не сдвинулись со своей позиции: «У вас есть время до 2018 года».

Один исследователь подытожил: «Они дали нам два года на решение огромной научной проблемы».

Сейчас GDPR уже действует, хотя ожидания европейских законодателей – как выглядит приемлемое объяснение, кому оно дается и в какой ситуации, – все еще разрабатываются. Тем временем прозрачность, то есть способность понимать, что происходит внутри модели машинного обучения и почему она ведет себя таким образом, превратилась в одну из самых заметных и приоритетных задач отрасли. Работа над ней продолжается полным ходом, но на сегодняшний день успехов удалось добиться не на всех фронтах. Вот что нам предстоит узнать.