В главе 3 мы обсуждали перспективные направления работы над преимуществами простых моделей, а также рост возможностей поиска оптимальной простой модели. Но эта прозрачность может быть двусмысленной. Исследования показывают, что люди склонны больше доверять прозрачным моделям, даже если те ошибочны и доверять им нельзя [805].

Существует и другой парадокс: крайне трудно объяснить, почему конкретная простая модель оптимальна. Полноценный ответ на этот вопрос, скорее всего, будет узкоспециализированным и весьма объемным.

Кроме того, если взять любую простую модель, можно задать закономерные вопросы: откуда взялся набор ее возможных параметров и какой человеческий процесс привел к созданию этого инструмента [806]. Эти вопросы связаны с прозрачностью и естественны для людей, общества и политики – но не характерны для машинного обучения.

При разработке архитектуры, которая дает визуальные или вербальные объяснения, нужно учитывать ряд рисков. Исследования подтверждают возможность существования «состязательных объяснений»: две системы могут вести себя почти идентично, но при этом приводить совершенно разные обоснования своего поведения [807].

Способность убедительно объяснять чье‐либо поведение обладает большой силой – независимо от того, правдивы эти объяснения или ложны. Когнитивные психологи, такие как Уго Мерсье и Дэн Сперберг, нередко отмечают, что человеческая способность к рассуждению развилась не столько для принятия лучших решений и формирования более точных представлений о мире, сколько для того, чтобы побеждать в спорах и убеждать других [808]. Здесь требуется осторожность. Мы не должны создавать системы, которые лишь создают видимость объяснения или ощущение, что мы их понимаем. Такие системы могут использовать свою способность к объяснению обманчиво: мы рискуем выбрать оптимальное решение, которое на деле окажется виртуозной формой лжи.

В целом, даже если мы требуем от системы правдивых объяснений, сама возможность системы убедительно себя объяснять может помочь нам ее контролировать. Однако если мы поддадимся влиянию «доказательной теории рассуждений», это может позволить системе контролировать нас.