Флогистон был ответом восемнадцатого века на Стихийный Огонь греческих алхимиков. Подожгите дерево и дайте ему гореть. Что это за оранжево-яркая субстанция — «огонь»? Почему дерево превращается в золу? На оба эти вопроса химики восемнадцатого века отвечали: «флогистон».

. . . и на этом всё, понимаете, в этом и заключался их ответ: «Флогистон».

Флогистон высвобождался из горящих веществ в виде зримого пламени. По мере того как флогистон высвобождался, горящие вещества теряли его и таким образом превращались в золу — «истинное вещество». Пламя в закрытых сосудах гасло потому, что воздух насыщался флогистоном и больше не мог его вмещать. Древесный уголь сгорал почти без остатка, поскольку состоял из практически чистого флогистона.

Конечно, никто не использовал теорию флогистона, чтобы предсказывать результат химического превращения. Сначала вы смотрели на результат, а затем использовали теорию флогистона, чтобы объяснить его. Не то чтобы сторонники теории флогистона предсказывали, что пламя погаснет в закрытом сосуде; скорее, они зажигали огонь в сосуде, смотрели, как оно гаснет, а затем говорили: «Должно быть, воздух насытился флогистоном». Нельзя было использовать теорию флогистона даже для того, чтобы сказать, чего вы не должны увидеть; она могла объяснить всё что угодно.

Это была эпоха ранней науки. Долгое время никто не осознавал, что здесь есть проблема. Ложные объяснения не ощущаются ложными. Именно это делает их опасными.

Современные исследования показывают, что люди мыслят категориями причин и следствий, используя нечто похожее на направленные ациклические графы (НАГ) байесовских сетей. Из-за того, что пошёл дождь, тротуар мокрый; из-за того, что тротуар мокрый, он скользкий:

Из этого мы можем сделать вывод — или, в байесовской сети, строго рассчитать на языке вероятностей, — что если тротуар скользкий, то, скорее всего, прошёл дождь; но если мы уже знаем, что тротуар мокрый, то известие о том, что он скользкий, не сообщает нам ничего нового о том, шёл ли дождь.

Почему огонь горячий и яркий, когда он горит?

Это ощущается как объяснение. Оно представлено в том же когнитивном формате данных. Но человеческий разум не способен автоматически распознавать случаи, когда причина связана со следствием ни к чему не обязывающей стрелкой. Хуже того, из-за ошибки послезнания может показаться, будто причина предопределяет следствие, тогда как на самом деле её просто подогнали под результат.

Интересно, что наше современное понимание вероятностных рассуждений о причинно-следственных связях позволяет точно описать, в чём именно заблуждались сторонники теории флогистона. Одним из главных стимулов к созданию байесовских сетей послужило обнаружение проблемы двойного учёта свидетельств, когда логический вывод циркулирует между следствием и причиной. Допустим, к примеру, я получаю не совсем надёжную информацию о том, что тротуар мокрый. Это должно заставить меня подумать, что вероятность дождя выше. Но если вероятность дождя выше, разве это не увеличивает вероятность того, что тротуар мокрый? И разве это не увеличивает вероятность того, что тротуар скользкий? Но если тротуар скользкий, то он, скорее всего, мокрый; и тогда мне следует снова повысить вероятность того, что идёт дождь . . .

Джуда Перл приводит метафору алгоритма для подсчёта солдат в строю.¹ Представьте, что вы стоите в строю и видите рядом с собой двух солдат: одного впереди, другого сзади. Вместе с вами это три солдата. Вы спрашиваете стоящего позади: «Сколько солдат видишь ты?» Тот оглядывается и отвечает: «Троих». Получается в сумме шесть солдат. Очевидно, не так это делается.

Более разумный способ — спросить у солдата впереди: «Сколько солдат впереди тебя?», а у солдата позади: «Сколько солдат позади тебя?». Вопрос «Сколько солдат впереди?» можно передавать по цепочке без всякой путаницы. Если я стою в самом начале строя, я передаю сообщение «1 солдат впереди» (считая себя). Человек прямо за мной получает сообщение «1 солдат впереди» и передает сообщение «2 солдата впереди» стоящему за ним. В то же время каждый солдат также получает сообщение «N солдат позади» от стоящего сзади и передает его как «N + 1 солдат позади» стоящему впереди. Сколько солдат всего? Сложите два полученных числа и прибавьте единицу за себя — это и будет общее число солдат в строю.

Ключевая идея заключается в том, что каждый солдат должен отдельно отслеживать два сообщения — «впереди» и «позади» — и складывать их только в самом конце. Вы никогда не должны прибавлять солдат из полученного сообщения «позади» к сообщению «впереди», которое передаёте назад. Более того, общее число солдат никогда не передаётся в качестве сообщения — никто никогда не произносит его вслух.

Аналогичный принцип действует и в строгих вероятностных рассуждениях о причинно-следственных связях. Если вы узнаёте что-то о том, идёт ли дождь, из какого-то источника, отличного от наблюдения за мокрым тротуаром, это отправит прямое сообщение от «Дождя» к «Мокрому тротуару» и повысит наши ожидания увидеть тротуар мокрым. Если вы замечаете, что тротуар мокрый, это отправляет обратное сообщение к нашей убеждённости в том, что идёт дождь, и это сообщение распространяется от «Дождя» ко всем соседним узлам, за исключением «Мокрого тротуара». Мы учитываем каждое свидетельство ровно один раз; ни одно сообщение об обновлении данных никогда не «скачет» туда-сюда. Точный алгоритм можно найти в классическом труде Джуды Перла «Вероятностные рассуждения в интеллектуальных системах: сети правдоподобного вывода».

Так что же пошло не так в теории флогистона? Когда мы наблюдаем, что огонь горячий, узел «Огонь» может отправить обратное свидетельство к узлу «Флогистон», побуждая нас обновить наши убеждения о флогистоне. Но если так, мы не можем засчитать это как успешное прямое предсказание теории флогистона. Сообщение должно идти только в одном направлении и не должно возвращаться назад.

Увы, люди не используют строгий алгоритм для обновления сетей убеждений. Мы узнаём о родительских узлах, наблюдая за дочерними, и предсказываем дочерние узлы на основе убеждений о родительских. Но мы не ведём строгого раздельного учёта для обратных и прямых сообщений. Мы просто помним, что флогистон горячий, и это приводит к тому, что огонь горячий. И поэтому кажется, будто теория флогистона предсказывает горячесть огня. Или, что ещё хуже, возникает простое ощущение, что флогистон делает огонь горячим.

Пока вы не заметите, что никаких заблаговременных предсказаний не делается, причинный узел, не накладывающий ограничений, не помечается как «фальшивый». Он представлен точно так же, как и любой другой узел в вашей сети убеждений. Он ощущается как факт, подобно всем остальным известным вам фактам: Флогистон делает огонь горячим.

Правильно спроектированный ИИ заметил бы эту проблему мгновенно. Для этого даже не потребовался бы специализированный код — достаточно лишь правильного ведения учёта в сети убеждений. (К сожалению, мы, люди, не можем переписать собственный код так, как это мог бы сделать правильно спроектированный ИИ).

Разговоры об «ошибке послезнания» — это просто ненаучный способ сказать, что люди не разделяют строго прямые и обратные сообщения, позволяя прямым сообщениям искажаться обратными.

Те, кто давным-давно пошёл по пути флогистона, вовсе не стремились быть глупцами. Ни один учёный не хочет намеренно зайти в тупик. Есть ли какие-то фальшивые объяснения в вашем уме? Если да, я гарантирую, что они не помечены ярлыком «фальшивое объяснение», так что поиск в ваших мыслях по ключевому слову «фальшивый» их не обнаружит.

Из-за ошибки послезнания также недостаточно проверять, насколько хорошо ваша теория «предсказывает» уже известные вам факты. Вы должны делать предсказания на завтра, а не на вчера. Это единственный способ, позволяющий хаотичному человеческому разуму гарантированно отправить чистое прямое сообщение.

*

1. Джуда Перл, Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference (San Mateo, CA: Morgan Kaufmann, 1988).