К книге
Рациональность: от ИИ до зомби152. Утраченные цели.
46%
152. Утраченные цели.
163

То ли в детском саду, то ли в первом классе меня впервые попросили помолиться, дав транслитерацию молитвы на иврите. Я спросил, что означают эти слова. Мне ответили, что пока я молюсь на иврите, знать значение слов не обязательно — молитва всё равно сработает.

Это стало началом моего разрыва с иудаизмом.

Пока вы это читаете, какой-нибудь студент сидит в университетской аудитории и прилежно учит материал, который никогда не собирается использовать и который сам по себе ему совершенно не интересен. Он хочет высокооплачиваемую работу, а для неё нужна бумажка, а для бумажки нужна степень магистра, а для степени магистра нужен бакалавриат, а университет, выдающий диплом бакалавра, требует для выпуска прослушать курс по схемам вязания двенадцатого века. Поэтому они прилежно учатся, собираясь забыть всё в ту же секунду, когда сдадут финальный экзамен, но всё равно серьёзно трудятся, потому что хотят получить эту бумажку.

Возможно, вы понимали, что всё это безумие, но держу пари, всё равно так делали. У вас ведь не было выбора? Недавнее исследование здесь, в Районе залива, показало, что 80% учителей начальных классов (с подготовительного по пятый) тратят на естественные науки меньше часа в неделю, а 16% заявили, что вообще не уделяют им времени. Почему? Насколько я понимаю, непосредственная причина — закон «Ни одного отстающего ребенка» (No Child Left Behind) и аналогичные законодательные акты. Практически всё учебное время теперь уходит на подготовку к тестам, установленным на уровне штата или федерации. Мне помнится (хотя источник я найти не могу), что в одной школе только сдача обязательных тестов занимала 40% учебного времени.

Старая советская бюрократия славилась тем, что видимость для неё была важнее реальности. Одна обувная фабрика перевыполнила план, нашив кучу крошечных детских ботинок. Другая обувная фабрика отчиталась о раскроенной, но не сшитой коже как о «готовой обуви». Вышестоящие чиновники не горели желанием копать слишком глубоко, ведь им тоже хотелось отчитаться о перевыполнении плана. Всё это невероятно помогло товарищам, у которых отмерзали ноги.

Сейчас в нескольких источниках высказывается предположение, что действительно большинство опубликованных результатов медицинских исследований, несмотря на «статистическую значимость при p < 0,05», не соответствуют действительности. Но пока p < 0,05 остается порогом для публикации, с какой стати кому-то придерживаться более строгих стандартов, если это требует более крупных грантов для увеличения экспериментальных групп и снижает вероятность публикации? Ведь все знают, что весь смысл науки — в публикации пачек статей, точно так же как весь смысл университета — в печати определенных кусков пергамента, а весь смысл школы — в сдаче обязательных тестов, гарантирующих годовой бюджет. Не вы устанавливаете правила игры, и если вы попытаетесь играть по другим правилам, то просто проиграете.

(Хотя по какой-то причине физические журналы требуют порога p < 0,0001. Будто они видят какую-то иную цель своего существования, помимо публикации статей по физике.)

В супермаркете есть шоколад; добраться до супермаркета можно на машине, а поездка на машине требует, чтобы вы находились внутри, что означает необходимость открыть дверь машины, для чего нужны ключи. Если окажется, что в супермаркете нет шоколада, вы не станете стоять и то открывать, то захлопывать дверь машины просто потому, что дверь всё ещё нужно открыть. Я редко замечаю, чтобы люди теряли из виду смысл планов, которые разработали сами.

Другое дело, когда стимулы должны проходить через крупные организации — или, что ещё хуже, множество различных организаций и групп интересов, часть из которых государственные. В таких случаях можно наблюдать поведение, которое сочли бы абсолютным безумием, исходи оно от одного человека. Кому-то платят каждый раз, когда он открывает дверь машины, потому что это поддается измерению; и этому человеку плевать, заплатят ли водителю за прибытие в супермаркет, не говоря уже о том, купит ли покупатель шоколад и будет ли счастлив или голоден тот, кто должен его съесть.

С байесовской точки зрения подцели — это эпифеномены функций условной вероятности. Ожидаемой полезности не существует без самой полезности. Насколько глупо думать, будто инструментальная ценность может зажить собственной математической жизнью, оставив терминальную ценность далеко позади? С позиций теории принятия решений такое поведение никак нельзя назвать разумным.

Но посмотрите на закон «Ни одного отстающего ребенка». Политики хотят показать, будто они что-то делают с проблемами в образовании; политикам нужно выглядеть занятыми в глазах избирателей прямо в этом году, а не через пятнадцать лет, когда дети пойдут искать работу. Политики — не потребители образования. Бюрократы должны демонстрировать прогресс, а значит, их интересует только тот прогресс, который можно измерить в этом году. Не они в итоге останутся без элементарных научных знаний. Издатели, заказывающие учебники, и комитеты, закупающие их, не сидят в классах, изнывая от смертной скуки.

Настоящие потребители знаний — дети, которые не могут платить, не могут голосовать, не могут заседать в комитетах. Их родители заботятся о них, но сами на уроках не сидят; они могут призывать политиков к ответу лишь по внешней картинке того, насколько те «суровы в вопросах образования». Сами политики слишком заняты перевыборами, чтобы изучать все данные; им приходится полагаться на внешнюю видимость того, что бюрократы заняты делом и заказывают исследования — это может и не помочь ни одному ребенку, зато позволяет политикам выглядеть заботливыми. Бюрократы сами не собираются пользоваться учебниками, поэтому им плевать, насколько те отвратительны для чтения, лишь бы процесс их закупки выглядел пристойно с виду. У издателей учебников нет причин намеренно выпускать плохие книги, но они знают, что комитет по закупкам будет сравнивать учебники по количеству охваченных тем, а комитет по закупкам для четвертого класса никак не координирует свои действия с комитетом для третьего класса, поэтому они впихивают в один учебник как можно больше тем. Учителя не пройдут и четверти учебника до конца года, а в следующем году учитель другого класса начнет все сначала. Учителя могут жаловаться, но не они принимают решения, да и на кону в конечном счете не их будущее, что накладывает жесткие ограничения на то, сколько усилий они готовы тратить на неоплачиваемый альтруизм...

Удивительно, если посмотреть на это с такой стороны — учтя всю потерянную информацию и упущенные стимулы, — что от первоначальной цели, получения знаний, вообще хоть что-то остается. Хотя многие образовательные системы сейчас, похоже, находятся в процессе скатывания к состоянию, которое ненамного лучше полного нуля.

Хотите увидеть, как эта проблема решится по-настоящему? Заставьте политиков ходить в школу.

Один человеческий разум способен отслеживать вероятностное ожидание полезности, пока оно протекает через условные шансы дюжины промежуточных событий — включая нелокальные зависимости, то есть случаи, когда ожидаемая полезность открытия двери автомобиля зависит от того, есть ли в супермаркете шоколад. Но организации могут вознаграждать сегодня только то, что измеримо сегодня, что можно прямо сегодня вписать в юридический контракт, а это означает измерение промежуточных событий, а не их отдаленных последствий. Эти промежуточные показатели, в свою очередь, представляют собой дырявые обобщения — зачастую очень дырявые. Бюрократы — ненадежные джинны, поскольку они не разделяют ценностей того, кто загадывает желание.

Миямото Мусаси говорил:1

Когда берешь в руки меч, главное — это твое намерение зарубить врага, какими бы ни были средства. Всякий раз, когда ты парируешь, отбиваешь, уклоняешься, бьешь или касаешься меча противника, ты должен зарубить врага тем же самым движением. Крайне важно достичь этого. Если ты думаешь только о том, чтобы отбить, уклониться, ударить или коснуться противника, ты не сможешь по-настоящему зарубить его. Прежде всего ты должен думать о том, чтобы довести свое движение до конца и зарубить его. Вы должны тщательно исследовать это.

(Жаль, что я не живу в эпоху, когда мог бы просто сказать своим читателям, что они должны тщательно исследовать вопрос, не нанося им этим оскорбления.)

Почему отдельный человек может потерять из виду свою цель в бою на мечах? Если его учил драться кто-то другой, если он не породил все это искусство внутри самого себя, он может не понимать причин, по которым в один момент нужно парировать, а в другой — уклоняться; он может не осознавать, когда из правил бывают исключения, и не замечать моментов, когда привычный метод не позволит разрубить соперника.

Суть искусства эпистемической рациональности состоит в том, чтобы понимать, как каждое правило тем же самым движением прорубает путь к истине. Соответствующая суть прагматической рациональности (теории решений, в отличие от теории вероятностей) — всегда видеть, как любое ожидание полезности прорубает путь к самой полезности. Вы должны тщательно исследовать это.

К. Дж. Черри сказала:2

У твоего меча нет клинка. Есть только твое намерение. Когда оно сбивается с пути, у тебя нет оружия.

Я видел многих людей, сбивавшихся с пути, когда они загадывали желания джинну воображаемого ИИ, выдумывая одно за другим желания, казавшиеся им хорошими, порой снабжая их кучей заплаток, а порой обходясь и вовсе без этой видимости осторожности. И они не переходят на метауровень. Они не смотрят инстинктивно на саму цель — этот инстинкт в возрасте пяти лет и направил меня по пути к атеизму. Они не спрашивают себя, как рефлекторно спрашиваю я: «Почему я считаю это желание хорошей идеей? Рассудит ли джинн так же?» Они не видят источника собственного суждения, незримо стоящего за ним в качестве его генератора. Они упускают мяч из виду; они знают, что мяч отскочил, но у них нет инстинктивного желания оглянуться и посмотреть, откуда он отскочил, — то есть увидеть критерий, породивший их суждения.

Точно так же люди автоматически не замечают, как якобы эгоистичные люди приводят альтруистические аргументы в пользу эгоизма, а якобы альтруистичные — эгоистичные аргументы в пользу альтруизма.

Люди прекрасно справляются с отслеживанием целей при поездке в супермаркет — если всё это целиком происходит у них в голове, без участия джиннов, бюрократии или философии. Беда в том, что реальная цивилизация устроена неизмеримо сложнее. Десятки организаций и десятки лет вклиниваются между ребенком, страдающим за школьной партой, и новоиспеченным выпускником вуза, который не слишком хорошо справляется со своей работой. (Но заметит ли интервьюер или менеджер, если выпускник умеет искусно создавать видимость занятости?) С каждым новым звеном, встающим между действием и его последствием, у намерения появляется еще одна возможность сбиться с пути. С каждым промежуточным звеном теряется информация, теряется стимул. И большинство людей это беспокоит гораздо меньше, чем меня — иначе почему все мои одноклассники соглашались читать молитвы, не понимая их смысла? Они не чувствовали того же инстинктивного стремления смотреть на сам генератор.

Могут ли люди научиться не упускать мяч из виду? Не давать своему намерению сбиться с пути? Никогда не уклоняться, не наносить ударов и не касаться противника, не зная высшей цели, которую они достигнут тем же движением? Люди действительно часто хотят делать свою работу, при прочих равных. Может ли существовать разумная корпорация? Или даже разумная цивилизация? Это лишь далекая мечта, но именно к этому я вел во всех этих эссе о потоке намерений (он же ожидаемая полезность, она же инструментальная ценность) без утраты цели (она же полезность, она же терминальная ценность). Могут ли люди научиться чувствовать поток родительских и дочерних целей? Понимать как сознательно, так и подспудно разницу между ожидаемой полезностью и полезностью?

Заботят ли вас угрозы вашей цивилизации? Худшая метаугроза для сложной цивилизации — это её собственная сложность, ибо это усложнение ведёт к утрате многих целей.

Оглядываясь назад, я вижу, что более всего остального моей жизнью двигало исключительно сильное отвращение к утраченным целям. Надеюсь, его можно превратить в приобретаемый навык.

*

1. Миямото Мусаси, «Книга пяти колец» (New Line Publishing, 2003).

2. Кэролайн Дж. Черри, «Паладин» (Baen, 2002).

Предыдущая главаГлава 163 из 354Следующая глава