Я смутно помню (насколько вообще смутна человеческая память), когда впервые осознал себя «байесовцем». Кто-то как раз некорректно сформулировал старую вероятностную задачу:

«Если я встречу на улице женщину-математика, и она скажет: „У меня двое детей, и как минимум один из них — мальчик“, какова вероятность того, что у неё оба мальчика?»

В правильной версии этой истории математик говорит: «У меня двое детей», вы спрашиваете: «Есть ли среди них хотя бы один мальчик?», и она отвечает: «Да». Тогда вероятность того, что оба ребёнка — мальчики, равна 1/3.

Но в искажённой версии — как я тогда указал — здравый смысл подсказывает следующее рассуждение:

Если у математика мальчик и девочка, то моя априорная вероятность того, что она скажет «по крайней мере один из них — мальчик», равна 1/2, а априорная вероятность того, что она скажет «по крайней мере один из них — девочка», тоже равна 1/2. Нет причин априори полагать, будто математик упомянет девочку только в том случае, если нет иной альтернативы.

Я указал на это и рассчитал ответ по правилу Байеса, получив вероятность 1/2 того, что оба ребёнка — мальчики. Не уверен, знал ли я на тот момент, что это правило называется именно так, но воспользовался я именно им.

И тут кто-то сказал мне: «Ну, то, что вы сейчас привели, — это байесовский ответ, а в ортодоксальной статистике ответ — 1/3. Мы просто исключаем невозможные варианты и подсчитываем оставшиеся, не пытаясь угадать вероятность того, что математик скажет то или это, поскольку у нас нет возможности узнать эту вероятность наверняка — она слишком субъективна».

Я возразил — заметьте, совершенно спонтанно: «Что вы вообще имеете в виду? Нельзя избежать приписывания вероятности тому или иному высказыванию математика. Вы просто предполагаете, что эта вероятность равна единице, а это ничем не обосновано».

На что собеседник ответил: «Да, именно это и говорят байесовцы. Но частотники в это не верят».

И я изумлённо спросил: «Как вообще может существовать небайесовская статистика?»

Именно тогда я обнаружил, что принадлежу к типу людей, называемому «байесовцами». Насколько я могу судить, я таким родился. Моя математическая интуиция была устроена так, что всё, о чём говорили байесовцы, казалось абсолютно логичным и простым — очевидным решением, которое я и сам бы принял; в то время как рассуждения частотников звучали как изощрённое, извращённое, безумное богохульство грезящего Ктулху. Я не выбирал становиться байесовцем, как и рыбы не выбирают дышать водой.

Но это не то, что я называю своим «байесовским просветлением». Впервые услышав о «байесианстве», я счёл его очевидным и не стал копать намного глубже самого правила Байеса. В то время я всё ещё относился к теории вероятностей как к инструменту, а не как к закону. Я не думал, что существуют математические законы интеллекта (моя лучшая и худшая ошибка). Как и почти все, кто грезил об AGI, Элиезер₂₀₀₁ года мыслил категориями техник, методов, алгоритмов, собирая ящик, полный крутых штук, которые он мог бы делать; он искал инструменты, а не понимание. Правило Байеса было отличным инструментом, применимым в удивительно большом количестве случаев.

Затем произошло моё посвящение в тему эвристик и когнитивных искажений. Всё началось с того, что я наткнулся на веб-страницу, созданную на основе вводной презентации в PowerPoint по поведенческой экономике. Там вскользь, без каких-либо ссылок, упоминались некоторые результаты исследований эвристик и искажений. Я был настолько поражён, что написал автору по электронной почте, чтобы спросить, был ли это настоящий эксперимент или просто байка. В ответ он прислал мне скан статьи Тверски и Канемана 1973 года.

Как ни стыдно признаться, моя история началась не совсем тогда. Я просто внёс эту тему в список того, с чем нужно разобраться. Я знал, что существует сборник статей «Принятие решений в неопределенности: Правила и предубеждения», но никогда его не видел. В то время я рассуждал так: если книги нет в онлайне, я попробую обойтись без неё. У меня в стопке для чтения и так было полно всего, а простого доступа к университетской библиотеке не имелось. Думаю, я упомянул об этом в какой-то рассылке, потому что Эмиля Гиллиама возмутила моя позиция «если нет в интернете, то и не надо», и он купил мне эту книгу.

За этот поступок ему, пожалуй, стоит начислить немало очков.

Но и это не то, что я называю своим «байесовским просветлением». Это был важный шаг к осознанию неполноценности моих навыков Традиционной Рациональности — к пониманию того, как много всего существует во внешнем мире, всей этой новой науки, выходящей далеко за рамки простого следования советам Ричарда Фейнмана. И то, что в программе исследований эвристик и искажений Байес превозносился как золотой стандарт, помогло продвинуть моё мышление вперёд — но всё же не до конца.

Память — штука хрупкая, а моя, кажется, стала ещё более хрупкой, чем у большинства, с тех пор как я узнал, что воспоминания воссоздаются заново при каждом припоминании — такова уж научная правда об их хрупкости. Действительно ли у других людей память лучше, или они просто доверяют деталям, которые выдумывает их мозг, хотя на самом деле помнят не больше моего? Моя догадка: у других людей действительно лучше память на определённые вещи. Мне довольно легко запоминать структурированные научные знания, но разрозненный хаос повседневной жизни улетучивается из моей головы очень быстро.

Я знаю, почему те или иные события происходили в моей жизни — это причинно-следственная структура, её я вполне могу помнить. Но иногда мне трудно вспомнить даже то, в каком порядке происходили эти события, не говоря уже о том, в каком году.

Я не уверен, прочитал ли я книгу Э. Т. Джейнса «Теория вероятностей: Логика науки» до или после того дня, когда осознал масштаб собственной глупости и понял, что столкнулся со взрослой проблемой.

Но именно «Теория вероятностей» сделала своё дело. Теория вероятностей представала здесь не просто ловким инструментом, но Правилами, нерушимыми под угрозой парадокса. Если вы пытались приблизительно следовать этим Правилам, потому что использовать их напрямую было вычислительно слишком дорого, то — каким бы неизбежным ни был этот компромисс — вы всё равно в итоге действовали неоптимально. Джейнс проводил свои вычисления разными способами, показывая, что при использовании корректных методов всегда получается один и тот же ответ; он приводил другие ответы, к которым приходили остальные, и выслеживал некорректный шаг. С его точностью парадоксы не могли сосуществовать. Не какой-то ответ, а тот самый ответ.

И вот — оглядываясь назад на свои ошибки и на все те «какие-то» ответы, которые привели меня к парадоксам и смятению, — я сообразил, что передо мной уровень выше моего собственного.

Я больше не мог представить себе, как можно пытаться построить ИИ на основе смутных ответов — подобных тем «каким-то» ответам, что я придумывал раньше, — и выжить при этом.

Я посмотрел на горе-создателей ОИИ, с которыми пытался спорить о Дружественном ИИ, и на их разнообразные мечты о дружественности. (Часто формулируемые спонтанно прямо в ответ на мой вопрос!) Как и в случае с частотными статистическими методами, никакие две их версии не согласовались друг с другом. Посвятив полноценному изучению этой темы несколько лет, я кое-что знал о проблемах, с которыми неизбежно столкнутся их полные надежд планы. И я понял, что если вы говорите: «Я не вижу, почему это должно провалиться», то ваше «не знаю» — лишь отражение вашего собственного невежества. Мне было ясно: если я сам буду придерживаться того же стандарта «это кажется хорошей идеей», я тоже буду обречён. (Очень похоже на то, как сторонник частотного подхода изобретает потрясающие новые статистические вычисления, которые просто кажутся хорошими идеями.)

Но если нельзя делать то, что кажется хорошей идеей, — если нельзя делать то, в чём вы просто не способны вообразить провал, — то что же тогда делать?

Мне казалось, что для решения взрослой проблемы и выживания потребуется уровень Джейнса: не «вот моя блестящая идея», а скорее «вот единственный верный способ сделать это (и вот почему)». Если бы я достиг такого же мастерства в своей области, какого Джейнс достиг в теории вероятностей, тогда было бы хотя бы мыслимо, что я попытаюсь построить Дружественный ИИ и выживу.

В моей памяти вспыхнул отрывок:

Не делай ничего из соображений праведности, благородства или ради похвалы; не делай ничего только потому, что это кажется благом; делай лишь то, что ты обязан сделать и чего не можешь сделать никак иначе.¹

Следование тому, что казалось правильным, лишь сбивало меня с пути.

И тогда я полностью остановился.

И решил, что отныне буду следовать стратегии, которая могла бы спасти меня, примени я её много лет назад: предъявлять к своим проектам Дружественного ИИ более строгие требования — не делать того, что кажется хорошей идеей, а делать только то, что я понимаю на достаточно глубоком уровне, чтобы видеть: это невозможно сделать никак иначе.

Все мои старые теории, в которые я столько вложил, не соответствовали этому стандарту, не были даже близки к нему и даже не двигались по пути, ведущему к нему, — поэтому я выбросил их в окно.

Я занялся изучением теории вероятностей и теории решений, стремясь расширить их так, чтобы они охватывали такие понятия, как рефлексивность и самомодификация.

Если я правильно помню, к этому моменту я уже начал рассматривать познание как проявление байесовской структуры, что также является важной частью того, что я называю своим байесовским просветлением — но об этом я уже говорил. А ещё было моё натуралистическое пробуждение, о котором я тоже уже упоминал. И моё осознание того, что Традиционная Рациональность была недостаточно строгой, поэтому в вопросах человеческой рациональности я стал черпать больше вдохновения из теории вероятностей и когнитивной психологии.

Но если сложить всё это вместе, то получится, в общих чертах, история моего байесовского просветления.

В жизни редко бывают чёткие границы. История продолжается.

Например, именно изучая Джуду Перла, я понял, что точность способна экономить время. До этого я и сам размышлял над немонотонными логиками — ещё в те времена, когда находился в режиме «поиска изящных инструментов и алгоритмов». Читая «Вероятностные рассуждения в интеллектуальных системах: сети правдоподобного вывода»,² я мог представить, сколько времени потратил бы впустую на системы ad hoc и частные случаи, если бы не знал этого ключа. «Делай лишь то, что ты обязан сделать, и чего не можешь сделать никак иначе» оборачивается экономией времени, которая измеряется не спасёнными от растраты месяцами, а спасёнными карьерами.

И вот тогда я понял, что только начав требовать от себя соответствия этому более высокому стандарту точности, я по-настоящему начал хоть как-то задумываться о целом ряде важных вопросов. Выразить что-то с точностью трудно — это совсем не то же самое, что выразить это формально или изобрести новую логику, чтобы закидать ею проблему. Многие уклоняются от этих неудобств, потому что люди ленивы, и заявляют: «Это невозможно» или «Это займёт слишком много времени», хотя на самом деле даже пяти минут не пробовали. Но если вы не будете держать себя в рамках этого неудобно высокого стандарта, то будете спускать себе с рук всё что угодно. Найти стандарт, достаточно высокий, чтобы действительно заставить вас начать думать — это уже сложная задача! Может показаться утомительным придерживаться стандарта математического доказательства, где каждый шаг должен быть верным, а один неверный шаг может увести вас неведомо куда. Но иначе вы не станете выслеживать те крошечные нотки диссонанса, которые на поверку приводят к совершенно новым проблемам, о которых вы раньше и не думали.

Так что теперь я уже не так сильно жалуюсь на героическое бремя неудобств, необходимых для соблюдения точного стандарта. Это тоже может экономить время; и на самом деле это, по сути, лишь входная ставка для того, чтобы вообще заставить себя задуматься над проблемой.

И это тоже следует считать частью моего «байесовского просветления» — осознание того, что в этом были свои преимущества, а не только издержки.

Но, конечно, история продолжается. Такова жизнь — по крайней мере, те её части, которые я помню.

Если я и научился чему-то из этой истории, так это тому, что возможности сказать «Упс» нужно ждать с нетерпением. Конечно, перспектива сказать «Упс» в будущем означает, что вы нынешний — пускающий слюни имбецил, чьи слова ваше будущее «я» не сможет читать без содрогания. Но возможность сказать «Упс» в будущем также означает, что в будущем вы обретёте новые джедайские силы, о существовании которых ваше нынешнее «я» даже не мечтает. От этого становится неловко, но в то же время вы чувствуете себя живым. Осознание того, что ваше прежнее «я» было круглым дураком, означает, что пусть вам уже за двадцать, вы ещё не миновали свой пик. Остаётся лишь надеяться, что моё будущее «я» сочтёт меня пускающим слюни имбецилом: возможно, я и планирую решать свои проблемы с помощью нынешних способностей, но дополнительные джедайские силы мне уж точно не помешали бы.

Этот крик ужаса и стыда — звук, который издают рационалисты, когда повышают свой уровень. Иногда я беспокоюсь, что повышаю свой уровень не так быстро, как раньше, и не знаю, происходит ли это потому, что я наконец-то начинаю понимать, что к чему, или потому, что нейроны в моём мозгу постепенно умирают.

Искренне ваш, Элиезер₂₀₀₈.

*

1. Ле Гуин, «На самых дальних берегах».

2. Перл, «Вероятностные рассуждения в интеллектуальных системах».