В предыдущей серии Элиезер _{2001 года} ведёт арьергардные бои против истины. Он лишь постепенно меняет свои убеждения, неохотно допуская растущую вероятность иного сценария, но никогда не признавая прямо: «Раньше я ошибался». Он латает свои стратегии по мере того, как их ставят под сомнение, находя новые оправдания всё тому же плану, которому следовал прежде.

(О чём и сказано: «Берегись, как бы тебе не пришлось вести арьергардное отступление под натиском свидетельств, неохотно сдавая каждую пядь земли только под принуждением и чувствуя себя обманутым. Сдавайся истине как можно скорее. Делай это в тот самый миг, когда осознаешь, чему сопротивляешься; в тот самый миг, когда увидишь, с какой стороны дуют против тебя ветры свидетельств».)

Память тускнеет, и мне почти невыносимо оглядываться на те времена — нет, серьезно, я терпеть не могу читать свои старые тексты. Очевидцы тех событий меня уже как-то раз поправляли в моих воспоминаниях. И потому, хотя важные события я помню, я не совсем уверен, в каком порядке они происходили, не говоря уже о конкретном годе.

Но если бы мне пришлось выбирать момент, когда моя глупость дала трещину, я бы выбрал тот миг, когда впервые осознал во всей общности понятие процесса оптимизации. Именно тогда я впервые оглянулся назад и сказал: «Каким же глупцом я был».

До этого, в 2002 году, я немного писал об эволюционной психологии человеческого общего интеллекта — хотя в то время я думал, что пишу об ИИ. На тот момент мне казалось, что я выступаю против антропоморфного интеллекта, но я всё равно искал вдохновение в человеческом мозге. (Речь идёт о статье «Уровни организации в общем интеллекте» — главе, написанной по заказу для сборника Artificial General Intelligence,¹ который в итоге вышел из печати в 2007 году.)

Итак, я размышлял (и писал) о том, как естественному отбору удалось «выплюнуть» человеческий интеллект; я видел дихотомию между ними — слепотой естественного отбора и способностью разумного предвидения заглядывать вперёд, моделированием ситуаций в уме в противовес проигрыванию сценариев в реальности, абстрактным мышлением в противовес конкретному. И всё же именно естественный отбор создал человеческий интеллект, так что наш мозг — пусть и не наши мысли — целиком несёт на себе отпечаток естественного отбора.

По сей день это кажется мне весьма потрясающим озарением, и потому меня просто бесит, когда люди сваливают в одну кучу естественный отбор и процессы, направляемые разумом, называя их «эволюционными». На самом деле они различаются почти во всём самым кардинальным образом — хотя у них и есть общие концепты, которыми их можно описать, такие как консеквенциализм и кроссдоменная универсальность.

Но тот факт, что Элиезер _{2002 года} мыслит категориями дихотомии между эволюцией и разумом, говорит о некоторой ограниченности его видения — это похоже на человека, который видит в политике лишь дихотомию консервативного и либерального взглядов, или на кого-то, кто делит все фрукты на яблоки и клубнику.

После того как черновик «Уровней организации» был опубликован в Сети, Эмиль Гиллиам заметил, что мой взгляд на ИИ подозрительно похож на мой взгляд на разум. Разумеется, Элиезер _{2002 года} не поддерживает идею создания ИИ по образу и подобию человеческого разума; Элиезер _{2002 года} прекрасно знает, что человеческий разум — это просто костыль, выплюнутый естественным отбором. Но Элиезер _{2002 года} описал эти уровни организации в человеческом мышлении и при этом не предложил использовать другие уровни организации для ИИ. Эмиль Гиллиам спрашивает, не кажется ли мне, что я слишком сильно придерживаюсь человеческого шаблона. Я называю альтернативу «Архитектурой абсолютно чуждого разума» (ААЧР) и отвечаю, что спроектировать ААЧР инженерам-людям, вероятно, не под силу, даже если теоретически это возможно, потому что мы не смогли бы понять нечто настолько чуждое в процессе его сборки.

Не знаю, придумал ли Элиезер _{2002 года} этот ответ сам или где-то вычитал. Излишне говорить, что с тех пор я слышал это оправдание множество раз. В действительности то, что вы понимаете по-настоящему, вы обычно можете пересобрать практически в любой форме, сохранив внутри некоторую структурную суть; но когда вы не понимаете принципов полёта, вы полагаете, что летательному аппарату необходимы перья, потому что не можете представить себе уход от аналогии с птицей.

Так что Элиезер _{2002 года} всё ещё, в некотором смысле, привязан к человекоподобным моделям разума — он думает над тем, как их улучшить, но человеческая архитектура для него всё ещё служит отправной точкой.

Что же в конце концов разрушает эту привязанность?

Должен сделать постыдное признание: всё началось с научно-фантастического рассказа, который я пытался написать. (Нет, я вам его не покажу, он не закончен.) В сюжете фигурировал некогнитивный неэволюционный процесс оптимизации, что-то вроде Насоса исходов. Не разум, а межвременной физический эффект — то есть я представлял его себе как физический эффект, — который жёстко ограничивал пространство возможных исходов. (Больше ничего рассказать не могу, иначе это будет спойлер, если я когда-нибудь закончу этот рассказ. Просто почитайте эссе о Насосах исходов.) Это была «всего лишь выдумка», поэтому я мог свободно играть с идеей и логически её развивать: событие C было вынуждено произойти, следовательно, событие B (в прошлом) было вынуждено произойти, следовательно, событие A (которое вело к B) было вынуждено произойти.

Проводить линию через одну точку обычно считается делом опасным. Две точки образуют дихотомию; вы представляете их противоположными друг другу. Но когда у вас есть три разные точки — вот тогда-то вы и вынуждены очнуться и начать обобщать.

Теперь у меня было три точки: человеческий разум, естественный отбор и мой вымышленный сюжетный прием.

И именно в этот момент я обобщил понятие процесса оптимизации — процесса, который сжимает будущее до узкой области возможного.

Это может показаться очевидным, если вы всё это время следили за Overcoming Bias; но если вы посмотрите на составленный Шейном Леггом список из 71 определения интеллекта, вы увидите, что «сжатие будущего до ограниченной области» — далеко не самый очевидный ответ.

Многие определения «интеллекта», предлагаемые исследователями ИИ, действительно говорят о «решении задач» или «достижении целей». Но, по крайней мере с точки зрения прежних Элиезеров, лишь задним числом понимаешь, что это одно и то же — «сжатие будущего».

Цель — это менталистский объект; у электронов нет целей, и задач они тоже не решают. Когда человек воображает цель, он представляет себе агента, наделенного «хотением», — это всё ещё эмпатический язык.

Можно придерживаться мнения, что интеллект — это «достижение целей», а затем тут же развернуться на сто восемьдесят градусов и спорить о том, лучше ли одни «цели», чем другие; рассуждать о мудрости, необходимой для оценки самих целей; говорить о системе, намеренно изменяющей свои цели; рассуждать о свободе воли, необходимой, чтобы выбирать планы, ведущие к целям; или говорить об ИИ, который осознаёт, что его цели — вовсе не то, что программисты на самом деле имели в виду. Но если вы представите нечто, сжимающее будущее до узкой области возможного — например, Насос исходов, — все эти кажущиеся разумными рассуждения как-то не переводятся на этот язык.

Так что, по крайней мере для меня, умение разглядеть за словом «разум» физический процесс, который, просто протекая естественным образом, просто подчиняясь законам физики, в конечном итоге сжимает своё будущее до узкой области, было натуралистическим озарением, выходящим далеко за рамки простого представления об агенте, пытающемся достичь своих целей.

Это было похоже на то, как вываливаешься из глубокой ямы в обычный мир, когда когнитивное напряжение спадает, сменяясь непринужденной простотой, а замешательство превращается в дым и уносится прочь. Я увидел работу, совершаемую интеллектом; разумность больше не была свойством, она стала двигателем. Словно узел во времени, отражающий внешнюю часть вселенной во внутренней и тем самым направляющий её. В яркой вспышке того же озарения я даже понял, что разум должен рассеивать тепло, чтобы подчиняться законам термодинамики.

Раньше Элиезер₂₀₀₁ говорил о Дружественном ИИ как о чем-то, что нужно делать просто для уверенности — если вы не знали, будет ли архитектура ИИ X дружественной, то вам определенно следовало выбрать архитектуру ИИ Y, о дружественности которой вы точно знали. Но Элиезер₂₀₀₁ не считал, что он знает, возможно ли на самом деле создать сверхинтеллект, который превратит свой будущий световой конус в канцелярские скрепки.

Теперь же я мог это видеть — пульсацию процесса оптимизации: хлынувшую внутрь сенсорную информацию, хлынувшие наружу моторные команды, направляющие будущее. Посередине — модель, связывающая возможные действия с возможными исходами, и функция полезности для этих исходов. Задайте соответствующую функцию полезности, и в результате получится оптимизатор, который направит будущее куда угодно.

До этого момента я никогда полностью не признавался себе, что разработанная Элиезером₁₉₉₇ целевая система ИИ определенно, без каких-либо вариантов, бессмысленно уничтожила бы человечество. Однако теперь я оглянулся назад и наконец смог увидеть, что мой прежний проект делал на самом деле — в той мере, в какой он вообще был достаточно связным, чтобы о нем рассуждать. Грубо говоря, он превратил бы свой будущий световой конус в универсальные инструменты: компьютеры без запускаемых программ, запасённую энергию без всякого применения...

...как вообще я, прекрасный и опытный рационалист, — как вообще я умудрялся не замечать столь очевидную вещь целых шесть чертовых лет?

Именно в этот момент моя голова прояснилась, я всё вспомнил и с изрядным смущением подумал: «Я был глуп».

*

1. Под ред. Бена Герцеля и Кассио Пенначина, Artificial General Intelligence, Cognitive Technologies (Berlin: Springer, 2007), doi:10.1007/978-3-540-68677-4.