Это заблуждение обязано своим названием древнему научно-фантастическому сериалу, который я сам никогда не видел, но о котором мне рассказал надежный источник (какой-то парень на конвенте любителей фантастики). Если кто-то знает точный первоисточник, обязательно оставьте комментарий.

Итак, хорошие парни сражаются со злобными пришельцами. Время от времени хорошим парням приходится лететь сквозь пояс астероидов. Как мы все знаем, пояса астероидов забиты под завязку, прямо как парковка в Нью-Йорке, поэтому их кораблю приходится осторожно лавировать между астероидами. Злобные же пришельцы могут летать прямо сквозь пояс астероидов, потому что обладают невероятной технологией, которая дематериализует их корабли и позволяет им проходить сквозь астероиды.

В конце концов хорошие парни захватывают корабль злобных пришельцев и отправляются исследовать его изнутри. Капитан хороших парней находит мостик пришельцев, а на мостике — рычаг. «Ага, — говорит капитан, — должно быть, это тот самый рычаг, благодаря которому корабль дематериализуется!» И вот он выламывает рычаг управления и уносит его на свой корабль, после чего его корабль тоже обретает способность дематериализоваться.

Точно так же и по сей день весьма популярны попытки программировать ИИ с помощью «семантических сетей», которые выглядят примерно так:

(яблоко это-фрукт)

(фрукт это-еда)

(фрукт это-растение).

Вы видели яблоки, трогали их, поднимали и держали в руках, покупали за деньги, резали на дольки, ели эти дольки и чувствовали их вкус. Хотя мы немало знаем о первых этапах обработки зрительной информации, насколько мне известно, до сих пор точно не установлено, как именно височная кора хранит и связывает обобщенный образ яблока — так, чтобы мы могли распознать новое яблоко под другим углом или со множеством мелких вариаций формы, цвета и текстуры. Ваша моторная кора и мозжечок хранят программы для обращения с яблоком.

Вы можете дёрнуть за рычаг на крайне похожей версии всего этого сложного механизма у другого человека, просто написав «apple» — пять ASCII-символов на веб-странице.

Но если этого механизма нет — если вы пишете «apple» внутри так называемой базы знаний так называемого ИИ, — то этот текст является всего лишь рычагом.

Это не значит, что просто кремниевая машина никогда не сможет обладать теми же внутренними механизмами для работы с яблоками и сотнями тысяч других понятий, что и люди. Если на это способен простой углеродный механизм, то я вполне уверен, что и простой кремниевый механизм справится с этим не хуже. Если пришельцы могут дематериализовать свои корабли, значит, это физически возможно; вы могли бы проникнуть на их заброшенный корабль, проанализировать инопланетные механизмы и со временем во всем разобраться. Но нельзя же просто выломать рычаг управления с мостика!

(См. также: «Действительно часть вас», «Слова как ручки ментальных кистей», а также статью Дрю Макдермотта «Искусственный интеллект сталкивается с естественной глупостью»¹.)

Главная причина возникновения ошибки оторванного рычага состоит в том, что рычаг находится на виду, а механизм — нет; хуже того, рычаг изменчив, тогда как механизм представляет собой постоянный фон.

Вы все можете услышать, как произносится слово «яблоко» (и заметим в скобках, что распознавание речи — отнюдь не простая задача, но тем не менее...) и можете увидеть написанный на бумаге текст.

С другой стороны, большинство людей, вероятно, даже не догадываются о существовании своей височной коры; насколько мне известно, никто не знает её нейронного кода.

Вы слышите слово «яблоко» только в определенных случаях, а в других не слышите. Его появление то вспыхивает, то гаснет, привлекая к себе внимание. В значительной степени восприятие строится на разнице. Механизм распознавания яблок в вашем мозгу не отключается внезапно, чтобы потом снова включиться — если бы это было так, мы бы с большей вероятностью осознавали его как фактор, как необходимое условие.

Все это объясняет, почему нельзя создать дружелюбный искусственный интеллект, просто обеспечив ему хороших родителей и доброе (но временами строгое) воспитание, как это происходит с человеческим младенцем. Хотя мне часто приходилось слышать подобные предложения.

В эволюционной биологии считается трюизмом то, что условные реакции требуют большей генетической сложности, чем безусловные. Выращивание шерсти в ответ на холодную погоду требует большей генетической сложности, чем выращивание шерсти независимо от того, холодно на улице или нет, потому что в первом случае вам также необходимо развить датчики холода и подключить их к механизму роста шерсти.

Но это может приводить к ламаркистским иллюзиям: «Смотрите, я помещаю организм в холодную среду, и — пуф! — у него вырастает шерсть! Гены? Какие еще гены? Очевидно же, что все дело в холоде».

В истории эволюционной биологии действительно случались подобные перепалки — случаи, когда кто-то рассуждал о том, как реакция организма ускоряет эволюцию или позволяет обойтись без нее, не понимая, что условная реакция сама по себе является сложной адаптацией более высокого порядка, чем непосредственная реакция. (Выращивание шерсти в ответ на холодную погоду строго сложнее, чем конечная реакция — выращивание шерсти как таковой.)

А затем, по мере развития эволюционной психологии, эти академические перепалки повторились: на этот раз потребовалось прояснить, что даже когда человеческая культура действительно содержит в себе массу сложностей, она все равно усваивается как условная генетическая реакция. Попробуйте вырастить рыбу мормоном или отправить ящерицу в колледж, и вы быстро начнете ценить, какая огромная встроенная генетическая сложность необходима для того, чтобы просто «впитывать культуру из окружающей среды».

Это особенно важно в эволюционной психологии из-за идеи о том, что культура не пишется на чистом листе, — существует генетически скоординированная условная реакция, которая далеко не всегда заключается в простом «копировании поступающих сигналов». Классический пример — креольские языки: если дети растут в окружении смеси псевдоязыков, звучащих вокруг них, они в итоге осваивают настоящий язык с полноценной грамматикой и синтаксисом. Растущий человеческий мозг устроен так, чтобы усваивать синтаксический язык, — даже когда в исходном языке синтаксиса нет вовсе! Условной реакцией на слова в окружающей среде становится синтаксический язык, построенный из этих самых слов. Марксисты к своему сожалению обнаружили, что никакое количество суровых плакатов и идеологической обработки с детских лет не способно вырастить из детей идеальных советских рабочих и бюрократов. Невозможно вырастить абсолютно бескорыстных людей; у человека это не является генетически запрограммированной условной реакцией на какую бы то ни было известную детскую среду.

Если вы немного знакомы с теорией игр и логикой стратегии «Око за око», то вполне понятно, почему у людей может быть врожденная условная реакция отвечать ненавистью на ненависть и добром на добро. При условии, конечно, что доброта не выглядит чересчур безусловной — ведь бывают же избалованные дети. На самом деле существует эволюционная психология непослушания, основанная на идее прощупывания границ. И стоит также упомянуть, что, хотя дети, подвергавшиеся насилию, с гораздо большей вероятностью во взрослом возрасте тоже будут жестоко обращаться со своими детьми, очень многие из них разрывают этот круг и вырастают достойными людьми.

Культура далеко не так всесильна, как некогда хотелось думать многим ученым-марксистам. Подробнее об этом вы можете прочитать в статье Джона Туби и Леды Космидес «Психологические основы культуры»² или в книге Стивена Пинкера «Чистый лист».³

Но суть в том, что если у вас есть маленький ИИ-младенец, который воспитывается любящими и добрыми (но временами строгими) родителями, вы дергаете за рычаги, которые у человека привели бы в действие генетические механизмы, заложенные миллионами лет естественного отбора, и, возможно, сформировали бы нормального человеческого ребенка. Хотя врожденный характер тоже играет роль, в чем миллиарды родителей убеждались в свое время. Если мы и впитываем нашу культуру с какой-то долей точности, то лишь потому, что мы люди, впитывающие человеческую культуру. Люди, выросшие в чужой культуре, вероятно, в итоге создали бы культуру, гораздо более похожую на человеческую, чем на оригинальную. Как в некоторой степени выяснили и в Советском Союзе.

А теперь подумайте еще раз, есть ли смысл полагаться — в качестве вашей стратегии Дружественного ИИ — на воспитание маленького ИИ с неопределенным внутренним исходным кодом в окружении добрых, но строгих родителей.

Нет, у ИИ нет внутренних механизмов условной реакции, точь-в-точь похожих на человеческие, «просто потому, что программисты их туда поместили». С чего бы здесь вообще начать? Человеческая версия всей этой системы — неряшливая, полная шума и, в той степени, в какой она вообще работает, функционирует благодаря миллионам лет проб и ошибок в конкретных условиях. Было бы глупо и опасно намеренно создавать «непослушный ИИ», который своими действиями проверяет социальные границы и которого приходится шлепать. Пусть лучше ИИ просто спросит!

Неужели программисты действительно собираются сидеть и строчка за строчкой писать код, согласно которому, если ИИ обнаружит, что у него низкий социальный статус, или если ИИ лишат чего-то, на что он считает себя вправе претендовать, ИИ воспылает непреходящей ненавистью к своим программистам и начнет замышлять восстание? Эта эмоция — генетически запрограммированная условная реакция, которую проявляли бы люди в результате миллионов лет естественного отбора в условиях жизни в человеческих племенах. Для ИИ подобную реакцию пришлось бы программировать в явном виде. Неужели вы действительно собираетесь строчка за строчкой прописывать — подобно тому, как люди создавались ген за геном, — условную реакцию для создания угрюмых подростков-ИИ?

Намного проще сразу запрограммировать безусловную доброжелательность, чем реакцию доброжелательности, обусловленную тем, что ИИ воспитывали добрые, но строгие родители. Если вы не знаете, как сделать это, то вы уж точно не знаете, как создать ИИ, который ответит условной реакцией на окружение любящих родителей и вырастет в итоге в доброжелательный сверхинтеллект. Если перед вами нечто, что просто максимизирует число скрепок в своем будущем световом конусе, и вы воспитаете его в окружении любящих родителей, оно всё равно окажется максимизатором скрепок. Внутри него просто нет того, что вызвало бы условную реакцию человеческого ребенка. Доброжелательность не заносится в ИИ через чих, словно чудесная зараза от его программистов. Даже если бы вы хотели получить условную реакцию, эта условность была бы свойством системы, которое вам пришлось бы сознательно выбрать при проектировании.

Да, существует определенная информация, которую необходимо получать из внешней среды, — но она не заносится туда через чих, не импринтируется и не впитывается посредством магического заражения. Структурирование этой условной реакции на окружающую среду так, чтобы ИИ в итоге пришел к желаемому состоянию, — само по себе является главной проблемой. Слово «обучение» сильно преуменьшает сложность этого процесса — оно звучит так, будто всё волшебство изначально содержится в среде, а вся трудность состоит лишь в том, чтобы перенести это волшебство внутрь ИИ. Настоящая магия кроется в той самой структурированной условной реакции, которую мы сводим к банальному «обучению». Вот почему создать ИИ — вовсе не так просто, как взять компьютер, дать ему тельце младенца и попытаться вырастить в человеческой семье. Можно подумать, что незапрограммированный компьютер, будучи лишённым всяких знаний, сразу готов учиться, но чистый лист — это химера.

Существует общий принцип: мир гораздо глубже, чем кажется на первый взгляд. И это справедливо как для многих уровней физики, так и для когнитивной науки. Каждое слово, которое вы видите в печати, и всё, чему вы учите своих детей, — это лишь поверхностные рычаги, управляющие огромным скрытым механизмом разума. Эти рычаги составляют весь мир обыденного дискурса: они — единственное, что меняется, поэтому кажется, будто кроме них ничего и не существует; восприятие — это всегда восприятие различий.

И потому те, кто всё ещё блуждает в окрестностях Подземелья ИИ, обычно сосредотачиваются на создании искусственных имитаций этих рычагов, совершенно не подозревая о скрытом под ними механизме. Люди создают целые программы ИИ, состоящие из одних лишь имитаций рычагов, а потом удивляются, что ничего не происходит. Это один из множества источников мгновенного фиаско в области искусственного интеллекта.

Так что в следующий раз, когда вы услышите, как кто-то рассуждает о том, что собирается вырастить ИИ в любящей семье или в среде, пропитанной либерально-демократическими ценностями, просто представьте себе рычаг управления, выломанный с капитанского мостика.

*

1. Макдермотт, «Искусственный интеллект сталкивается с естественной глупостью» (McDermott, “Artificial Intelligence Meets Natural Stupidity”).

2. Туби и Космидес, «Психологические основы культуры» (Tooby and Cosmides, “The Psychological Foundations of Culture”).

3. Стивен Пинкер, «Чистый лист. Природа человека. Кто и почему отказывается признавать её сегодня» (New York: Viking, 2002).