Люди спрашивают меня: «Какими будут искусственные интеллекты? Что они будут делать? Расскажи нам свою удивительную историю о будущем».

И се, говорю я им: «Вы задали мне вопрос с подвохом».

АТФ-синтаза — это молекулярная машина (один из трех известных случаев, когда эволюция изобрела свободно вращающееся колесо), которая практически одинакова в митохондриях животных, хлоропластах растений и у бактерий. АТФ-синтаза существенно не изменилась с момента появления эукариотической жизни два миллиарда лет назад. Это то, что объединяет нас всех — благодаря тому, как эволюция жестко консервирует определенные гены; как только от какого-то гена начинает зависеть множество других генов, мутация в нем, скорее всего, разрушит все эти связи.

Любые две архитектуры ИИ могут быть менее похожи друг на друга, чем вы на петунию. Вопрос о том, что будут делать «ИИ», — это вопрос с подвохом, поскольку он подразумевает, будто все ИИ образуют естественный класс. Люди действительно образуют естественный класс, потому что у нас у всех одинаковая архитектура мозга. Но когда вы говорите «искусственный интеллект», вы имеете в виду неизмеримо большее пространство возможностей, чем когда говорите «человек». Когда люди рассуждают об «ИИ», на самом деле речь идет о разумах вообще или о процессах оптимизации вообще. Иметь отдельное слово для «ИИ» — это всё равно что иметь слово для обозначения всего, что не является уткой.

Представьте себе карту пространства проектирования разумов . . . это одна из моих стандартных схем . . .

Все люди, конечно, укладываются в крошечную точку — как вид с половым размножением, мы не можем слишком сильно отличаться друг от друга.

Эта крошечная точка принадлежит более широкому эллипсу — пространству проектирования трансчеловеческих разумов: сущностей, которые могут быть умнее нас или гораздо умнее нас, но в каком-то смысле всё ещё останутся людьми в нашем понимании.

Этот трансчеловеческий эллипс находится внутри ещё более обширного объёма — пространства постчеловеческих разумов, то есть всего, во что может вырасти трансчеловек.

И, наконец, вся остальная часть сферы — это пространство разумов вообще, включая возможные искусственные интеллекты, настолько странные, что они даже не постчеловечны.

Но постойте: естественный отбор проектирует сложные артефакты и выбирает из сложных стратегий. Так где же на этой карте естественный отбор?

Так что вся эта карта на самом деле парит в ещё более колоссальном пространстве — пространстве процессов оптимизации. В самом низу этого огромного пространства, даже ниже людей, находится естественный отбор в том виде, в каком он когда-то зародился в каком-нибудь приливном водоёме: мутируй, реплицируйся и иногда погибай, никакого секса.

Существуют ли мощные процессы оптимизации, сравнимые по силе с человеческой цивилизацией или даже с самосовершенствующимся ИИ, которые мы не признали бы разумом? Пожалуй, AIXI Маркуса Хуттера должен войти в эту категорию: для разума бесконечной силы он ужасно глуп — бедняга не способен даже узнать себя в зеркале. Но это тема для другого разговора.

Мой главный вывод — не поддаваться искушению делать обобщения обо всём пространстве проектирования разумов.

Если мы сосредоточимся на ограниченном подпространстве пространства проектирования разумов, содержащем все те разумы, структуру которых можно описать триллионом бит или меньше, то у любого вашего универсального обобщения будет два в триллионной степени шансов оказаться опровергнутым.

И наоборот, у каждого экзистенциального обобщения — «существует по крайней мере один разум, такой что X» — есть два в триллионной степени шансов оказаться истинным.

Поэтому не стоит поддаваться искушению утверждать, будто все разумы делают нечто или ни один разум этого не делает.

Главная причина, по которой вы можете поймать себя на мысли, будто знаете, что будет (или не будет) делать абстрактный разум вообще, заключается в том, что вы ставите себя на его место — воображаете, как поступили бы на месте этого разума, — и получаете в корне неверный, антропоморфный ответ. (Хотя этот ответ верен по крайней мере в одном случае, поскольку вы сами служите тому примером.) Или если вы представляете, как разум делает нечто, а затем воображаете причины, по которым вы не стали бы этого делать, — и на этом основании решаете, что разума подобного типа существовать не может, что призрак в машине изучит соответствующий исходный код и завернёт его.

Где-то в пространстве проектирования разумов существует по крайней мере один разум практически с любым логически непротиворечивым свойством, какое вы только можете вообразить.

И это важно, потому что подчеркивает необходимость обсуждать, что именно закономерно происходит и почему как следствие конкретного внутреннего устройства разума; где-то в пространстве проектирования разумов обязательно найдется разум, который устроен иначе.

Конечно, вы всегда можете сказать, что всё, что работает не так, как у вас, «по определению» не является разумом — ведь это же очевидно глупо. Такую уловку я тоже встречал.

*