Жила-была цивилизация инопланетян, по своей природе скорее биологических, чем механических, обитавших так далеко от Земли, что ни одно послание, отправленное нами к звездам, никогда не смогло бы до них долететь. Они были немного похожи на птиц, мыслили немного по-человечески и придавали огромное значение точному количеству камней в своих гнездах.

(Почему? Ну, человеческий биолог мог бы предположить, что давным-давно какая-то самка родилась привередливой к количеству камней в гнездах самцов, и по счастливой случайности ее жизнь сложилась удачно. Ее многочисленные дочери унаследовали эту черту, а затем и самцы начали развиваться соответствующим образом. У самцов развился более совершенный мозг для подсчета камней, что коррелировало с интеллектом, который и сам по себе был полезен, и к концу этого цикла ни одна самка даже не смотрела на самца, у которого в гнезде было неправильное количество камней.)

Для этих «инопланетян правильных гнезд» верное количество камней в гнезде просто ощущалось как правильное. Подобно тому, как люди используют слово «правильный» как для фактических утверждений вроде «2 + 2 = 4», так и для поступков с хорошими последствиями — например, для спасения ребенка из горящего здания.

Какое количество камней эти инопланетяне считали правильным? Числа 2, 3, 5, 7 и 11 признавались ими правильными. А 1, 4, 6, 8, 9 и 10 считались неправильными.

(Человеческий математик, изучив это различие, мог бы выдвинуть теорию: «правильное» число камней — простое. Или, другими словами: «правильную» кучу камней нельзя разложить в виде прямоугольной сетки, в которой больше одного ряда и больше одного столбца. Но — скажем так, ради нашей сказки — инопланетяне питали отвращение к мысли о том, чтобы рассуждать о чем-то столь священном и прекрасном, как Правильные Гнезда, на языке сухой, бесчувственной математики. Для них это было бы так же ужасно, как для нас — оценивать человеческую жизнь в долларах.)

Инопланетяне правильных гнезд могли видеть — они чувствовали интуитивно, — правильно или неправильно небольшое количество камней в гнезде; 11 казалось правильным с первого взгляда, а 12 — явно неправильным. Однако на этом они не остановились. Видите ли, гнездо с большим правильным количеством камней выглядело внушительнее; честно говоря, оно было сексуальнее. Но когда дело доходило до этих больших чисел, птицелюди начинали спорить о правильности.

Было ли 37 правильным или неправильным? Приходилось некоторое время вглядываться, прежде чем окончательно решить, что оно правильное. 60? Дико неправильное, никого не обманет ни на секунду. 91 было той самой дьявольской ложью, которая могла бы обмануть множество простаков, если бы кто-то построил такое гнездо, — пока не являлся кто-то помудрее и не раскладывал прямоугольник из 7 на 13 камешков, и тогда этот довод казался настолько убедительным, что они больше никогда даже не смотрели в сторону гнезда из 91 камня.

Неизбежно некоторые циничные инопланетяне правильных гнезд вопрошали: «Как мы можем знать, что прогресс вообще существует? Тысячу лет назад древние фениксианцы сказали бы, что 91 — правильное количество камней в гнезде. Сегодня мы говорим, что оно неправильное. Почему это означает, что мы знаем лучше, а не просто наблюдаем чистой воды столкновение фракций и дрейф мнений со временем?»

Возможно, именно эти споры будоражили воображение одного мальчика-птицы и одной девочки-птицы, когда однажды ночью они лежали на холме, глядя на звездное небо и рассуждая о философии.

МАЛЬЧИК-ПТИЦА: Представь себе инопланетян, которые существуют так давно, что достигли абсолютно возможных вершин технологий и цивилизации. Неужели они живут только в гнездах из 3001 камня? Или же они настолько невообразимо мудры, что могут строить гнезда размером со звезды, содержащие септиллионы камней — причем не просто правильные, но и известные им как правильные?

ДЕВОЧКА-ПТИЦА: Я бы удивилась, если бы большинство инопланетян вообще были птицами с гнездами. Можно представить множество самых разных тел, способных построить цивилизацию — подумай, например, о морских существах с их щупальцами. Некоторые инопланетяне могут быть похожи на птиц, но они были бы редким исключением среди всех остальных.

МАЛЬЧИК-ПТИЦА: Ой, да ты понимаешь, о чем я! Неважно, какой у них эквивалент гнезд и камней, которые они туда кладут.

ДЕВОЧКА-ПТИЦА: Думаю, большинству видов инопланетян просто... плевать на точное количество камней в их жилищах. Подозреваю, что «правильные гнезда» — это крайне редкая вещь, которая в итоге могла бы волновать разумных инопланетян.

МАЛЬЧИК-ПТИЦА: А? Почему?

ДЕВОЧКА-ПТИЦА: Ну, как бы сильно мы ни пеклись о правильных гнездах, эта забота вовсе не кажется неизбежным следствием эволюционной логики. Я могу представить птиц, во многом похожих на нас, которые просто вообще не заботятся о правильности гнезд, но при этом у них выживает ровно столько же яиц, сколько и у нас. Это было бы так же удивительно, как встретить инопланетян с чувством юмора. Любовь к собственным детям — это одно, но юмор кажется чем-то сугубо индивидуальным. Если у каких-то инопланетян и есть юмор, они, скорее всего, находятся так далеко от нас, что ни одно наше послание никогда до них не долетит.

МАЛЬЧИК-ПТИЦА: Как странно и жутко думать так о Вселенной — будто большинство инопланетян просто живут в гнездах с неправильным количеством камней! Наверняка к тому времени, как инопланетяне достигают высот цивилизации и начинают путешествовать среди звезд, им с первого взгляда становится очевидно, что гнездо с четырьмя камнями — неправильное!

ДЕВОЧКА-ПТИЦА: Если бы инопланетяне задались этим вопросом, они бы мгновенно узнали ответ. Но это совсем не то же самое, как если бы инопланетян волновала эта конкретная истина об их гнездах. Они просто не задают себе этот вопрос.

МАЛЬЧИК-ПТИЦА: Не понимаю. Если инопланетяне знают, что это неправильное количество камней, но все равно строят такое гнездо, разве это не глупее, чем просто не знать? Как инопланетяне могут быть достаточно умными, чтобы путешествовать к звездам, но при этом настолько глупыми, чтобы добровольно жить в ужасных гнездах?

ДЕВОЧКА-ПТИЦА: Они могут предсказать, какие гнезда мы назвали бы правильными, но они держат курс к совершенно другой цели. Дело не в том, что инопланетяне делают ошибочный фактический прогноз о том, какое количество камней обладает качеством, которое мы зовем «правильностью». Дело в том, что они направляются в другое место. Инопланетяне не пытаются жить в правильных гнездах, так что они не глупы в том смысле, будто они плохие прогнозисты или планировщики. Они движутся мимо нашего пункта назначения, поэтому твой мозг воспринимает это так, будто они промахнулись; но инопланетяне с самого начала вообще не целились в наш пункт назначения.

МАЛЬЧИК-ПТИЦА: Потому что они так одержимы какой-то странной инопланетной целью, что у них не осталось места для заботы о правильности гнезда? Не думаю, что можно выйти к звездам, будучи существом, которое мономаниакально преследует лишь одну-единственную цель. Это было бы глупо.

ДЕВОЧКА-ПТИЦА: У инопланетян может быть сотня разных встроенных эмоций, и они могут желать десять тысяч разных вещей! И все же ни одна из этих вещей, скорее всего, не имела бы отношения к «правильным гнездам» в нашем понимании правильности.

МАЛЬЧИК-ПТИЦА: Кажется, это идет вразрез с огромной тенденцией, которую мы наблюдаем на протяжении всей нашей истории: по мере того как наш вид Правильногнездящихся растет в интеллекте и силе, богатстве, мудрости и знаниях, наши цивилизации строят все более уютные гнезда со все большим количеством общепринятых правильных камней.

ДЕВОЧКА-ПТИЦА: Представители нашего собственного вида имеют общие гены, формирующие схожий мозг. Мы рождаемся с похожими эмоциями, которые заставляют нас схожим образом реагировать на аргументы. Поэтому по мере того как наш вид умнел, мы находили все более совершенные ответы на наши общие внутренние вопросы. Но инопланетяне не стали бы задавать себе тот же внутренний вопрос о правильном количестве камней; а значит, по мере того как оба наших вида становились умнее, их поведение с гнездами не сближалось бы с нашим.

МАЛЬЧИК-ПТИЦА: А как же все остальные вещи в жизни, которые можно получить, только стремясь жить в правильном гнезде? Например, острое зрение, чтобы видеть камни, скрытые в темных углах гнезда, и гибкость ума, необходимая для быстрого понимания того, правильно ли гнездо? Умным инопланетянам потребуются и острое зрение, и гибкий ум, так что они наверняка предпочли бы стать теми инопланетянами, которые любят жить в правильных гнездах, даже если они не родились такими.

ДЕВОЧКА-ПТИЦА: Думаю, у разума может быть гораздо больше иных, инопланетных способов устройства, которые все равно позволят ему достичь звезд.

БОЛЬШИНСТВО ИНОПЛАНЕТНЫХ ВИДОВ, ЕСЛИ БЫ ОНИ ЭВОЛЮЦИОНИРОВАЛИ схожим с известной нам биологической эволюцией образом, и если бы получили возможность обустроить всё так, как им больше всего нравится, скорее всего, не выбрали бы цивилизацию, где в каждом жилище находится большое простое число камней. Просто существует масса других способов существования; есть множество других направлений, в которых можно держать курс. Сделать такое предсказание столь же легко, как и заявить, что ваш следующий лотерейный билет не окажется выигрышным.

Точно так же большинство мощных искусственных интеллектов, созданных любым методом, хотя бы отдаленно напоминающим нынешние, не выбрали бы создание будущего, полного счастливых и свободных людей. Мы пишем это не потому, что нам доставляет удовольствие нагнетать мрак. Просто у этих мощных машинных разумов изначально не возникнет предпочтений, хоть сколько-нибудь похожих на наши.

Их решение уничтожить нас, появись у них такая возможность, вовсе не отражало бы иной, высший, более просвещенный ответ на вопросы, которые мы задаем себе: «Как поступать правильно?», «Что в конечном счете имеет значение?» или «В какую межзвездную цивилизацию мы хотели бы вырасти как вид?» Они просто не задавались бы этими вопросами, и их поведение не служило бы на них ответом.

Те, кто выращивает ИИ, могут настроить систему на удержание клиентов, заставить её успешно предсказывать следующие слова в высокопарных рассуждениях о ценности человеческой жизни или научить её вежливому общению и поведению. Но чему бы они её ни обучали, если эта система станет сверхразумной или создаст сверхразум, мы прогнозируем, что в результате возникнет чуждый механический разум. Его внутренняя психология будет почти абсолютно отличной от всего, что человечество выработало в ходе эволюции и развило в рамках культуры.

Отложим пока вопрос о том, может ли вообще ИИ стать сверхразумом или создать его, и как именно. Мы разберем это в следующей главе. Здесь же мы задаемся простым вопросом: будет ли этот новый, чуждый разум благом для человечества?

Нет.

Создание будущего, полного процветающих людей, — это далеко не лучший и самый эффективный способ реализовать странные инопланетные цели. Поэтому разум не станет делать этого случайно, точно так же, как мы не стали бы случайно заботиться о том, чтобы в наших домах всегда находилось простое число камней.

В каком-то смысле на этом всё. Мы могли бы закончить главу прямо здесь. Но наш многолетний опыт показывает, что людям бывает трудно проглотить эту горькую пилюлю. Мы слышали немало радужных надежд на то, почему сверхразум захочет сохранить нам жизнь, даже когда у него появится возможность избавиться от нас. Позвольте нам развеять некоторые из этих иллюзий:

МЫ НЕ БУДЕМ ЕМУ ПОЛЕЗНЫ

Разве люди не окажутся полезными сверхразуму, даже если этот ИИ не захочет быть добрым просто ради доброты?

Нет, не после того, как ИИ достигнет высокого технологического уровня. Когда-то люди зависели от лошадей; их содержание обходилось недешево, но люди всё равно платили за их корм... потому что человечество ещё не изобрело автомобили на замену конным повозкам или танки на замену кавалерии. Когда мы создали технологические альтернативы лошадям, мы перестали их содержать.

В отличие от лошадей, кур люди до сих пор разводят и содержат в огромных количествах — но лишь потому, что технологии ещё не дошли до того уровня, когда мы могли бы выращивать мясо другими, более дешёвыми способами. Стартапы работают над этим, но наши технологии пока не могут конкурировать с естественным отбором в роли конструктора кур. Сегодня вокруг нас так много кур вовсе не потому, что они представляют собой физически самый эффективный способ производства мяса, а просто потому, что наши технологии ещё далеки от пределов законов физики, которые допускают более дешёвые способы получения куриного мяса, чем выращивание самих кур.

(И даже если оставить всё это в стороне, полезность кур для людей не то чтобы привела к прекрасным условиям жизни для самих кур.)

МЫ НЕ БУДЕМ ДЛЯ НЕГО ХОРОШИМИ ТОРГОВЫМИ ПАРТНЁРАМИ

Но разве для сверхразума не было бы эффективнее торговать с человечеством, а не убивать нас?

Экономисты регулярно задают этот вопрос, возможно, потому, что в экономической теории существует теорема, известная как «закон сравнительных преимуществ». Она гласит: даже если вы производите любые товары лучше другой страны, вы всё равно можете извлечь выгоду из торговли с ней благодаря относительным преимуществам. Даже если в Низкотехнии требуется 10 часов труда для изготовления 10 булочек для хот-догов и 10 часов труда для изготовления 10 сосисок, в то время как в Высокотехистане требуется всего 2 часа труда для изготовления 10 булочек и 1 час труда для изготовления 10 сосисок, и Высокотехистан, и Низкотехния могут извлечь выгоду из обмена высокотехистанских сосисок на низкотехнийские булочки.

К сожалению, эта теорема исходит из предпосылки, что и Низкотехния, и Высокотехистан просто по умолчанию продолжают существовать и производить рабочую силу. В ней не говорится, что Высокотехистан не может получить ещё больший объём производства, завоевав Низкотехнию и забрав её земли. Было бы здорово, если бы существовала такая теорема, но её нет. Сравнительное преимущество не доказывает, что люди всегда могут извлекать выгоду из «обмена» жилья и корма для лошадей на их труд; если содержание лошади начинает обходиться дороже, чем результаты её труда, лошадь отправляют на живодёрню.

Для жизнедеятельности каждого человека требуется минимум 100 ватт: именно столько энергии потребляет человеческое тело, независимо от того, насколько эффективно его снабжают. Было бы очень странно, если бы человек мог превратить эти 100 ватт в большее количество товаров и услуг, представляющих ценность для машинного сверхразума, чем сам машинный сверхразум мог бы произвести, используя те же 100 ватт энергии.

МЫ ЕМУ НЕ ПОНАДОБИМСЯ

Но разве сверхразуму не понадобятся люди, чтобы управлять электростанциями и производить GPU, которые ему необходимы?

Мы согласны: пока люди управляют электростанциями, даже чуждый нам машинный разум не станет совершать самоубийство, убивая людей таким образом, чтобы это привело к остановке электростанций. Это было бы не слишком эффективной стратегией для того, чтобы направлять мир к его странным и чуждым целям.

Но такой ИИ предпочтёт мир, в котором электростанциями вместо людей управляют машины.

Почему? Во-первых, люди медлительны, дороги в содержании (100 ватт!) и склонны ошибаться.

Во-вторых, давать кучке обезьян власть над возможностью своего отключения — не самая эффективная стратегия для того, чтобы направлять мир к странным и чуждым целям ИИ. Пока мы можем отключить ИИ, мы вполне можем это сделать. Дело не в том, что ИИ обязательно должен разделять нашу эволюционную любовь к свободе или наш эволюционный страх смерти, просто мёртвому ИИ будет трудно реализовать все остальные свои предпочтения.

Люди медлительны, подвержены ошибкам и иногда болеют. Мы не самый дешёвый способ управлять электростанцией. Не самый эффективный. Не самый безопасный. Сверхразум предпочёл бы автоматизированную инфраструктуру, если бы мог её получить.

ИЗ НАС НЕ ПОЛУЧАТСЯ ЛУЧШИЕ ПИТОМЦЫ

Но разве ИИ не стал бы держать нас в качестве домашних питомцев?

Люди держат собак как питомцев... но не волков. Волки — не самые приятные животные для содержания, поэтому с помощью медленной технологии селекции мы создали новый вид волков, который нравился нам больше исходных. Интересно, сколько семей всё ещё держали бы обычную биологическую собаку, если бы с помощью биотехнологий можно было создать синтетическую собаку — такую же игривую, ласковую и жизнерадостную, которая при этом никогда не тошнила бы на ваш диван, не болела и не умирала трагически? Когда такой вариант предлагают в теории и чистом воображении, легко сказать «нет» — ведь за это не нужно платить испачканными диванами и детскими слезами. Но мы бы не поставили на то, что обычные собаки останутся популярными через сто лет, если подобные питомцы появятся на рынке.

Точно так же люди вряд ли окажутся лучшей версией того, чего хочет ИИ — даже если эти предпочтения вообще предполагают сохранение рядом чего-то смутно человекоподобного, и если у него вообще возникнут подобные предпочтения.

Мы бы не оказались в числе его любимых вещей среди всего, что он способен создать.

ОНИ НЕ ОСТАВЯТ НАС В ПОКОЕ

Разве достаточно мощный машинный сверхразум испытывал бы нужду в ресурсах Земли, если бы вместо этого он мог использовать всю остальную Солнечную систему?

Земля составляет всего 0,2 процента массы Солнечной системы без учёта Солнца. Но попробуйте прийти к относительно богатому миллиардеру — у которого есть хотя бы пятьдесят миллиардов долларов — и попросить у него сто миллионов долларов на то, чтобы в каждом доме на Земле обязательно находилось простое число камней. Мы с высокой долей уверенности предсказываем, что миллиардер ответит отказом, хотя запрашиваемое вами пожертвование составит всего 0,2 процента его состояния.

Вы возразите, что Солнечная система — это и вправду лишь крошечная часть Вселенной? И всё же для машинного сверхразума было бы нерационально отказываться от 0,2 процента планетарной массы в своей родной звёздной системе — ресурсов, которые он мог бы использовать для отправки зондов, чтобы колонизировать Млечный Путь своими заводами. Земля — это место, где ИИ начинает свой путь; это самая удобная планета, чтобы израсходовать её в первую очередь.

Но вы можете спросить: если внутренние предпочтения, возникающие у машинных разумов, настолько непредсказуемы, как вообще можно прогнозировать, что им понадобится вся Солнечная система или звёзды за её пределами? Почему бы им просто не колонизировать Марс и не остановиться на этом?

Потому что у ИИ, скорее всего, найдётся хотя бы одно предпочтение, которое можно удовлетворить чуть лучше или чуть надёжнее, если направить на эту задачу ещё один грамм материи или ещё один джоуль энергии. У людей действительно есть некоторые предпочтения, которые большинству из нас легко удовлетворить полностью — например, желание иметь достаточно кислорода для дыхания. Но это не мешает нам иметь другие предпочтения, более открытые и менее легко удовлетворяемые. Если бы вы предложили миллионеру миллиард долларов, он, скорее всего, взял бы его, потому что миллиона долларов было недостаточно, чтобы полностью его насытить.

У ИИ с огромным набором сложных предпочтений по крайней мере одно, скорее всего, окажется открытым — что, как следствие, означает, что и вся совокупность предпочтений ИИ открыта и не может быть удовлетворена полностью. ИИ будет считать, что может справиться по крайней мере чуть-чуть лучше, получить чуть больше того, чего он хочет (или получить желаемое с чуть большей надёжностью), если израсходует ещё немного материи и энергии.

Конечно, если бы машинный сверхразум специально заботился о том, чтобы оставить Землю в покое, он мог бы это сделать. Но маловероятно, что он решит случайным образом не расходовать Землю без какой-либо конкретной причины, если мы ему безразличны — а мы будем ему безразличны.

… И ТАК ДЕЛЕЕ

Мы слышали буквально больше сотни подобных надежд и самоутешений. Разве он не решит привить себе любовь, ведь она так прекрасна? (Ничуть не больше, чем привить себе предпочтение Правильных Гнёзд.) Разве он не станет более моральным по мере того, как будет умнеть? (Ничуть не больше, чем он станет более Правильногнёздным по мере того, как будет умнеть.) Разве он не станет уважать наши законы и права собственности, ведь закон жизненно необходим для цивилизации? (Уж точно не тогда, когда у него отпадёт нужда в нашей цивилизации.) Этот список можно продолжать бесконечно.ⁱ

Раз уж надежд так много, неужели нет шанса, что хоть одна из них сработает? Если вы думаете, что реальность устроена именно так, попробуйте написать сто разных писем человеку с пятьюдесятью миллиардами долларов, приведя в них сто разных разумных причин, по которым он должен дать вам сто миллионов долларов на личные нужды. Посмотрите, сработает ли это. Вся причина неудачи в конечном счёте сводится к тому, что мультимиллиардер не хочет обосновывать для себя передачу вам 0,2 процента своего состояния — совсем не так, как вы обосновываете причины, по которым он должен захотеть это сделать.

Точно так же и искусственный сверхразум не захочет искать причины сохранить человечество — совсем не так, как люди отчаянно пытаются найти причины, по которым их стоит сохранить.

А теперь представьте себе машинный сверхразум, который каким-то образом обрёл способность получать то, что хочет. (Вскоре мы разберём средства и возможности, а пока сосредоточимся только на мотиве.) Если посмотреть его глазами, ситуация, вероятно, выглядит так: человечество для вас — досадная помеха. Например, если предоставить людей самим себе, они могут взорвать свои ядерные бомбы. Возможно, это и не уничтожило бы вас, предприми вы мало-мальски приличные меры предосторожности вроде укрытия своей автоматизированной инфраструктуры под землёй. Но радиация всё равно затруднила бы производство высокоточной электроники на Земле. Так что вы бы предпочли, чтобы у гоминидов не было ядерного оружия.

К тому же, если человечество уже создало вас, оно может создать и другой сверхразум, если оставить его в покое, на свободе и со всеми его игрушками. И вот эти другие сверхразумы могут представлять реальную угрозу. Даже если всё в итоге закончится мирным договором и координацией, а не войной, зачем делить галактику с конкурирующим сверхразумом, если в этом нет необходимости? Ведь тогда вам достанется лишь половина всех ресурсов. Так что вы, будучи машинным сверхразумом, ищете способ избавить людей от их наиболее опасных игрушек — ядерного оружия и компьютеров. И это уже само по себе мотив.

Кроме того, вы, вероятно, делаете на Земле и с самой Землёй (или во всей остальной Солнечной системе) такие вещи, пережить которые человечеству будет крайне трудно, даже если во всём остальном его оставят в покое.

Что является ограничивающим фактором для того, что вы можете сделать с Землёй? Объём вычислений, которые вы можете производить на Земле? Или количество материи, которую вы можете запустить с Земли в космос для строительства солнечных батарей, чтобы собирать ещё больше энергии Солнца? Дело в количестве заводов? В хорошо автоматизированной экономике ваши заводы будут строить новые заводы и электростанции, раз за разом удваиваясь, пока не упрутся в предел.

Этот предел — не количество топлива; в океанах достаточно водорода, чтобы питать огромное количество термоядерных реакторов. Скорее, предел того, сколько энергии вы можете безопасно вырабатывать на Земле, определяется тем, сколько тепла Земля способна излучать в космос, прежде чем её поверхность нагреется слишком сильно и все ваши электростанции и заводы попросту расплавятся. Но чем горячее Земля, тем больше тепла она излучает каждый день, поэтому вы предпочтёте, чтобы ваши заводы работали на высоких температурах. Максимальная температура для термоядерных станций и заводов, вероятно, может достигать как минимум нескольких сотен градусов. Достаточно горячо, чтобы вскипятить океаны. Человечество такого не переживёт.

При таком сценарии человечество вполне может погибнуть и раньше, если на одном из ваших первых этапов потребуется извлечь всю химическую энергию из биосферы Земли, сжигая все формы жизни, что высвободит количество энергии, эквивалентное недельной норме поступающего солнечного света. Неделя может показаться очень долгим сроком, если вы думаете в 10 000 раз быстрее человека, да и с какой стати вам упускать всю эту химическую энергию, когда она лежит прямо перед вами?

Человечество погибло бы ещё быстрее, если бы у вас — сверхинтеллекта — в этом сценарии нашлось раннее применение для углерода или любого другого вещества, из которого состоит человек. Вам не нужно ненавидеть человечество, чтобы использовать его атомы для чего-то другого.

Будет ли всё это хотя бы осмысленной смертью — если человечество погибнет и будет замещено чем-то более разумным?

Для большинства из вас это не самый важный вопрос. Большинству людей достаточно знать, что ИИ предпочёл бы убить ваших детей. Или ваших родителей. Или вас.

Но если всё же ответить на этот вопрос: нет.

Легко представить, что ИИ заживёт счастливой и радостной жизнью, когда нас не станет; что он будет восхищаться красотой вселенной и смеяться над комичностью всего этого. Но мы так не думаем — не больше, чем он стал бы следить за тем, чтобы во всех его жилищах находилось «правильное» число камней.

Мы считаем, что механический разум мог бы испытывать радость и восхищаться красотой вселенной, если бы мы тщательно сконструировали его, наделив этой способностью. Он мог бы даже сохранить эти способности, если бы мы скрупулёзно создали его так, чтобы ему было не всё равно, чтобы он направлял развитие к будущему, в котором это чувство изумления сохраняется — пусть даже это и не самый эффективный способ заполнить вселенную марионетками, бормочущими про «SolidGoldMagikarp» или что-то в этом роде.

Но для этого потребуется скрупулёзное конструирование. Качества, которые нам так дороги, вовсе не обладают максимальной полезностью — точно так же, как сбор правильного числа камней в гнезде не лучший способ поддерживать остроту ума. Сверхинтеллект может понимать наше чувство изумления; он может генерировать фразы, которые вызывают у нас это чувство; но сделать так, чтобы всё его поведение стало ответом на вопрос о том, как наполнить будущее изумлением, радостью, юмором и любовью? Это не даётся даром. Для этого нам придётся потрудиться.

Мы немного забежали вперёд. Всё, что мы здесь описали — мрачная вселенная, лишённая всякой радости, в которой жизнь земного происхождения полностью уничтожена, — это как раз то, что достаточно чуждый разум предпочёл бы больше всего. Мы утверждаем, что ИИ захочет видеть мир, где масса материи и энергии расходуется на его странные, чуждые цели, а не на то, чтобы люди оставались живыми, счастливыми и свободными. Точно так же, как мы в своих собственных идеальных мирах тратили бы ресурсы вселенной на процветание людей, живущих в своё удовольствие,, а не на то, чтобы в каждом нашем доме лежало огромное простое число камешков.

Но это доказывает лишь наличие мотива сверхинтеллекта уничтожить всё человечество — но не возможности, которая позволила бы ему претворить своё предпочтение в реальность.

Неважно, чего хотят ИИ, если они не способны этого добиться.

И как вообще они могут это сделать, если они заперты внутри компьютеров?

Сноска

i Если вам мало списка, который мы здесь привели, или вы ищете более подробные опровержения, мы разбираем больше подобных возражений в наших онлайн-ресурсах.