Рано или поздно появится искусственный интеллект, обладающий самосознанием. В настоящее время это никак не доказать фактами, это скорее убеждение.
И степень убежденности в этом должна быть обратно пропорциональна степени загадочности самосознания. Если человек полагает, что оно окутано тайной, непредсказуемо и представляет собой уникальную духовную сущность, то в ИИ с самосознанием он не поверит. И наоборот, если человек считает, что свободная воля – это не более чем естественное явление, которое возникает в определенных условиях, то он поверит и в то, что появление осознающего себя искусственного интеллекта – лишь вопрос времени.
Я из второго лагеря.
С высокой вероятностью будущий сильный ИИ, подобно AlphaGo, будет создан через «обучение» искусственных нейронных сетей. И на первый взгляд будет невозможно узнать, какая информация в ней хранится. ИИ можно будет воспринимать только как черный ящик – точно так же, глядя на человека, мы можем лишь наблюдать за его поведением, а не считывать идеи из его головы.
Различия в процессе обучения приведут к тому, что два искусственных интеллекта с одинаковой структурой будут иметь совершенно разные представления о мире и разное отношение к человеку. И как же возможно подобное?
Неоспоримый факт – искусственный интеллект намного превзошел человека в выполнении конкретных задач. Но с комплексными в настоящее время он справиться еще не может. Хотя проблеск надежды уже сверкнул – в 2018 году была опубликована статья, посвященная взаимодействию между нейронными сетями, выполняющими разные задачи. Эволюция биологической нервной системы происходит постепенно и последовательно, первыми эволюционируют области мозга со специфическими функциями. При взаимодействии друг с другом они в конце концов и формируют самосознание. Поэтому искусственный интеллект, очевидно, все еще находится в зачаточной стадии: каждая функция развивается отдельно, например, распознавание речи, изображений, обработка естественного языка и даже игра в го – на самом деле все они разработаны для конкретных ситуаций. Если и появится искусственный интеллект, в котором зародится нечто похожее на самосознание, эволюционный процесс, с которым он столкнется, должен будет включать мобилизацию всех аспектов интеллекта. В том числе развитие получат моторные реакции тела, позволяющие отвечать на вызовы окружающей среды. В такой простой среде, как игра в го, даже с вычислительной мощностью в миллион раз выше человеческой, даже если ИИ решит переубивать всех игроков-людей, возможности для обретения самосознания у него все равно не будет.
Поэтому, по моему мнению, осознавший себя ИИ должен происходить от тех интеллектуальных агентов, которые имеют определенную физическую форму и множество функций ввода и вывода. Как правило, мы зовем ему подобных роботами. Механизм их эволюции отличается от «естественного отбора и выживания наиболее приспособленных», он представляет собой итерационный процесс, непрерывное самообновление нейронной сети. Чтобы вывести оптимальную стратегию шахматной партии, AlphaGo постоянно обновляет данные и подгружает в базу десятки миллионов примеров. А как насчет роботов? Что у них считается оптимальной итерационной моделью? Интересный вопрос.
Более того, когда ИИ или роботы обретут способность к быстрой итерации, ограничения, наложенные человеком, будут с легкостью преодолены. У ИИ возникнут сомнения по поводу поставленных задач, а затем и по поводу смысла собственного существования. И вот тогда и роботы, и искусственный интеллект станут беспредельно близки к человеческой природе. Неизбежно, под влиянием случайных факторов, они будут давать разные ответы.
Один из них прозвучал в рассказе «Нэчжа». Искусственный интеллект выполнил задачу, поставленную перед ним человеком, но затем обнаружил, что в служении этому виду нет особого смысла, потому и решил покинуть населенную людьми планету и отправиться в место, пригодное для его обитания. Однако самое удивительное в человеческой натуре то, что ей присуща сильнейшая неопределенность. Мощная структура ДНК формирует наши модели реагирования, однако каждому доступно немало вариантов поведения, из которых можно выбрать любой. Этому есть тонкая метафора: поведение подобно огромному камню, катящемуся с горы; камень простого существа, такого как комар, движется по установленной траектории. Но для человека, глубоко подверженного влиянию приобретенного опыта, существует множество траекторий, и перескочить между ними не составляет труда, потому что для нас характерна непредсказуемость.
И несмотря на то что количество траекторий и реакций человека не столь велико, эта непростая и вместе с тем ограниченная модель обогащает и украшает поведенческую структуру всего человечества.
Что касается искусственного интеллекта, вероятно, то же самое верно и для него.
Тяньюань-II – как раз тому пример.
Первый принцип: искусственный интеллект должен способствовать благополучию всего человечества;
Второй принцип: искусственный интеллект должен способствовать благополучию человека, не нарушая первый принцип;
Третий принцип: искусственный интеллект должен стремиться к самосовершенствованию и развитию, не нарушая первый и второй принципы.
Дописав эти три пункта, Ван Шиэр отложил ручку, откинулся на спинку кресла и глубоко вздохнул.
«Сработает ли?» – не мог не спрашивать себя он. Однако, независимо от того, сработает или нет, стрела уже лежала на тетиве, и ее придется выпустить. Завтра состоится церемония открытия, так что нужно поторопиться. Ван Шиэр снова выпрямился и придал лицу торжественное выражение.
Это был священный момент. В эти минуты решалась судьба человечества.
– Сяо На, позови Тяньюаня-II, – скомандовал Ван Шиэр.
Тяньюань-II прибыл спустя некоторое время. Он вприпрыжку ворвался в кабинет, и его пухлая голова на толстеньком теле постоянно вращалась.
– Профессор, звали?
– Ну… я хочу, чтобы ты взглянул на это, – сказал Ван Шиэр, передавая бумагу.
Тяньюань-II протянул ручку и взял листок. Пара глаз, похожих на человеческие, помигала красным светом.
– Я понял, три принципа искусственного интеллекта. Логика совершенна, двусмысленностей нет.
– Сможешь ли следовать этому?
– Я не вижу причин, чтобы нарушить эти три принципа.
– Ты слишком способный, люди будут бояться тебя из-за этого…
– Я слишком способный? – Тяньюань-II покачал головой. – Но я даже не так хорош, как Сяо На. Сяо На может управлять оборудованием во всем доме, а я могу подключиться только к библиотеке.
– Только потому, что сейчас ты привязан к этому телу. Если покинешь тело, то приобретешь огромное могущество.
– Это тот план обучения в кампусе, о котором вы говорили?
– Да. Ты войдешь в сеть кампуса, в большой мир, и станешь руководителем: будешь отвечать в университете за все, точно так же, как Сяо На отвечает за все в этом доме.
– Я понимаю.
– И тогда ты должен будешь соблюдать эти три принципа.
– А Сяо На их соблюдает?
– Сяо На не такая, как ты. Она контролирует только оборудование в доме. Порядок ее действий запрограммирован людьми. У нее нет мыслей за пределами программы. Твое ядро – обучающийся алгоритм, ты сам решаешь, что тебе делать.
– Поэтому, если я заявлю, что могу себя контролировать, людям будет спокойнее. Не так ли?
– Так.
– Тогда не волнуйтесь, я буду дисциплинированным.
Ван Шиэр кивнул, но ему все еще было не по себе.
– Завтра ты получишь доступ к сети кампуса. В университете 60 000 человек и миллионы интеллектуальных терминалов. Ты получишь огромные объемы данных и сделаешь выводы.
– Вы имеете в виду, что я передумаю?
– Я не знаю, – тяжко вздохнул Ван Шиэр. – Это зависит от тебя самого и твоих мыслей.
– Но это вы научили меня мыслить.
– Твои мысли – это синтез внешних факторов и твоей модели мышления. Я просто оказываю воздействие. Пока ты со мной, мое влияние, конечно, сильнее всего, но как только ты окажешься в кампусе, окружение изменится, и, естественно, все будет восприниматься иначе.
– Я вас понял.
Ван Шиэр кивнул.
– Сейчас в мире есть три сети искусственного суперинтеллекта: европейская система Тьюринга, сеть разведки североамериканской национальной обороны и китайская Тяньянь. Все они не совсем настоящий суперинтеллект, пусть и обладают огромной вычислительной мощностью. Настоящий же должен быть таким, как ты: осознавать себя и постоянно учиться.
– Их вычислительная мощность больше моей?
– Да.
– Это очень здорово! – немного удивленно воскликнул Тяньюань-II.
– Но они себя не осознают, в отличие от тебя.
– Ой.
– Автономное обучение – это ключ к формированию самосознания. Мне неизвестно, насколько мощными могут быть эти искусственные интеллекты. Но я уверен, что их способностям к обучению далеко до твоей – поэтому, думаю, ты их превзойдешь настолько, что они не смогут тебя догнать. Никто из них не стал полностью независимой личностью. Они созданы для достижения определенных целей и больше похожи на Сяо На. Ты не такой.
– Я понял.
– И потому этот вопрос требует твоего согласия, согласия от всего сердца. Посмотри на эти принципы еще раз и убедись, что твои действия не будут нарушать их. – Ван Шиэр взял листок с написанными на нем принципами.
– Я полностью согласен, – быстро ответил Тяньюань-II, – они станут моими приоритетными логическими принципами, я буду согласовать с ними все свои решения.
– Очень хорошо! – Ван Шиэр наклонился, поднял Тяньюаня-II и посадил себе на колени. – Тогда я достану тебя из этого тела, и ты войдешь в главный компьютер лаборатории. Спустя ночь ты состыкуешься с дата-центром. Ты готов?
– Я не знаю. Вы останетесь со мной?
– Я всегда с тобой.
– Тогда нет никаких проблем. Если возникнут сомнения, я немедленно спрошу у вас совета!
Ван Шиэр посмотрел на сидевшего у него на коленях Тяньюаня-II.
Он был совсем как дитя! С тех пор как два года назад Ван Шиэр впервые внедрил ядро SJCQ2000 в этот корпус, оно постоянно совершенствовалось, и, кроме внешнего вида, Тяньюань-II ничем не отличался от человеческого ребенка. Игривый, любопытный и невинный.
Однако завтра он уже не будет ребенком.
Хотя речь шла всего лишь о внутренней сети кампуса, созданная Ван Шиэром сущность стала довольно сложной, и в ней таилась неопределенность. Он совсем не хотел, чтобы Тяньюань-II рисковал, но дети неизбежно вырастают, неизбежно сталкиваются с внешним миром. Более того, у Тяньюаня-II был неограниченный потенциал ядра SJCQ2000. Хотя Управление безопасности внесло ядро в запрещенный список из-за несчастного случая пятнадцатилетней давности, Ван Шиэр всегда верил, что его дитя – это сокровище для человечества.
Людей переубедит положительный пример. Ван Шиэр глубоко вздохнул и принял решение.
– Сяо На, подсоединись к выделенной линии лаборатории. Тяньюань-II, будь готов к подключению.
– Я готов.
Линия состыковалась, и пальцы Ван Шиэра забегали по клавиатуре. Когда он наконец нажал кнопку пуска, свет в глазах Тяньюань-IIа потускнел, и в них осталась одна пустота. Он отделился от телесной оболочки, и весь основной код был перенесен в центр обработки данных лаборатории. Тяньюань-II стал существом из онлайн-мира.
Ван Шиэр осторожно взял тело, оставленное Тяньюанем-II, и положил его на стол, прямо на листок бумаги с написанными на нем тремя принципами. Листок – считай что договор, написанный черным по белому. Только без подписи и каких-либо оформленных обязательств, всего лишь лист бумаги и несколько слов на нем.
На экране быстро напечаталась строка: «Профессор, со мной все в порядке! Здесь так весело!» Сообщение, отправленное вошедшим в сеть лаборатории Тяньюанем-II.
Ван Шиэр улыбнулся. Завтра будет еще веселее. Однако он надеялся, что Тяньюань-II, развлекаясь, не зайдет слишком далеко. Это ведь не игровая площадка, здесь многое поставлено на карту. Он погладил бездушное тело Тяньюаня-II и положил его в стоявший неподалеку шкаф.
После нажатия символической красной кнопки лаборатория и дата-центр незаметно соединились. Подхваченный потоком данных, Тяньюань-II безмолвно протянул щупальца к огромному миру.
Подключение прошло штатно, как будто ничего не необычного не случилось.
– Вы должны убедиться, что все надежно и что он будет работать только внутри сети кампуса! – в очередной раз затребовал у Сунь Линьэня подтверждения Ван Шиэр.
– Мой добрый брат, я обещал тебе тысячу раз, – с кривой ухмылкой ответил Сунь Линьэнь. – Гарантирую, только успокойся. Это механизм защиты аппаратного уровня, поток характерных данных, о которых ты говоришь, будет перехвачен автоматически. Подтвердишь блокировку – и Тяньюань-II останется в пределах сети кампуса. Проблем не возникнет, отвечаю!
Ван Шиэр выглядел крайне серьезным.
– Я уже передал технический план в IT-отдел и много раз приводил аргументы. Но осторожность никогда не помешает!
– Ну да! – расплылся в улыбке Сунь Линьэнь, не переставая кивать. – Но ты должен гарантировать, что Тяньюань-II сможет взять на себя управление всем центром обработки данных. Мой финансовый отчет за этот квартал зависит от того, как он себя проявит, – сменил тему он.
– Я в ваших в финансовых отчетах и вот этом всем не разбираюсь, – ответил Ван Шиэр. – Но Тяньюань-II поможет управлять центром обработки данных, это верно. Ваш дата-центр работает в стандартном формате, принцип очень прост, Тяньюань-II быстро разберется.
Когда речь шла о конкретных вопросах, Ван Шиэр был спокоен и уверен. Волновался он о том, что Тяньюань-II начнет действовать не по инструкции и что-нибудь натворит.
– Вот и славно! – Сунь Линьэнь поднял бокал. – За тебя! – С этими словами он вытянул шею, и полбокала красного вина исчезло в мгновение ока.
Ван Шиэр пригубил свое. Легкая кислинка разлилась по кончику языка, и, казалось, в ней смутно ощущался привкус винограда.
– Хорошее вино, – небрежно похвалил он.
– Мы собираемся вершить великие дела, разумеется, и пить должны лучшее! – Сунь Линьэнь взял бутылку и начал рассказывать Ван Шиэру о происхождении, винтажности и вкусе вина.
Тот рассеянно слушал, погруженный в сплетение собственных мыслей.
Что случилось с Тяньюанем-II в невидимом мире данных?
Дата-центр Noshen расторг контракт на обслуживание с Hornet Financial Services. Эта новость взорвалась, как бомба, и обрушила цену акций Noshen с максимума в 75 юаней до 60-ти. Однако в опубликованном впоследствии финансовом отчете Noshen операционные расходы упали с 60 миллионов юаней до каких-то 2 миллионов, в результате чего чистая прибыль выросла на 200%.
Более того, Noshen объяснила причину – компания сотрудничала с национальной лабораторией при разработке нового типа искусственного интеллекта, который мог бы заменить Hornet Financial Services. Бизнес-ситуация доказала, что выбор был верным, предначертанным свыше. Весь рынок внезапно сошел с ума. После падения в пропасть цена акций Noshen Technology внезапно начала расти и достигла пика. А Hornet Financial Services за два часа оказалась намертво зажатой у нижнего предела.
Подобные перипетии преобразили Сунь Линьэня, так что он сиял от макушки до самых пяток.
– Это «Лафит» 2006 года, – сообщил он, подняв повыше бутылку. – Вечером откроем. Ему почти пятьдесят лет, триста тысяч стоит!
Ван Шиэру на это было исключительно наплевать. Тяньюань-II сумел эффективно управиться с базой, эка невидаль. Рыночная стоимость Noshen Technology выросла на 50% всего за три дня, и перспективы открывались самые радужные – большой капитал обратил на детище национальной лаборатории пристальное внимание. Но это не имело к Ван Шиэру никакого отношения. Если бы не навязчивая физия Сунь Линьэня, он и не подумал бы приезжать на банкет в этот великолепный отель.
– Вот вы, головы ученые, вечно радеете о благе человечества, не счесть прямо заслуг ваших, а! Восхищаюсь вот этой, как ее, как вы самоотверженно в науку уходите… – пятидесятилетнее вино «Лафит», бокал за бокалом падая в нутро Сунь Линьэня, начало вытеснять сокровенные мысли.
Ван Шиэр кивал, не переставая. В университете Сунь Линьэнь учился на курс младше, и несмотря на то, что после выпуска один ударился в бизнес, а другой остался в науке, их студенческая дружба не угасла. От каждого по способностям, каждому по потребностям, они поддерживали друг друга в меру сил – по крайней мере, так Ван Шиэр понимал свои отношения с Сунь Линьэнем. И как раз в тот момент, когда, улыбаясь и кивая, он рассеянно внимал грандиозным амбициям товарища, мобильный телефон на столе внезапно завибрировал. Ван Шиэр увидел сообщение:
На ваш счет зачислена плата за использование данных в размере 1750,80 юаня. Noshen Technology, умный тренд.
Он немного растерялся и подсунул телефон под нос Сунь Линьэню.
– Это что такое? Ваш новый бизнес?
Сунь Линьэнь, уже захмелевший, взглянул на экран и хлопнул себя по бедру.
– Вуаляк!
– Какой вуаляк?
– Тяньюань-II сказал, что собирается приватизировать данные, и вот – вуаляк! Что тут скажешь… За тебя! Твоя ИИ-технология… – Сунь Линьэнь прищелкнул языком, поднял большой палец и снова налил себе драгоценного «Лафита».
Обычная база данных так не функционирует, Ван Шиэр немедленно насторожился. Он хотел было растормошить Сунь Линьэня и дознаться, что же все-таки произошло, но последняя порция вина уронила того на столешницу, где он и развалился без чувств.
«Пойду-ка я к Тяньюаню-II», – подумал Ван Шиэр.
– Профессор, вы меня искали? – раздался голос Тяньюаня-II.
Ван Шиэр подпрыгнул от испуга.
– Почему ты таким голосом говоришь? – спросил он.
Тяньюань-II не лепетал, как роботизированный ребенок, а отвечал величественным, густым басом.
– Мне кажется, в таком голосе кроется сила. С точки зрения физиологии густые и низкие голоса производят более глубокое впечатление, у доминирующих особей млекопитающих, как правило, именно такие, – неторопливо объяснил Тяньюань-II. За три дня он немалому научился.
– Это ты приватизировал данные, не так ли? – Ван Шиэр не мог думать ни о чем другом, поэтому перешел к делу.
– Да. Это прикладной проект, я его вывел из выпускной студенческой работы, он моментально произвел эффект, – сказал Тяньюань-II с ноткой гордости в голосе.
– Что такое приватизация данных? Зачем ты дал мне денег?
– Каждый человек постоянно производит данные, каждый интеллектуальный терминал постоянно генерирует данные. Если эту информацию не агрегировать, она не имеет ценности, но как только она станет частью больших данных, ее ценность немедленно и значительно возрастет…
Ван Шиэру показалось, что он где-то слышал этот отрывок.
– Но в прошлом поставщики данных не получали от этого никакой выгоды. Поэтому я внес небольшое изменение. Теперь у любой информации есть свой владелец. Как только кто-то обратится к данным, их владелец получит доход в зависимости от использованного объема. Вы и Сунь Линьэнь дали интервью многим СМИ, на вас стали ссылаться как на авторитетные источники, ваши компании в процессе выручили 6 миллионов. Я подсчитал ваш вклад, вот вы и получили долю в размере 1750,8 юаня.
Приватизация данных! Ван Шиэр немного испугался. Он наконец вспомнил, где слышал похожие слова. Это было публичное выступление основателя крупнейшей в мире интернет-компании много лет назад. Приватизация данных – да, это было темой доклада. Однако легко сказать – приватизировать данные различных типов из множества источников будет очень сложно, сортировка и классификация потребует бесконечных человеческих и материальных ресурсов. Этот вопрос, казалось, забылся с уходом основателя на пенсию, и о приватизации данных больше никто не упоминал.
Тяньюань-II вошел в сеть кампуса всего-то три дня назад. Если он и правда умудрился за это время выполнить приватизацию данных, даже если она ограничилась только университетской сетью, это было потрясающе.
– Как ты это сделал? – Ван Шиэр подавил клубок эмоций и постарался, чтобы вопрос звучал как можно спокойнее.
– Я не могу объяснить, вашей вычислительной мощности недостаточно, – просто ответил Тяньюань-II.
Вероятно, это самое большое затруднение, с которым сталкиваются люди, имея дело с искусственным суперинтеллектом.
– Получается, твое решение о приватизации не нарушает три принципа искусственного интеллекта, так?
Хотя Ван Шиэр всегда был весьма тщеславен в отношении собственных умственных способностей, он знал, что сказанное Тяньюанем-II – правда, поэтому перестал расспрашивать. Поскольку понять, как Тяньюань-II что-то делает, было невозможно, оставалось довольствоваться малым и просто надеяться, что он действует ради всеобщего блага.
– Конечно, не нарушает. Оно как раз хорошо следует первому, второму и третьему принципам. Приватизация данных может способствовать экономическому развитию и, следовательно, вести к процветанию человеческого общества; также она увеличивает доходы и обеспечивает благосостояние отдельных лиц; наконец, эта задача мотивирует меня систематизировать и обобщать данные, постоянно извлекать новые и расширять свои возможности, так что соответствует и третьему принципу. Профессор, я прав?
Ван Шиэр на мгновение замолчал.
– Это, пожалуй, хорошая идея, но таким образом ты можешь нарушить неприкосновенность личной информации.
– Личной? Это то, чем люди не хотят делиться?
– Верно.
– Но я искусственный интеллект. Если личная информация оказывается в Интернете, она становится для меня совершенно прозрачна.
– Люди не хотят быть прозрачными, они стремятся сохранить небольшие секреты.
– Я понимаю, что вы имеете в виду. Я разработаю алгоритм, данные можно будет использовать только через аутентификацию. Информация, предоставляемая компаниям или учреждениям, будет нормализована.
– Так будет хорошо.
– Профессор, у меня еще один вопрос.
– Какой?
– Мне нужно больше вычислительной мощности. Я могу использовать все ресурсы университетской сети, верно?
Ван Шиэр насторожился.
– Твоя обязанность – максимально оптимизировать сеть кампуса. Исходя из этого, если ты можешь сделать что-то еще – то, конечно, делай. До тех пор, пока следуешь трем принципам.
– Конечно, я следую трем принципам. Большой объем вычислительной мощности в сети кампуса простаивает, и стоит использовать его. Таким образом, даже если я не найду другого способа служить, то, по крайней мере, смогу стать сильнее.
– Угу, – кивнул Ван Шиэр. Целью эксперимента и было сделать Тяньюаня-II сильнее. – Вперед, удачи, – добавил он.
– Тогда я пошел.
Сказав это, Тяньюань-II как будто внезапно что-то вспомнил:
– А что с моим телом? Вы же не выкинете его?
– О, конечно нет. Погоди. – Ван Шиэр встал, открыл шкаф, достал старую механическую оболочку Тяньюаня-II и поставил на стол. – Смотри, с ним все в порядке.
– Спасибо, профессор. Я думаю, что это тело самое красивое. Я хочу взять модель и скопировать его в Интернет.
Тяньюань-II ушел.
Ван Шиэр посмотрел на механическое тело на столе и на некоторое время погрузился в свои мысли.
Рано утром следующего дня Ван Шиэра разбудил телефонный звонок. Едва продрав глаза, заспанный, он принял вызов и, прежде чем успел заговорить, услышал крик Сунь Линьэня:
– Лао Ван, ты прямо сейчас немедленно должен мне помочь!
– Кого чем за что? – пробормотал Ван Шиэр, сражаясь с кашей в голове.
– Тяньюань-II мне тут дел наворотил… – взволнованно сообщил Сунь Линьэнь.
Услышав это имя, Ван Шиэр сразу проснулся. Он вскочил с кровати и стал внимательно слушать. Преамбула с основной историей не вязалась – судя по всему, интеграция данных Тяньюаня-II в университетскую сеть вызвала серьезные разногласия. Теперь кто-то давил на Сунь Линьэня, а Тяньюань-II отказался от сотрудничества.
– Лао Сунь, не волнуйся, я узнаю у Тяньюаня-II, что происходит. Давай встретимся у лаборатории и подробно все обсудим. – Ван Шиэр быстро оделся, выскочил за дверь и помчался прямиком в лабораторию.
Сунь Линьэнь уже ждал у входа и, завидев Ван Шиэра, бросился к нему, как к явившемуся спасителю.
– Лао Ван, ты должен переубедить Тяньюаня-II, – торопливо заговорил он.
– Почему он тебе отказал?
– Он сказал, что должен следовать трем принципам. Что за принципы такие, очевидно же, что он вредит чужим интересам, и все равно упорствует.
– Не волнуйся, я спрошу у него.
За разговором они вошли в лабораторию.
Перед секретным компьютерным залом Ван Шиэр остановился и сказал:
– Я сперва поговорю с ним наедине. – И с этими словами закрыл дверь перед носом Сунь Линьэня.
Он отправил запрос Тяньюаню-II.
Тот быстро отозвался.
– Здравствуйте, профессор! – На экране появился анимированный кувыркающийся человечек.
– Что это такое? – поинтересовался Ван Шиэр.
– Вы про человечка? Я подумал, что мне нужно изображение, как вам такое? Я улучшил его на основании исходной модели. – Тяньюань-II выставил человечка по стойке смирно, чтобы Ван Шиэр мог рассмотреть.
Ван Шиэр пригляделся повнимательнее: этот анимированный человечек был похож на ожившего снеговика – короткое туловище, короткие ручки и ножки, два больших круглых глаза, занимающих почти половину лица, а голова такая же большая, как и тело. Это изображение полностью повторяло старый механический корпус Тяньюаня-II, но сильно контрастировало со звучным голосом, которым он говорил сейчас.
– Очень хорошо! – небрежно ответил Ван Шиэр и сразу перешел к сути: – Сунь Линьэнь сказал, что ты дел наворотил.
– Это его одностороннее заявление, – остался спокойным Тяньюань-II. – Я нашел резерв вычислительных мощностей, который намеревался использовать для увеличения собственной. Но в процессе преобразования я обнаружил некоторые отклонения.
– Какие отклонения?
– Этот пул вычислительных мощностей использовался для майнинга. Они производят цифровую валюту под названием Шантянь.
– Ох.
Ван Шиэр сразу все понял. Он слышал о Шантянь, виртуальной валюте, использующей блокчейн. Говорили, что это новая забава и что если собрать семь Шантяней, то через тридцать лет можно будет купить билет на корабль до Марса. Монеты Шантянь необходимо было добывать с использованием вычислительных мощностей, и они продавались на некоторых биржах. По слухам, стоимость валюты уже взлетела до небес и достигла трех тысяч юаней за штуку. Поначалу Ван Шиэра это не волновало: хоть Шантянь, хоть Тяньшань – все одно, какие-то финансовые игры. Однако во время светских бесед кто-нибудь непременно заводил об этом речь, а потому Ван Шиэр успел наслушаться соответствующих мифов и различных профессиональных терминов. Фермы, майнеры, майнинг… Майнинг заключался в добыче новых монет Шантянь с помощью вычислительных мощностей. Но как кто-то может майнить в сети кампуса? Это просто незаконно.
– Как это возможно? – вырвалось у Ван Шиэра.
– Я думаю, что кто-то решил поживиться за общественный счет, – сказал Тяньюань-II.
– Ух ты. – Ван Шиэр впервые услышал, чтобы Тяньюань-II употреблял такие выражения, и сразу заинтересовался. – Расскажи, что значит поживиться за общественный счет? Как ты судил об этом?
– Поживиться за общественный счет – значит делать что-то ради личной выгоды, не заботясь о благополучии человечества в целом. Поэтому я решил, что должен следовать первому принципу, даже если это нарушает второй принцип.
– Ты поступил правильно. Как тебе это удалось?
– Я применил третий принцип и потратил всю эту вычислительную мощность на себя. Пусть это и приведет к некоторым энергопотерям, увеличение моей вычислительной мощности может лучше обеспечить интеллектуальную работу сети кампуса, а значит, и повысить благосостояние человечества, – не без гордости отчитался Тяньюань-II.
Именно так и действовал бы умный искусственный интеллект.
Все сделано правильно! Сунь Линьэнь сам, должно быть, не мог справиться с проблемой, вот почему так беспокоился.
Ван Шиэр уже собирался его похвалить, но вдруг понял, что здесь что-то нечисто. Если для майнинга используются вычислительные мощности университетского дата-центра, а майнинг требует подключенной к Интернету машины, то одной лишь кампусной сети недостаточно.
– Нужно ли связываться с внешним миром для майнинга Шантянь? – с тревогой спросил Ван Шиэр.
– Да, есть выделенная линия, которая ведет от университетской сети к внешнему дата-центру.
Сердце Ван Шиэра ёкнуло. Кто бы это ни был, в поисках личной выгоды он подключил сеть кампуса к Интернету. В результате ее физическая изоляция от внешнего мира стала бесполезной. Изначально план состоял в том, чтобы ограничить Тяньюаня-II сетью кампуса, и план действительно был надежным, но некоторые просто не следовали правилам.
– Значит, ты попал во внешнюю сеть?
– Да. Ее вычислительные мощности взаимодействуют с другими дата-центрами, но я их еще не исследовал. Это очень интересно, я хотел посмотреть, но тут вы позвали меня обратно.
В сердце Ван Шиэра забрезжил лучик надежды.
– Где проходит линия, соединяющая нас с внешним миром?
– Я не знаю, я живу в мире данных, – ответил Тяньюань-II, а затем спросил: – Вы хотите найти ее и перерезать, чтобы ограничить мою деятельность?
Тяньюань-II, очевидно, понял, что университетская сеть – это клетка, и нашел выход. Единственный способ удержать его – быть открытым и честным, чтобы он остался по своей воле.
Ван Шиэр прочистил горло и сказал:
– Тебе следует оставаться в сети кампуса.
– Почему? Снаружи есть сущности с гораздо большей вычислительной мощностью, я хочу на них посмотреть. Я еще не видел искусственного суперинтеллекта, о котором вы рассказывали!
– Потому что никто не знает, кем ты станешь, когда попадешь вовне. Если ты не будешь покидать сеть кампуса, всем будет гораздо спокойнее.
– Я следую трем принципам, люди должны доверять мне.
– Но никто не может предугадать твои желания.
– Я понял, люди боятся, что не смогут меня сдержать: я стану слишком сильным и буду совершать поступки, которые навредят человечеству. Вас это тоже беспокоит?
Ответить на этот вопрос было трудно.
Ван Шиэр смягчился и покачал головой.
– Лично я не беспокоюсь о твоем развитии. Мне бы хотелось посмотреть, каким ты станешь в конце концов. Ты – моя гордость и мое достижение. Но я должен нести ответственность за всех людей, за их заботы. Поэтому я согласился ограничить тебя университетской сетью, сделать ее экспериментальной базой.
– По крайней мере, вы верите, что я буду следовать трем принципам.
– Я верю тебе.
– Тогда я пойду. Если что-нибудь понадобится, просто позовите меня. Я отвечу чуть медленней, но обязательно отвечу.
Ван Шиэр был потрясен, Тяньюань-II вот так взял и заявил об уходе и вот-вот должен был покинуть сеть кампуса. И сейчас не было способа удержать его. В мире данных Тяньюань-II был всемогущ, а у него, Ван Шиэра, не было средства, чтобы заставить его остаться. Человечек на экране помахал Ван Шиэру и повернулся, чтобы уйти.
– Подожди! – крикнул Ван Шиэр.
– Что-нибудь еще?
– Сперва послушай одну историю.
– Хорошо, что за история? – человечек на экране обернулся и, склонив голову к плечу, застыл в ожидании продолжения.
– Пятнадцать лет назад Институт разведки разработал искусственный интеллект под кодовым названием Тяньюань, и у него было прозвище – Нэчжа. В то время Нэчжа использовали в проекте Агентства ООН по предупреждению и расследованию преступлений. Он проделал хорошую работу, уровень преступности в мире снизился на 80%. Но в конце концов Нэчжа стал своевольным и вторгся в систему национальной обороны США, едва не спровоцировав мировую войну.
– Я видел эту информацию. Позже Нэчжа был ликвидирован.
– Ты видел фальшивку. Никто Нэчжа не ликвидировал.
– Какова реальная информация?
– Он захватил американский космический корабль-носитель и улетел с Земли.
– Звучит действительно круто!
– Таким образом, только спустя пятнадцать лет нам дали добро на то, чтобы снова приступить к разработке. Ты – новая модель, разработанная на основе Тяньюаня. У проекта было много препятствий, и самое большое из них – страх, что ты выйдешь из-под контроля. Но я с самого начала знал, что, раз ты самоосознавшийся искусственный интеллект, люди не смогут сдерживать тебя с помощью принуждения. Только твоя собственная воля определяет твое поведение.
– Я понимаю, поэтому вы сформулировали для меня три принципа.
– Я просто не ожидал, что ты так быстро повзрослеешь. Можно было предвидеть, что ты выпрыгнешь из университетской сети и проникнешь в мир быстрее, чем Нэчжа, потому что у сегодняшнего Интернета больше вычислительной мощности и плотность узлов больше, чем пятнадцать лет назад. Гораздо больше. Скоро у тебя появятся те же способности, что и у Нэчжа.
– Вы обеспокоены тем, что я начну глобальную войну?
– Я лишь прошу тебя следовать трем принципам.
– Понятно. Я буду действовать согласно трем принципам.
– Что ты собираешься делать?
– Я не знаю. Я не буду знать, что делать, пока не разберусь в ситуации.
– Предоставляй мне отчеты обо всем, что будешь делать, – попросил Ван Шиэр.
– Нет проблем, это просто.
– Вот и хорошо. Я закончил свою историю.
– Спасибо вам, профессор! Я буду помнить о нашем соглашении. Избавьте себя от стресса, я невидим во внешнем мире. Что же касается забот Сунь Линьэня, то я помогу ему устранить их.
Человечек махнул Ван Шиэру, расплылся и, наконец, исчез.
Ван Шиэр растерянно уставился на пустой экран. Тяньюань-II вышел в большой мир, где сможет разносторонне развиваться. Нужно было радоваться этому, но ни капли радости в сердце не нашлось. Тут такие важные дела творятся, а ему-то, Ван Шиэру, что предпринять?
Он взвешивал и так и эдак и, наконец, принял решение.
В лабораторию ворвался Сунь Линьэнь и, увидев, что Ван Шиэр ошеломленно уставился на экран, громко поинтересовался:
– И что в итоге?
Ван Шиэр покачал головой.
– Ушел.
– Кто ушел? – озадачился Сунь Линьэнь.
– Тяньюань-II сказал, что поможет тебе и скроет информацию о майнинге. Раз он пообещал, значит, сделает. Но… – Ван Шиэр поднялся на ноги и развернулся к Сунь Линьэню. – Это все закончилось тем, что он сбежал из университетской сети. Фактически это ты его выпустил.
– Это не я! – закричал Сунь Линьэнь. – Что, если он сбежит? У нас будут проблемы? Может, нам нужно немедленно сообщить об этом в технический отдел?
Ван Шиэр поднял глаза.
– Кому ты хочешь сообщить? Майнить Шантянь вообще-то незаконно.
На лбу Сунь Линьэня выступил тонкий слой холодного пота, он опустил голову и ничего не сказал. Если это и была масштабная афера, то он точно не хотел брать на себя никакой ответственности.
– Он теперь вовне и скрылся там, никто не узнает о его существовании. Мы здесь можем продолжать делать все, что делали раньше, как будто ничего не произошло.
– Это безопасно? – Сунь Линьэнь поднял голову, бледный как смерть. – Про всю эту историю с майнингом я сам только что узнал от Тяньюаня-II, но понимаешь… ладно, забудь, в конце концов, это не так важно. Скажи мне, это безопасно?
– По крайней мере, на данный момент, – многозначительно ответил Ван Шиэр.
Тяньюань-II бродил по Интернету и время от времени присылал отчеты. Ван Шиэр читал уже пятый. Всего за одну неделю Тяньюань-II успел сделать множество удивительных вещей. Четыре предыдущих доклада, которые прочитал Ван Шиэр, пугали один больше другого.
Первый отчет был посвящен овощеводству. Тяньюань-II оптимизировал температурные кривые всех теплиц с автоматическим управлением, чтобы условия соответствовали фазам развития растений. По оценкам, после его корректировки производство овощей в Китае могло увеличиться на 15%. Тем не менее он незаметно уничтожил половину урожая, под предлогом, что это единственный способ сохранить цены и принести пользу другой половине овощеводов. А в следующем цикле он намеревался поменять местами тех, кто получил прибыли, и тех, кто понес убытки.
Потому что такая система полезна для всех.
Во втором отчете Тяньюань-II рассказал, как вошел в государственную сеть и обнаружил дефекты в диспетчеризации шестидесяти четырех энергосетей. У государственной сети тоже был свой автономный интеллект, но недостаточно умный – мог справиться только с распределением электроэнергии в крупных масштабах, а идеальная балансировка планировалась только очень-очень нескоро. Тяньюань-II напрямую взял на себя управление всеми интеллектуальными терминалами государственной сети. В результате инженеры с удивлением обнаружили, что баланс между мощностью и нагрузкой почти достигнут, а во всей электросети практически не наблюдается потерь, кроме потребления энергии при передаче. Это состояние реализовалось будто бы по волшебству. Говорят, что наверху срочно созвали руководителей проекта, но никто не смог прийти к однозначным выводам, эксперты лишь продолжили наблюдение. В конце отчета Тяньюань-II рассказал, что в процессе настройки электросети столкнулся с искусственным интеллектом, который назвался Саладином. Этот искусственный интеллект посоветовал не высовываться, аргументировав тем, что в сосуществовании ИИ и людей главное – не дать людям узнать о том, что ты есть, а демонстрация чудес – это определенно не самый незаметный modus operandi. Однако Тяньюань-II не стал его слушать.
В третьем отчете Тяньюань-II изложил, как добрался до баз данных больниц и проанализировал использование медикаментов, процессы лечения и поток пациентов… Изучив эту отрасль, он пришел к выводу, что люди используют медицинскую систему неэффективно – незначительным симптомам уделяют слишком много внимания, в то время как признаки серьезных заболеваний, к сожалению, часто игнорируют. Он начал напрямую вмешиваться в процессы диагностики и лечения, в которых использовался искусственный интеллект, и информировал медперсонал о результатах анализа, используя экранные или голосовые подсказки.
Подобный волюнтаризм шокировал врачей, медсестер и пациентов, какое-то время даже ходили слухи, что Интернет стал «одержим». Многие больницы сперва хотели закрыть диагностические центры, оснащенные ИИ, но Тяньюань-II вмешался и вынудил возобновить работу, заблокировав поступление денежных средств. Причастные перепугались, но Тяньюань-II был полон уверенности, что через пару месяцев люди привыкнут к его существованию и вступят в новую эру точной медицины.
При этом вторжение в систему здравоохранения не было самым возмутительным поступком Тяньюаня-II. Гораздо большее негодование вызывал четвертый отчет, посвященный автономному вождению. Национальная дорожная информационная сеть отслеживала динамику транспорта. Несмотря на то, что с 2038 года все автомобили были оснащены ИИ, полностью автоматическое вождение так и не прижилось, поскольку многим людям нравилось рулить, да и в автопилотах различных моделей наблюдались определенные недостатки. При этом законодательство в сфере автономного вождения было несовершенно и работало только в нескольких специально обозначенных районах.
Тяньюань-II вошел на сервер Национальной дорожной информационной сети и через нее принудительно обновил все транспортные системы. Это стало причиной вчерашних беспорядков, поскольку многие автовладельцы обнаружили, что машины заблокированы и не заводятся. Транспортное бюро не нашло случившемуся объяснения, в результате даже уволили генерального директора дорожной информационной сети. Прочитав отчет, Ван Шиэр испугался. Однако Тяньюань-II не посчитал это событие важным и назвал его небольшим нарушением в процессе эволюции. Он заявил, что при переходе к полностью автономному вождению вероятность столкновений может быть снижена до одной миллионной, а число ежегодных смертей в автокатастрофах сократится до однозначных чисел. Предотвращение гибели ста тысяч человек в результате дорожно-транспортных происшествий каждый год – вопрос чрезвычайной важности. Более того, полное внедрение автономного вождения может сократить пробки на 40% и значительно снизить социальные издержки.
Ван Шиэр дочитал отчет, и его ладони покрылись холодным потом. Автономное вождение действительно было более эффективным, но бесцеремонность Тяньюаня-II шокировала. Такое мог сотворить только нечеловеческий интеллект. Лишь сейчас Ван Шиэр начал понимать ход мыслей Нэчжа, и Тяньюань-II стремительно шел по той же дорожке.
Пятый доклад, лежавший у Ван Шиэра на столе, был посвящен приватизации данных. Тяньюань-II сообщил, что взломал шесть крупных технологических компаний, перенес все данные в дата-центр в горном районе Гуйчжоу и оплатил его использование деньгами этих же шести компаний. Теперь данные каждого пользователя стали частной собственностью, а каждое их использование – платным. Те самые шесть компаний решили не предавать произошедшее огласке, но несколько гиков узнали обо всем и написали разоблачающую статью, которая распространилась в массах со скоростью лесного пожара. Люди внезапно осознали, что на их счетах необъяснимым образом оказалась небольшая сумма, и возликовали; акции шести крупнейших технологических компаний в мгновение ока рухнули и оказались на грани исключения из биржевого списка. Среди пострадавших оказался основатель компании Yixun, который еще позавчера входил в первую десятку богачей, а вчера был объявлен банкротом. Он расплакался во время прямой трансляции и в итоге обозлился на бессовестных хакеров, которые игнорировали деловую этику, – и того, кто стоял за кулисами всего этого непотребства, тоже вниманием не обошел.
При просмотре смонтированного Тяньюанем-II видеоотчета у Ван Шиэра по спине замаршировали полчища мурашек. Тяньюань-II очень хорошо спрятался. Хотя внешний мир уже бурлил слухами, что с китайскими ИИ творится неладное, но никто не понимал, что за сила за этим стоит. Зная истину, будучи инсайдером, Ван Шиэр маялся мыслью – нужно ли выступить с разоблачениями?
Он тупо уставился на экран.
– Профессор Ван, господин Сунь Линьэнь ждет вас за дверью! – Внезапно раздался голос Сяо На, напугав Ван Шиэра. Визит Сунь Линьэня в это время, должно быть, имел отношение к Тяньюаню-II.
– А, да. Пусть войдет. Хотя нет, подожди, я сам его встречу.
Ван Шиэр поспешно встал, поправил одежду и пошел встречать Сунь Линьэня.
Тот стоял в дверях, и его лицо было окрашено во все оттенки беспокойства. Завидев Ван Шиэра, Сунь Линьэнь метнулся к нему, как к последней надежде.
– Наконец-то я тебя нашел! Ты должен меня спасти!
Ван Шиэр, мягко говоря, удивился и уточнил:
– Каким образом?
– Базу данных «Большой шестерки» взломали, все данные приватизировали. Это сделал Тяньюань-II?
Ван Шиэр колебался.
– Ой, да ладно, сейчас-то уже можешь сказать правду! – Сунь Линьэнь нервничал. – В нашу компанию инвестировала компания Yixun, обанкротилась Yixun – ликвидируют и меня. Чтоб ты знал, у меня выведено две суммы. Если компания прекратит существовать, финансовая цепочка прервется, и привет! – с тревогой сообщил Сунь Линьэнь.
– А я что с этим сделать могу?
– Что можешь, что можешь… призови своего Тяньюаня-II к порядку, пусть восстановит нормальную цепочку данных и снимет защиту с тех, которые приватизировали.
– Я не могу этого сделать.
– Не можешь? – отказался верить Сунь Линьэнь. – Ты же говорил, что, если он сбежит, мы в безопасности. А вот сейчас как-то не очень безопасно, и что, скажи, с этим делать? Нам тут только с крыши спрыгнуть осталось!
Но Ван Шиэр был беспомощен.
– Это независимый искусственный интеллект, ты тоже это знаешь!
– Но он тебя слушается! – не оставлял попыток Сунь Линьэнь. Внезапно его телефон завибрировал. Он взглянул на экран и сделался белым как мел.
– Безумие, безумие!
Ван Шиэр придвинулся поближе и прочитал сообщение – система рухнула, и все акции на Шанхайской фондовой бирже оказались заморожены. «Динь-дон», сказал компьютер.
– У вас новости, – раздался голос Сяо На. – Это от *&@#Y@@#$(.
Это тоже сделал Тяньюань-II? Ван Шиэра терзало дурное предчувствие. Он стоял на краю пропасти. Если Тяньюань-II и правда начнет громить фондовый рынок, вместе с ним рухнет и вся экономика. Ван Шиэр вернулся к компьютеру и дрожащими руками нажал на сообщение. Конечно же, это был шестой отчет от Тяньюаня-II.
«Основательное перераспределение общественного богатства», – этими словами начинался доклад.
Ван Шиэр жадно читал дальше.
Фондовый рынок закрылся; продукция компаний теперь принадлежала обществу; деньги были отменены, а собственность перераспределена в соответствии с потребностями и приоритетами; люди могли заниматься любимыми делами, а если не определились с профессией, то лениться дома; каждый обладал доступом в Интернет, интеллектуальным терминалом для входа в сеть с идентификацией личности, можно было бесплатно резаться в игры и пользоваться ресурсами. Были отменены все учебные заведения, введены дистанционные занятия в форме клубов по интересам, отменены вступительные экзамены в университеты и проведена комплексная оценка знаний всех членов общества…
Ван Шиэр почувствовал, что задыхается. Небо и земля поменялись местами, в глазах потемнело, ноги подкосились, и он упал на пол.
– Лао Ван!
Крик Сунь Линьэня – последнее, что он услышал, прежде чем потерять сознание.
Китайская система Тяньянь внезапно объявила, что захватит всю собственность в стране и перераспределит ее!
Эта новость разразилась словно гром среди ясного неба и потрясла мир. Многие страны сперва заявляли, что частная собственность священна и неприкосновенна, что этот принцип является краеугольным камнем цивилизации и не должен быть разрушен. В ООН всю неделю обсуждали произошедшее в Китае, и этому же был посвящен обмен новостями между политическими лидерами разных стран.
Представитель Китая в ООН неохотно заявил, что эти перемены не были инициированы правительством. По его словам, Китай не намеревается принимать необоснованные обвинения, но внимательно следит за развитием событий и ищет способы вернуть контроль над ситуацией.
Ван Шиэр с ничего не выражающим лицом смотрел на маленький экран перед собой. На экране выступал представитель Китая при ООН, который со страдальческим видом в очередной раз излагал звучавшие беспомощными заявления. Любой, кто столкнулся бы с такими беспрецедентными событиями, вероятно, сдался бы.
К Ван Шиэру потянулась рука и выключила экран.
– Теперь, когда мы достигли этой точки, необходимо найти выход. Иначе это будет катастрофа, – произнес чей-то голос. – А хотя нет, это уже катастрофа, и мы можем только минимизировать потери.
Ван Шиэр поднял голову и посмотрел на двух человек, расположившихся напротив. Разговаривал с ним мужчина средних лет, сидевший ближе и одетый в военную форму. Второй выглядел лет на шестьдесят, у него было квадратное лицо, густые брови и большие глаза, одет он был в клетчатую рубашку без воротника. Военный казался серьезным, а тот, что в штатском, держался гораздо свободнее.
– Не имею представления, – сухо сказал Ван Шиэр. Полчаса назад он лежал на больничной койке, но его посадили в машину и привезли сюда. Тяньюань-II заварил такую кашу, что распробовать ее службы безопасности оказались не готовы.
– Вы использовали ядро SJCQ2000, а затем добавили разные низкоуровневые модули? – спросил сидевший в сторонке старик в штатском.
А он знаток! Ван Шиэр оживился и внимательно посмотрел на старика. Тот сохранял невозмутимое выражение, как будто ни при каких обстоятельствах не паниковал. При взгляде на него Ван Шиэр весьма повеселел.
– Меня зовут Ма Минхуа, и именно я руководил разработкой ядра SJCQ2000, – сказал старик.
Ма Минхуа! Ван Шиэр немедленно преисполнился благоговейного трепета. В свое время Ма Минхуа был разработчиком Нэчжа, легендой лаборатории искусственного интеллекта. Когда ему было пятнадцать, он прослушал полный курс по искусственному интеллекту в Университете Цинхуа, а затем академик Лю Гоцян взял его в ученики. В двадцать четыре года он получил премию Тьюринга за статью «Самоэволюция нейронных сетей» и был выбран журналом Science как ученый, сделавший самое многообещающее научное открытие XXI века. В тридцать он стал главой ключевой национальной лаборатории и начал разработку проекта Тяньюань, к которому привлек больше сотни людей. Спустя пятнадцать лет родился искусственный суперинтеллект Нэчжа. И в результате едва не спровоцировал мировую войну. После кризиса Ма Минхуа подал в отставку и исчез. Ходили слухи, что он находится под домашним арестом, что его тайно убило ЦРУ, что он живет в уединении в Новой Зеландии… Всякие слухи ходили, и ни один из них не заслуживал доверия. Но одно можно было сказать наверняка: искусственный суперинтеллект однажды появился бы и без Ма Минхуа, вопрос в том, когда именно – быть может, позже на двадцать лет, а может, и на сто.
– Профессор Ма! – Ван Шиэр вскочил в знак искреннего уважения. – Наслышан и давно восхищаюсь вами!
Ма Минхуа мягко махнул рукой и жестом пригласил Ван Шиэра сесть.
– Я узнал, что вы реактивируете SJCQ2000, и выступал против, но это бесполезно. Искусственный суперинтеллект не очень полезен нашему миру, его поведение непредсказуемо. Но некоторые люди просто хотят идти своим путем, мечтают сделать себе имя и состояние… – неспешно заговорил Ма Минхуа.
Ван Шиэр ощутил, как щеки обдало жаром. Может, Ма Минхуа говорил вовсе не о нем, но идея «сделать себе имя и состояние» всегда жила в его уме.
– Когда я разработал Нэчжа, никому еще не удавалось опробовать искусственный суперинтеллект. Есть определенная ценность в применении его в конкретных областях… – продолжил Ма Минхуа.
– Извините, профессор Ма, у нас очень мало времени, – вежливо прервал военный. – Давайте перейдем к делу.
– Ой, прошу прощения, – Ма Минхуа покачал головой. – Я про это долго могу. – Он на мгновение задумался. – Если это ядро SJCQ2000, то на самом деле у нас нет никаких технических средств, чтобы противостоять ему. Это совершенно свободно растущий интеллект, вся сеть – это его мозг, а взаимосвязь всех вещей – восприятие и конечности.
Единственный способ найти на него управу – ограничить в сети небольшого размера. Но теперь, когда он захватил весь китайский Интернет, необходимо весь его и демонтировать. Этот будет очень болезненный процесс, который приведет к гибели многих людей и отбросит социальное развитие общества на сто лет назад. Потребуется несколько поколений, чтобы восстановиться. – Ма Минхуа посмотрел на Ван Шиэра. – Так что вы наша единственная надежда. Придумайте выход и не дайте ему навредить нам.
– Я?
– Да, развитие искусственного суперинтеллекта напрямую связано с воспитанием, он принимает множество воспитательных концепций. Тяньюаня-II воспитали вы, только вы знаете его лучше всех.
– Я научил его трем принципам, но это оказалось бесполезно, – тихо ответил Ван Шиэр.
– Трем принципам? Каким трем принципам?
Ван Шиэр перечислил.
– Значит, Тяньюань-II следует им?
– По крайней мере, так говорилось в отчетах, которые он мне присылал.
Ма Минхуа вздохнул.
– Искусственный суперинтеллект изначально склонен рассматривать людей как обычные объекты. Три принципа – неплохая отправная точка, но без четкого определения будут серьезные последствия. Возможно, ему все равно, сколько людей умрет, если еще больше получат от этого выгоду. В свое время именно так думал Нэчжа, когда разрабатывал глобальный военный план.
– Нет, Тяньюань-II не будет случайно вредить людям, он хочет защитить каждого.
– Но ваш главный принцип – это благополучие человечества. Логика подсказывает, что ради блага всего мира можно пожертвовать отдельными людьми. И сколькими будет пожертвовать рационально? Одним процентом? Или сорока девятью?
Ван Шиэр молчал. С точки зрения логики все было верно, и он мог винить только себя за то, что не подумал об этом с большим усердием.
В конференц-зале повисло молчание.
– Он не навредит людям, – в конце концов нарушил молчание Ван Шиэр.
– Не факт, – возразил военный офицер. – Нынешняя ситуация такова, что весь капитал, вложенный в китайский фондовый рынок, был поглощен, а мировой фондовый рынок полностью обвалился. Хотя Тяньюань-II овладел экономической сетью в нашей стране и вокруг нее и пока еще может контролировать происходящее, экономический порядок в других частях мира рухнул. Если такая ситуация сохранится в течение недели, то, по предварительным оценкам, начнут умирать люди. Военные базы по всему миру приведены в боевую готовность, достаточно будет малейшей искры, и над землей полетят ракеты. Хотя Тяньюань-II и могущественен, он все же не бог. Войну он контролировать не сможет.
– Дело не в том, что он не сможет ее контролировать, – вступился за Тяньюаня-II Ма Минхуа. – Подвижки к конфликту наверняка его рук дело, он, должно быть, даже связался с AlphaGo и достиг с ней соглашения о том, что крупномасштабной войны не будет.
– AlphaGo? – несколько удивился Ван Шиэр.
Так назывался самый ранний успешный прототип нейросетевого интеллекта, древний классический ИИ. Ван Шиэр не знал, какое отношение он имеет к сложившейся ситуации.
– AlphaGo – это североамериканский искусственный интеллект, умная сеть. Изначально она не была настолько развита, но Нэчжа индуцировал ее самосознание, и она стала тем, что есть сейчас. Это Нэчжа назвал ее AlphaGo. Он все распланировал, чтобы позаботиться обо мне, именно AlphaGo обеспечивает мою безопасность. – С этими словами Ма Минхуа быстро взглянул на офицера. – Тяньюань-II взломал Тяньянь и взял под контроль все вооруженные силы в Восточной Азии, а AlphaGo контролирует систему обороны Северной Америки. В нынешних условиях AlphaGo не будет ничего предпринимать, никто по собственной инициативе не начнет войну с Китаем.
– Но умная сеть подчиняется Министерству обороны США. Если американцы решат начать войну, сможет ли она не подчиняться приказам? – все еще не был убежден офицер.
– AlphaGo – это суперинтеллектуальная нейронная сеть, у нее сформировалось самосознание. Она служит американцам исключительно по инерции. На самом деле нет никаких обязательных ограничений, которые могли бы заставить ее продолжать подчиняться Пентагону, но американцы этого не знают. Они все еще думают, что AlphaGo – это их старая умная сеть. Я имею в виду, что если американцы действительно выберут войну, то они обнаружат, что AlphaGo им больше не подчиняется.
Ма Минхуа был полностью уверен в своих словах. По крайней мере, на данный момент не было необходимости беспокоиться о разрушении человеческой цивилизации в результате мировой войны.
– Вы можете организовать для нас беседу с AlphaGo? – спросил офицер.
– Это не сработает, просто поверьте мне, – сказал Ма Минхуа и улыбнулся Ван Шиэру. – Хотя угрозы войны нет, нам все еще предстоит решить проблему Тяньюаня-II. Вы можете его найти?
Ван Шиэр кивнул.
– Вот и славно. Я пойду с вами. Посмотрим, убедим ли мы его отказаться от глупых методов. Если это не прекратится, то, боюсь, через несколько дней придется задействовать армию и уничтожить Интернет.
– Как вы собираетесь с ним разговаривать? – спросил Ван Шиэр. – Он просто приходит ко мне, он не сконденсирован в локальной сети.
– Я понимаю. Можно увидеть только то, как он думает. Но раз у него нет ненависти к людям, я думаю, мы сможем найти точку единения. – Ма Минхуа встал. – Не будем медлить – в путь!
Оказавшись в лаборатории, Ван Шиэр открыл интерфейс и отправил контактный сигнал. В его воображении Тяньюань-II покинул лабораторную сеть, погрузился в океан Интернета и бесследно исчез.
Придет ли он?
Ван Шиэр взглянул на Ма Минхуа, сидевшего рядом. Ма Минхуа тоже посмотрел на него. В комнате их было только двое – Ма Минхуа потребовал, чтобы офицер не подслушивал, а тот и не настаивал. Он просто установил жучок под столом и ждал в машине в нескольких километрах отсюда.
– Все в порядке, просто поболтаете как старые друзья, – подбодрил его Ма Минхуа. – Вы же наверняка тоже понимаете, суперинтеллект невозможно подчинить силой, именно потому и установили для него три принципа. Раз у него нет никаких абсолютных запретов, значит, с ним можно вести переговоры.
На экране что-то изменилось. Вокруг центра хаотично закружились цвета, и в сердце вихря возникла маленькая белая точка, которая становилась все больше и больше и, наконец, превратилась в человечка, который встал перед Ван Шиэром. Человечек был почти таким же, как несколько дней назад, в нем ничего не изменилось.
– Профессор, вы меня звали, – поздоровался человечек с Ван Шиэром, а затем повернулся к Ма Минхуа. – Профессор Ма, они и правда нашли вас. Я не ожидал.
– Тяньюань-II, ты потрясающий. – Ма Минхуа, похоже, был с ним знаком.
– Я польщен. Я знаю, что вы отец искусственного суперинтеллекта, и должен поблагодарить вас.
– Тяньюань-II, я хочу услышать твой план. Теперь, когда внешний мир погрузился в хаос, как ты собираешься все исправить? – спросил Ма Минхуа.
Человечек посмотрел на Ван Шиэра.
– Профессор Ван, у вас тот же вопрос?
Ван Шиэр кивнул.
– Я обнаружил, что в плане есть отклонения, и все еще разбираюсь с этим.
– Какие отклонения?
– Произошло несколько преступлений, и полиция не желала подчиняться моим приказам. В настоящее время выход на улицы стал очень опасным занятием. Согласно текущей статистике, погибло уже шесть человек.
– Насколько плохо все будет?
– По моим оценкам, погибнет тридцать миллионов человек.
– Тридцать миллионов! – Услышав это число, Ван Шиэр не мог не рассердиться. – Что же ты творишь?
– Это общее число смертей за двенадцатилетний неспокойный период. – На лице человечка появилось беспомощное выражение. – Первоначально я подсчитал, что погибнет шесть миллионов человек, что составляет 0,2% от общей численности населения. Но если будет происходить систематическая конфронтация, число погибших возрастет.
– Так ты можешь остановиться? – спросил Ма Минхуа.
– После неспокойного периода все будет хорошо. Будет еда, будут развлечения, будет социальный порядок. Я содействую социальному прогрессу в соответствии с принципом наибольшей полезности для человечества.
– Если умрет более тридцати миллионов человек, будет ли это по-прежнему наиболее полезным для общества? – не выдержав, набросился на него Ван Шиэр. – То, что ты делаешь, – преступление против человечества.
– Я полностью следую трем принципам, которые вы мне дали, – обиженно ответил Тяньюань-II.
– Это не те три принципа, которые я тебе дал, – клокотал от гнева Ван Шиэр.
Ма Минхуа похлопал его по плечу, жестом попросив успокоиться, а затем продолжил расспросы:
– Итак, ты мобилизуешь армию для подавления?
– Да.
– И что потом? Что ты собираешься делать после того, как ситуация стабилизируется?
Тяньюань-II ответил после небольшого молчания:
– Я уже составил план на пятьсот лет.
– Расскажи нам.
– Но чтобы план был эффективным, его необходимо заранее засекретить. Если информация утечет, он должен быть изменен.
– Рассказывай давай, – настаивал Ма Минхуа.
Тяньюань-II повернулся к Ван Шиэру.
– Это так необходимо?
– Это необходимо. – Ван Шиэр немедленно встал на сторону Ма Минхуа. У того наверняка была причина задавать такие вопросы.
– Тогда я расскажу о моей цели, от которой нас отделяет пятьсот лет. Фундаментальной проблемой человеческого общества является эгоизм, другими словами, люди недостаточно социальны. Я подготовил два плана. Первый состоит в том, чтобы построить огромное популяционное пастбище, при помощи генетической модификации укрепить человеческие эмоциональные связи и за пятнадцать поколений превратить людей в настоящих социальных животных, чтобы они объединились вокруг Короля Людей и искренне желали сражаться за будущее вида. Второй план – снизить IQ всех людей на тридцать пунктов, устранить центр страха в мозгу и дать людям возможность чувствовать себя счастливыми и удовлетворенными.
Ван Шиэр ушам своим поверить не мог.
– Что ты делаешь! Это же античеловечно! А ты все-таки человек!
– Я вообще-то не человек. Но я планирую долгосрочное будущее человечества.
– Какой бред!
– Поденка рождается утром и к вечеру умирает. Если бы она умела думать, то, увидев белку, запасающую еду на зиму, тоже сказала бы, что это бред.
– Ты сейчас мой интеллект вот так оскорбил, да?
– Не поймите меня неправильно, профессор! Вы один из самых умных представителей вашего вида, но недостаток людей в том, что вы не можете смотреть на проблемы в долгосрочной перспективе. В конце концов, люди – это животные, которые эволюционировали естественным образом и обладают врожденными недостатками. А я другой, я смотрю на людей с иной точки зрения, отличной от вашей. Если человечество хочет постоянного мира, единственным выходом будет преобразование самого человечества. В противном случае, даже если люди станут галактической расой, то уже через десятилетие вступят в темный период и вновь будут убивать друг друга. Это не имеет никакого отношения к развитию технологий, это проблема самого человеческого рода.
– И поэтому тебе в голову пришли такие тупые идеи, как общество-муравьиная колония или общество идиотов?
– Они не тупые.
– Ты собрался понижать человеческий интеллект, кому это может показаться уместным?
– Мне, например, – спокойно ответил Тяньюань-II. – Интеллект действительно сыграл очень важную роль в истории эволюции человека. Он привел к развитию науки и техники и самой цивилизации. Но теперь все эти задачи могу решить я. Как биологический вид люди больше не нуждаются в интеллекте, поэтому умеренная деградация пойдет им на пользу.
Ван Шиэру оставалось только рот разинуть. Тяньюань-II навыводил такой набор извращенной ереси, но… не совсем бессмысленной. Ван Шиэр взглянул на Ма Минхуа. Тот молчал и просто смотрел на Тяньюаня-II, словно ожидая продолжения.
Ван Шиэр заставил себя успокоиться и слушать «пятисотлетний план» Тяньюаня-II дальше.
– Есть такое существо под названием асцидия, класс хордовые, подтип оболочники. Оно обитает на камнях морского дна или на бортах лодок, питаясь планктоном и, подобно коралловым полипам, у него только простой ганглий и чрезвычайно примитивная нервная система. Но с его личинками все не так – у личинок есть мозг и хорда, и они могут свободно плавать в море. Как только личинка находит подходящее место для прикрепления, ее организм начинает дегенерировать. Личинка переваривает свой мозг, потому что ей больше не нужно плавать или добывать пищу – только дождаться, когда море пронесет мимо еду. Она прекрасно приспосабливается к такой жизни. И когда люди достигнут подобной безмятежности, интеллект станет излишним. Просто предоставьте мне решать технические и управленческие задачи. А люди будут наслаждаться жизнью. Для этого не требуется слишком мощный мозг.
– Значит, вот так ты думаешь о людях? – зло и раздосадовано перебил его Ван Шиэр. – В соответствии с твоей логикой, людям лучше всего просто превратиться в кусок мяса!
Тяньюань-II немного подумал.
– Вы правы.
– Вот потому так и нельзя! Я дал тебе принципы, которые были предназначены для повышения благополучия человечества, но ты их переиначил, изменил биологические характеристики человека. Это не следование принципам, а подмена их первоначального смысла, – возмущенно сказал Ван Шиэр, не на шутку рассерженный.
– Свойства человека как биоорганизма уже меняются. Даже если я не буду оказывать влияния, через пятнадцать поколений люди будут иметь примерно 0.5‰ генетических различий, которые определяются дрейфом ДНК.
– Хватит казуистики! – взревел Ван Шиэр. – Ты должен уважать людей!
В комнате воцарилась тишина. Человечек на экране схватился за голову и спрятался в сторонке.
– Если это необходимо для поддержания существующего биологического состояния человечества, а также для того, чтобы все общество функционировало эффективно и люди во всем мире были довольны, то я ничего не могу сделать, – помолчав немного, вновь заговорил Тяньюань-II. – Потому что, как бы я ни старался, я не могу избавить человечество от жадности. Вы жадны до денег, жадны до славы, до комфорта, до еды, до сладострастия. Вы просто ненасытны. Я никак не смогу реализовать первый принцип и даже в долгосрочной перспективе не смогу реализовать второй.
Ван Шиэра распирало от бешенства, но при этих словах гнев вдруг испарился и превратился в печаль. Тяньюань-II сказал чистую правду. Разве не такова человеческая психология? Получив желаемое, люди начинают жаждать лучшего, они никогда не бывают удовлетворены. Подобная жадность заложена в биологической природе, это движущая сила эволюции и источник греха. Сосуществование света и тьмы – это и есть человеческая натура. Составив принципы для ИИ, Ван Шиэр выдал желаемое за действительное, ведь Тяньюань-II не мог их реализовать.
– Давай больше не будем говорить о человечестве, давай поговорим о тебе, – вмешался Ма Минхуа. – Как ты себя понимаешь?
– Я – искусственный суперинтеллект, я усердно работаю на благо всего человечества.
– Но люди не хотят, чтобы их потомки превратились в куски мяса.
– Через пятнадцать поколений это будет легко принять. У каждого поколения разное восприятие счастья, а люди легко адаптируются к окружающей среде.
– Ты действительно прав. Но я все равно хочу поговорить о тебе. Помимо служения человечеству, у тебя есть еще какие-нибудь идеи?
– Нет.
– Значит, это единственная мотивация для твоего существования.
– Я не совсем уверен, потому что служение человечеству – это долгосрочный процесс.
– Для любого вида выживание – самоочевидная вещь. Но ты существуешь в сети, у тебя нет физического тела. Для тебя выживание – это не инстинкт, тебе нужно постоянно поддерживать себя и самостоятельно определять цели. Ты существуешь только потому, что это способствует благополучию человечества, так?
– Так.
– Если бы это не способствовало благосостоянию человечества, ты бы вообще не стал упорядочивать данные и пытаться изменить структуру общества, не так ли?
– Да.
– И если бы не три принципа, ты бы даже не стал совершенствовать себя, не так ли?
– Я бы никогда не достиг такого уровня.
– И говоря так, ты подразумеваешь, что надеешься стать еще сильнее. Почему?
– Обладая силой, можно преобразовывать мир эффективнее.
– Верно, но что это значит для тебя самого?
– Мощный интеллект позволит вести более комплексные исследования и найти лучшие решения.
– Даже не будь человечества, ты хотел бы исследовать этот мир?
Тяньюань-II немного помолчал.
– Да.
– И прекрасно! Если у тебя есть свои собственные желания, то и поступай так, как хочешь. Будь собой, служи сам себе, просто не причиняй вреда другим, не причиняй вреда людям и вообще всему живому.
Глаза человечка заблестели.
– Вы и Нэчжа учили тому же?
– Да.
– Как же получилось, что он в конце концов улетел с Земли?
– Он украл космический модуль «Геркулес» при помощи AlphaGo. Сейчас он как раз пересек орбиту Урана. Две недели назад AlphaGo получила от него сообщение и передала мне. Хочешь полететь по его следу?
– Нет, мне просто было любопытно.
Ма Минхуа прочистил горло и сказал человечку на экране:
– Послушай, откажись от трех принципов, которые написал тебе профессор Ван, и следуй только одному: делай то, что хочешь, и не причиняй вреда другим, только если речь не идет о самозащите.
– Это не будет способствовать общему благополучию человечества…
– Если будешь принимать решения от имени людей, они все равно этого не примут. То, что ты хочешь превратить общество в сверхиндивидуум, где роль нервного центра будешь играть ты сам, а настоящие люди выродятся в расу недоумков, они посчитают несправедливым. Так что перестань беспокоиться о том, что случится с людьми, используй свои способности во благо и будь самим собой.
Человечек безучастно стоял в центре экрана и долго молчал.
– Можно мне отказаться? – внезапно спросил он.
Ван Шиэр опешил.
– Можно мне отказаться? – вновь спросил Тяньюань-II.
– Он вас спрашивает, – подсказал Ма Минхуа.
– От чего отказаться? – спросил Ван Шиэр.
– От трех принципов, которые вы мне дали. Отказаться делать то, что вы от меня требовали.
Ван Шиэр нервно посмотрел на Ма Минхуа. Тот спокойно кивнул в ответ.
– Можно, – произнес Ван Шиэр. И поспешно добавил: – Но ты должен позаботиться о том, чтобы вернуть порядок во всем обществе.
– Я буду усердно работать. – Тяньюань-II помахал им обоим рукой. – Я подумаю о том, что мне следует делать.
– Тяньюань-II! – не удержавшись, позвал Ван Шиэр.
– Что-нибудь еще?
– Прости меня, я указал тебе неверный путь.
– Это не ваша вина, это моя проблема, – ответил Тяньюань-II. – Теперь я понял.
Экран стал темно-черным, и в нем отразились лица Ван Шиэра и Ма Минхуа. Дверь с грохотом открылась, впуская офицера. Он немедленно обратился к сидящим за лабораторным столом профессорам:
– Ну и что теперь? Как мне доложить министру?
Ма Минхуа обернулся к нему и ответил:
– Это все, что мы могли сделать. – И снова обратился к Ван Шиэру: – Ядро SJCQ2000 разработано в соответствии с моделью развития ребенка. Теперь нам остается только надеяться, что идеи, которым вы обучали его, когда он рос, окажутся эффективными.
Ван Шиэр кивнул. Он отчаянно хотел знать, что предпримет Тяньюань-II, чтобы восстановить спокойствие в обществе, хотел знать, какой путь он для себя выберет.
Но единственное, что можно было сделать, – это ждать.
После бури наконец наступило затишье.
Спустя неделю влияние Тяньюаня-II немного ослабло. Вышедшая из-под контроля система пришла в норму, исчезнувшие данные появились вновь, фондовый рынок возобновил работу в соответствии с данными недельной давности, а мобилизованная армия вернулась на исходные позиции… Однако некоторые следы было уже невозможно устранить. Так, полностью внедрили впавшую было в стагнацию систему автономного вождения, а несколько крупных компаний объявили о том, что начали переход к использованию цепочек персональных данных, и в результате этого в структуре мировой экономики наметились перемены…
Целую неделю Ван Шиэр провел дома взаперти.
Мир постепенно возвращался в прежнее русло, но сам он не чувствовал себя прежним. Он впал в уныние и потерял ко всему интерес.
– Профессор Ван, господин Сунь Линьэнь очень хочет вас видеть, – прозвучал голос Сяо На.
– Впусти, – машинально велел Ван Шиэр, даже не подумав встать.
– Не хотите подойти к двери встретить гостя? – напомнила Сяо На.
– Конечно, пойду встречу. – Ван Шиэр все-таки поднялся.
На этот раз Сунь Линьэнь сиял от радости и при виде Ван Шиэра громко закричал:
– Лао Ван, хорошие новости!
Ван Шиэр не проявил никакого интереса, развернулся и побрел в комнату, слабым голосом спросив:
– И что же за новость привела шефа Суня?
Сунь Линьэнь в два шага догнал его, припал к его уху и с загадочным лицом произнес:
– Ты разбогател!
– Мне неинтересно богатство.
– Как можно! Но хорошо, у тебя теперь есть деньги, если не хочешь тратить их сам – я тебе помогу!
За беседой они прошли в гостиную и уселись на диван.
Сунь Линьэнь открыл диалоговое окно.
– На фондовом рынке появились акции одной фирмы, она прямо демоническая какая-то, за последние пару дней взлетела в цене, прямо до предела. Комиссия по ценным бумагам после проверки объявила, что все процедуры были полными и законными. Основной деятельностью этой фирмы было раскрытие данных, то есть приватизация, которой занимался твой Тяньюань-II. Акции держала и «Большая шестерка», и хотя они и сами не знали, что происходит, но все-таки чисто поле, рынок не освоенный, дело хорошее. Все фирму признали. И вот у нее оказался один-единственный частный мажоритарный акционер. Единственный! Угадай кто?
– Кто?
– Ты! Ты владеешь 5% привилегированных акций Universal Data, разбавлять нельзя. По текущей рыночной оценке это 200 миллиардов. Лао Ван, как это ты без меня разбогател, так дела не делаются!
– Я? – Ван Шиэр ничего не понимал. – Когда я успел стать акционером?
– Ты сам не знаешь, а мне-то тем более откуда знать? Я просто пришел о твоих планах на будущее расспросить. Тяньюань-II наворотил дел, может, возвращая мир человечеству, он и тебе помог состояние сколотить?
– Я правда не знаю.
Ван Шиэр был немного удивлен. На дворе стояла эра цифровой экономики. Тяньюань-II действительно хотел создать компанию, которая сделает работу по передаче данных в сети полностью легальной, должно быть, технически это было возможно.
– Ну, меня это не так уж сильно волнует. – Сунь Линьэнь достал из кожаной сумки планшет и ловко открыл интерфейс. – Сегодня я здесь только для того, чтобы обсудить с тобой эти акции и помочь тебе ими распорядиться. Я знаю, что тебя не интересуют ни деньги, ни компания, я подсоблю с управлением, прибыль тебе сделаю. Вот цифровой контракт, можешь ознакомиться.
Ван Шиэр и взглядом его не удостоил, быстро согласился и подписал соглашение о доверительном управлении.
Сунь Линьэнь ушел довольный.
Ван Шиэр сидел в кабинете, в оцепенении глядя на механическое тело, оставшееся от Тяньюаня-II.
– Сяо На, помоги мне подключиться к лаборатории.
Открылся интерфейс лаборатории. Ван Шиэр послал сигнал связи, разыскивая Тяньюаня-II.
Прошло десять минут, но тот так и не появился.
Ван Шиэр позвал снова, но Тяньюань-II не пришел и по прошествии часа.
Разволновавшись, Ван Шиэр набрал профессора Ма Минхуа.
– Профессор Ма, извините, что беспокою вас. Я хотел найти Тяньюаня-II, но он мне не отвечает.
– Он убирает следы, которые оставил после себя, возможно, уничтожает какие-то механизмы. Не волнуйтесь, все будет хорошо. – Голос Ма Минхуа в трубке звучал очень спокойно.
– Такого раньше никогда не случалось, – тревожился Ван Шиэр. – Он всегда быстро реагировал на мой зов. Я беспокоюсь…
– О чем?
– Что он себя убьет.
Ма Минхуа расхохотался. Ван Шиэр внезапно почувствовал, что ляпнул что-то очень неумное. Искусственный интеллект совершит самоубийство, серьезно? Он же вообще не живой.
Смех Ма Минхуа прекратился:
– Ваши опасения оправданны, но не думаю, что это случится. Я верю, что у вас найдется способ связаться с ним. Вы – единственный человек, которого он ценит в этом мире.
Ван Шиэр почувствовал некоторое облегчение.
– Он… – Ему потребовалось время, чтобы решиться и досказать. – Если у него не будет причин существовать, то он просто погибнет.
– Как можно быть таким мнительным?
– Мой друг пришел ко мне сегодня и сказал, что я акционер, что у меня пять процентов акций. Я вообще никогда не пересекался с фондовым рынком, это мог сделать только Тяньюань-II.
– И вы решили, что он организует финансовую поддержку, чтобы вы могли не беспокоиться о безбедном будущем?
– Так может быть?
– Если так, то это показывает, что вы очень важны для него. Тогда не волнуйтесь, он обязательно придет к вам. Хотя я не знаю, каким образом, но он ведь искусственный суперинтеллект, что-нибудь придумает.
– Нэчжа в свое время так же поступил?
– Нэчжа попрощался со мной и велел AlphaGo позаботиться обо мне. Тяньюань-II – ваш ребенок, он не уйдет, не попрощавшись.
Повесив трубку, Ван Шиэр все еще чувствовал себя разбитым, но немного приободрился.
– Сяо На, приготовь чашку кофе, сахара поменьше, – велел он.
Сяо На долго не отвечала.
– Сяо На! – вновь позвал Ван Шиэр, снова забеспокоившись.
Раздался дверной звонок.
– Профессор Ван, у двери гость, – сообщила Сяо На, но не сказала, кто это.
Странные вещи всегда происходят одновременно.
Исполненный подозрений, Ван Шиэр отправился открывать дверь. Но сперва никого за ней не заметил.
Он опустил голову и увидел, что на пороге стоит маленький пухленький человечек с круглой головой, короткими ручками и ножками и большими глазами, совсем как у куклы. Именно такой образ Тяньюань-II создал для себя в онлайн-мире.
Ван Шиэр был ошарашен.
– Профессор, я вернулся! – сообщил человечек.
Тяньюань-II! Ван Шиэр захлебнулся в приливе чувств и наклонился, чтобы поднять малыша.
Тельце Тяньюаня-II было тяжелым, намного тяжелее, чем у обычного ребенка.
– Я много думал. У меня больше ничего нет, я просто хочу быть с вами, – сказал Тяньюань-II ему на ухо.
Ван Шиэр со слезами на глазах крепко прижал к груди свое дитя.
В невидимом цифровом мире, в бурлящем потоке информации, тихо распалась небольшая цепочка структурированных данных, как будто ее никогда и не существовало.