«Разработка полноценного искусственного интеллекта может означать конец человеческой расы», — предупредил в 2014 году легендарный физик-теоретик Стивен Хокинг. То, что он не был экспертом в области ИИ, не помешало этому заявлению попасть в заголовки новостей; в конце концов, Хокинг был Хокингом. Но он не одинок: технологический предприниматель Илон Маск предупреждал, что ИИ может стать «нашей величайшей экзистенциальной угрозой». В начале следующего года подобные опасения были вновь высказаны в «открытом письме» экспертов, которые казались более компетентными. Руководители направлений ИИ в Google и других компаниях, робототехники и ученые-специалисты по компьютерным наукам были в числе тех, кто подписал заявление о том, что «мы не можем предсказать, чего мы сможем достичь, когда [наш] собственный разум будет усилен инструментами, которые может предоставить ИИ» — но при этом предупредили, что «наши системы ИИ должны делать то, что мы от них хотим», иначе последствия могут быть ужасными.

Научная фантастика полна историй о том, как ИИ не делает того, что мы от него хотим. От машин из сборника Айзека Азимова «Я, робот» (1950) до HAL 2000 в «Космической одиссее 2001 года», Скайнета во франшизе «Терминатор» и злобных сверхразумных ИИ в «Матрице» — мы, кажется, искренне упиваемся кошмаром о том, что наши машины завоюют, поработят и истребят нас.

Наш пессимизм в отношении перспектив ИИ может показаться странным — не в последнюю очередь со стороны Хокинга, который в последние годы полагался на него и сопутствующие технологии, чтобы иметь хоть какую-то возможность общаться с миром. Он и другие, кто предупреждает о надвигающихся опасностях ИИ, в целом признают огромные преимущества, которые он может принести: в упомянутом выше открытом письме говорилось, что он «продемонстрировал замечательные успехи в решении различных отдельных задач, таких как распознавание речи, классификация изображений, беспилотные автомобили, машинный перевод, перемещение шагающих роботов и вопросно-ответные системы», и добавлялось, что «потенциальные выгоды огромны... искоренение болезней и нищеты вполне представимо». И все же мы беспокоимся, правильно ли мы поступаем, создавая машины, которые могут сравниться с нами по интеллекту или превзойти нас.

У этого страха старые корни. Отчасти он проистекает из недоверия к искусству и искусственности, убеждения, что «искусственный» означает «неестественный» и поэтому обязательно приведет к беде. Злобность «созданного существа» находит выражение в романе Мэри Шелли «Франкенштейн» (1818), и с тех пор как роботы (от чешского слова, означающего «крепостной» или «подневольный рабочий») дебютировали в пьесе Карела Чапека 1920 года «R. U. R.», их изображали как бездушных существ, способных уничтожить человечество. Азимов назвал этот страх «комплексом Франкенштейна».

Недоверие к ИИ — это также страх перед Другим, перед неизвестным. Поскольку мы не понимаем «разум» ИИ, мы проецируем на него самое худшее, что таится в нашем собственном. В результате, однако, складывается любопытная картина: те, кого больше всего беспокоит наше незнание того, каким именно разумом может обладать ИИ, кажутся странно уверенными в том, что знают, каким он будет (или, по крайней мере, может быть).

Однако, в то время как некоторые футурологи-пророки упорно предсказывают худшее, многие из тех, кто работает непосредственно на «переднем крае» исследований ИИ, склонны относиться к этим мрачным предупреждениям с пренебрежением и даже отчаянием. В целом они беспокоятся не о том, что ИИ станет слишком мощным, чтобы мы могли его контролировать, и тем более не о том, что у него разовьется собственный злобный разум, а скорее о том, что, переоценивая его возможности и упуская из виду его недостатки, мы в итоге будем использовать его ненадлежащим образом. Некоторые из них полагают, что опасность можно было бы уменьшить, если бы сегодняшний ИИ на самом деле был более мощным, способным и, возможно, более человекоподобным, чем сейчас.

Но действительно ли это хорошая идея — проектировать сближение человеческого и машинного разумов? Еще один повторяющийся страх в сюжетах об ИИ заключается в том, что станет невозможно отличить «мыслящие машины» от людей, и существа вроде Авы из фильма Алекса Гарленда «Из машины» (2014) будут ходить среди нас незамеченными. Либо они будут по-настоящему сознательными (то есть наделенными разумом) существами, либо они настолько хорошо справятся с симуляцией разума, что мы никогда не узнаем разницы. Но реалистичен ли такой сценарий?

Учитывая, сколько беспокойства выражают ученые, технологи, футурологи и общественность по поводу опасностей ИИ, странно, как мало внимания уделяется вопросу о том, каким именно разумом, скорее всего, будет обладать ИИ. Возьмем «Асиломарские принципы ИИ», разработанные бостонским Институтом будущего жизни, которые пытаются кодифицировать безопасную разработку ИИ. (Название отсылает к Асиломарской конференции 1975 года в Калифорнии, которая стремилась направить развитие биотехнологий по ответственному руслу.) Одобренные головокружительным списком светил, включая Хокинга, Маска и многих ведущих деятелей в области ИИ, эти принципы предписывают, что «высокоавтономные системы ИИ должны проектироваться таким образом, чтобы гарантировать соответствие их целей и поведения человеческим ценностям на протяжении всей их работы». И все же эти принципы, похоже, больше озабочены управлением и направлением исследований в области ИИ, нежели рассмотрением фундаментальной природы того, что из них рождается: того, как ИИ «мыслит» сейчас и будет мыслить в будущем.

Возможно, отчасти это пренебрежение проистекает из заблуждения, будто мы уже знаем ответ. Яан Таллинн, соучредитель Института будущего жизни, говорит, что «нынешняя земная среда почти наверняка неоптимальна для главной заботы сверхразумного ИИ — эффективных вычислений». Но воображать, будто мы уже знаем, о чем именно «будет больше всего заботиться» истинно сверхразумный ИИ, — это все равно что полагать, будто муравьи способны угадать наши собственные надежды и желания. Независимо от того, хотим ли мы предвидеть связанные с ними опасности или возможности, было бы разумно начать узнавать наши машины немного лучше.

Истоки машинных разумов

Давайте проясним сразу: каждый робот и компьютер, когда-либо созданный (на нашей планете), начисто лишен разума. Утверждая это, я чувствую некоторую неловкость от мысли, что могу просто повторять ту самую предвзятость в отношении разума животных, которую столь сурово осуждал в предыдущих главах. И все же я полагаю, что это утверждение верно, — по крайней мере, эксперты в данной области в большинстве своем с ним согласятся. Siri и Alexa не расстраиваются, когда вы разговариваете с ними приказным тоном или насмехаетесь над ними, потому что они не личности, а всего лишь алгоритмы ИИ. Современные роботы не нуждаются в правах или признании их морального статуса. Если мы выбросим их на свалку, единственное чувство вины, которое мы должны испытывать, — это сожаление о впустую потраченных материалах и энергии, ушедших на их производство, и о сопутствующем ущербе для планеты.

Почему я так в этом уверен? Дело в том, что пропасть между хорошо изученными принципами проектирования логических схем и проявлениями или умозрительными теориями сознания слишком огромна. Сегодняшние компьютеры, при всех их поразительных возможностях, все еще ближе к сложным массивам обычных выключателей, чем даже к зачаточному мозгу насекомого.

Здесь, однако, есть две оговорки. Первая заключается в том, что нет абсолютно никакой гарантии, что эти две сущности принадлежат к принципиально разным классам объектов — то есть что нечто действительно разумное не может зародиться в устройстве, собранном на заводе из транзисторов и других электронных компонентов. Вторая оговорка: мы и сами не до конца понимаем, как именно работает сегодняшний ИИ. В какой-то степени это «черный ящик», который функционирует (а порой дает сбои) так, что мы не можем с точностью объяснить, почему это происходит.

Я предлагаю рассматривать новейшие системы ИИ как совокупность проторазумов, метафорически (и, скорее всего, исключительно метафорически) родственных нервным системам ранних эдиакарских организмов. Мы не знаем, представляют ли они собой ту самую материю, которая когда-либо сможет стать вместилищем истинного разума — может ли вообще возникнуть субъективное переживание того, «каково это — быть машиной». Тем не менее мы можем и должны начать думать о сегодняшних компьютерах и ИИ в когнитивных категориях: воспринимать их концептуально (пусть и не с этической точки зрения), как если бы они обладали разумом. Более того, некоторые исследователи убеждены, что на данном этапе это в принципе лучший способ понять, как они работают.

Одна из странностей искусственного интеллекта заключается в том, что в этой области издавна предвещали — или даже заявляли как о свершившемся факте — обретение машинами человеческих способностей через автоматизацию как раз тех вычислительных задач, которые менее всего показательны для сильных сторон человеческого ума. Речь идет о задачах, которые обычно строятся на применении жестких логических правил и решаются трудоемким перебором цифр. В этом проявляется довольно парадоксальное, но живучее представление, будто «интеллект» сводится к квазиматематическим рассуждениям и поиску решений, что само по себе является пережитком веры эпохи Просвещения в «разум» как единственное мерило человеческого разума. Из раза в раз мнимый триумф вычислительной техники — будь то в численных расчетах, игре в шахматы и тому подобном — приводил к появлению заголовков о том, что человек превзойден и машины вот-вот захватят мир, но всякий раз мы обнаруживали, что эти машины — не более чем саванты самого узкого профиля, беспомощные в любых вопросах, выходящих за рамки их прямой задачи.

Исследователи в области ИИ и компьютерных наук не питают иллюзий насчет ограниченности своих машин. Тем не менее предвзятое отношение к тому, из чего складывается «разумность», сохраняется — это видно, к примеру, по попыткам разработать обобщенные теории интеллекта на базе теории информации и манипулирования двоичными данными.

Впрочем, у стремления создавать машины, оперирующие числами и логикой, есть вполне разумное обоснование: именно потому, что сами мы не слишком сильны в подобных вещах, автоматизация математических расчетов была отличной идеей. Первой «вычислительной машиной» принято считать абак, а начиная с XVII века было создано несколько механических «арифмометров» — в частности, немецким математиком Готфридом Лейбницем и французским философом Блезом Паскалем. Это были механические устройства с движущимися деталями вроде зубчатых колес и шестеренок, которые настраивались и приводились в движение вручную.

С наступлением эпохи пара кто-то неизбежно должен был догадаться использовать эту движущую силу для вращения шестеренок вычислительных машин. Этим человеком стал британский математик и эрудит Чарльз Бэббидж. Рассказывают, что когда в 1821 году он и его друг, астроном Джон Гершель, обнаружили ошибки в таблицах математических вычислений, Бэббидж воскликнул: «Боже, как бы я хотел, чтобы эти расчеты производились силой пара!» С этой целью он спроектировал устройство под названием Разностная машина для решения так называемых полиномиальных функций — алгебраических уравнений, которые то и дело возникали при навигационных расчетах. Впоследствии Бэббидж попытался создать более универсальное устройство, Аналитическую машину, которую можно было бы запрограммировать на выполнение любых видов вычислений. Переписываясь с Адой Лавлейс, математически одаренной дочерью лорда Байрона, Бэббидж пришел к выводу, что программирование можно осуществлять с помощью карт с пробитыми в них отверстиями, которые приводили бы рычаги машины в нужное положение для каждой задачи. Это был колоссальный концептуальный скачок, заложивший идею универсальности вычислений. Набор базовых компонентов, выполняющих простейшие математические операции вроде сложения и вычитания, при правильной настройке и многократном запуске может рассчитать практически любую математическую задачу.

Аналитическая машина Бэббиджа так и не была построена: она оказалась слишком огромной, громоздкой и дорогой. Часто замечают, что первыми компьютерами на самом деле были люди, которых нанимали для проведения рутинных расчетов в сфере чистой математики, навигации, метеорологии, баллистики и астрономии. Часто это были женщины; так, в Гарвардской обсерватории весь штат вычислителей начиная с 1880 года состоял исключительно из женщин. Выполняя строго определенную последовательность математических операций, разбитую на простые, легко поддающиеся контролю шаги, эти живые «компьютеры» приводили в действие алгоритмы — четко заданные последовательности логических действий для решения задачи, — то есть делали ровно то, для чего предназначалась Аналитическая машина Бэббиджа.

В 1940-х годах инженеры-электрики поняли, как логические операции, лежавшие в основе вычислений живых «компьютеров», можно воспроизвести в электрических цепях с использованием диодов или электронных ламп, в которых входящие сигналы систематически преобразовывались бы в выходные по строгим правилам. Эти цепи манипулировали последовательностями электрических импульсов, представлявших разряды двоичных чисел («биты»): 1 (есть импульс) и 0 (нет импульса). Иными словами, вычисления и операции были цифровыми. Диоды можно было объединять в различные логические вентили, каждый из которых выдавал определенный выходной сигнал в зависимости от входных. Например, вентиль «И» (AND) выдает 1, если оба входа одинаковы (оба 1 или оба 0), но выдает 0, если они различаются (10 или 01). Такие цифровые схемы фактически выполняли математические операции, представленные в виде последовательностей единиц и нулей.

Первый цифровой компьютер под названием ENIAC (Electronic Numerical Integrator and Computer — электронный цифровой интегратор и вычислитель) был построен в Пенсильванском университете в период с 1943 по 1945 год. Представленный в прессе как «Гигантский мозг» или «Чудо-мозг», он показал, что мифология «машинного разума» существовала с самого начала. Большинство программистов ENIAC снова составляли женщины, для которых это казалось естественным продолжением их роли живых «вычислителей». Преобладание женщин в компьютерных технологиях сохранялось примерно до 1960-х годов, но постепенно эта сфера стала во власти мужчин, причем со временем — весьма агрессивно. Нехватка женщин-программистов и предпринимателей в современной Кремниевой долине стала притчей во языцех, не в последнюю очередь потому, что её, судя по всему, поддерживает мизогинная рабочая культура. То, как этот гендерный дисбаланс исказил нормы и цели информационных технологий, вызывает немало споров, однако можно с уверенностью заключить: характер компьютерных «разумов», созданных индустрией на сегодняшний день, несет на себе отпечатток нехватки разнообразия в умах их создателей.*

Одним из первых предположений о том, что машинный интеллект может быть способным на нечто большее, чем простое перемалывание чисел, мы обязаны Аде Лавлейс. Она полагала, что устройства вроде Аналитической машины Бэббиджа со временем можно будет использовать для написания стихов. Но чтобы мы не слишком умилялись этому кажущемуся провидению, следует помнить: Лавлейс, судя по всему, считала сочинение стихов лишь следующим уровнем сложности после решения квадратных уравнений. Это намекало на то, что человеческий разум создает свои творения просто потому, что в нем больше шестеренок, чем в устройстве Бэббиджа. (Мы никогда не узнаем, как отец Лавлейс, скончавшийся в 1824 году, отнесся бы к ее алгоритмическому взгляду на поэзию.) Позже мы увидим, насколько близко современный ИИ подошел к достижению цели Лавлейс.

ENIAC можно считать электронным аналогом Разностной машины — устройством, аппаратно настроенным на выполнение одной конкретной задачи. Однако в 1930-х годах британский математик Алан Тьюринг задумал наделить подобные аппараты возможностями Аналитической машины. Он разработал концепцию универсального программируемого цифрового компьютера.

В статье 1950 года (опубликованной, что весьма символично, в журнале Mind) Тьюринг размышлял о том, к чему может привести создание подобной машины. Статья называлась «Вычислительные машины и разум», и в ней задавался вопрос: «Могут ли машины мыслить?»

Тьюринг предположил, что этот вопрос на самом деле лишен смысла, и предложил заменить его чем-то более точным и поддающимся проверке. Можем ли мы, спросил он, создать машину, способную генерировать ответы на вопросы судей-людей так, чтобы их невозможно было отличить от ответов настоящего человека? Тьюринг назвал это испытание «игрой в имитацию»; сегодня оно более известно как Тест Тьюринга.

Тьюринг вполне ожидал, что цифровые компьютеры — подобные тому, с которым он тогда экспериментировал в Манчестерском университете, — удастся развить до такой степени, что они смогут проходить игру в имитацию. Он утверждал, что даже при технологиях того времени компьютерам вполне реально предоставить объем памяти в целых 10 мегабайт!* Представьте только, какие возможности тогда откроются.

Но можно ли будет действительно сказать, что такое устройство «мыслит»? Тьюринг утверждал, что если его поведение в игре в имитацию действительно нельзя отличить от человеческого, то единственным основанием отказать ему в этой способности будет обыкновенный шовинизм: ведь думать, конечно же, умеют только люди! «Я верю, — писал он, — что к концу века употребление слов и мнение образованной общественности изменятся настолько, что можно будет говорить о мыслящих машинах, не ожидая, что тебе станут возражать».

Статья Тьюринга 1950 года полна глубоких прозрений (а также остроумия). Но она также предвосхищает тон дискуссий об искусственном интеллекте, который сохраняется и сегодня, поскольку формулирует вопрос «Могут ли машины мыслить?» на основе негласного предположения: могут ли машины мыслить так же, как мы? В этой главе меня больше интересует вопрос о том, как машины могут и будут мыслить иначе, чем мы.

Куда мы движемся?

Первые шаги искусственного интеллекта сегодня иногда вспоминают как золотой век этой области — не из-за достижений, которые были крайне скромными, а потому, что ничто не казалось невозможным и на кону стояло всё. Сами компьютеры были новинкой и революцией, обещавшей освободить нас от ограничений слабого человеческого разума. Моих детей забавляют рассказы о моих собственных первых попытках программирования (как мы тогда называли написание кода) в 1973 году, когда я вручную записывал код на кодировочных бланках, чтобы операторы могли превратить его в стопки перфокарт, подобных тем, что задумывали Бэббидж и Лавлейс. Ночью эти перфокарты загружали в устройство размером с целую комнату, которое я сам почти никогда не видел. На следующее утро распечатка из этой таинственной машины показывала ошибки в моей программе, и я начинал все сначала. Это казалось весьма громоздким способом создания разума.

Термин «искусственный интеллект» был предложен в 1955 году американским ученым (его едва ли можно назвать специалистом по компьютерным наукам, поскольку такой профессии тогда практически не существовало) Джоном Маккарти. Математик по образованию, Маккарти подал заявку в Рокфеллеровский институт — благотворительную организацию, поддерживающую науку, — на проведение семинара, который объединил бы экспертов из академических кругов, промышленности, правительства и военных ведомств, размышлявших о потенциальном применении компьютеров. Маккарти и его соавторы предположили в своей заявке, что «каждый аспект обучения или любое другое проявление интеллекта в принципе могут быть описаны столь точно, что для их симуляции можно будет создать машину». Цель семинара заключалась в том, чтобы выяснить, как именно это сделать. Этому начинанию требовалось название, и на основаниях вряд ли более веских, чем то, что его нужно было хоть как-то назвать, Маккарти предложил «искусственный интеллект».

Является ли это название удачным для попыток создания «мыслящих машин» — вопрос спорный, главным образом из-за двусмысленности второго слова (а возможно, и первого). Если согласиться с тем, что разумное поведение требует чего-то большего, нежели просто сверхбыстрое вычислительное устройство, то что именно еще необходимо? Задним числом легко насмехаться над тем легкомыслием, с которым организаторы семинара, проходившего в Дартмуте, штат Нью-Гэмпшир, в 1956 году, упоминали «обучение или любое другое проявление интеллекта» — и, судя по всему, связывали эти «другие проявления» в первую очередь с такими функциями, как рассуждение и язык.

Оглядываясь назад, можно сказать, что узкие рамки «интеллекта», изначально заданные для ИИ, вероятно, ограничивают эту область по сей день; лишь недавно мы наконец начали осознавать всю тонкость и неуловимую сложность того, что делает человеческий разум. Легко поддаться искушению и усмотреть такую же наивность в крайне оптимистичных заявлениях, которые делали некоторые из пионеров в те ранние годы. Герберт Саймон, участник дартмутской встречи и будущий лауреат Нобелевской премии по экономике за работы в области сложных систем, несколько лет спустя объявил, что «в течение двадцати лет машины будут способны выполнять любую работу, которую может делать человек [sic]». Собственная программа Маккарти — Стэнфордский проект по искусственному интеллекту — рассчитывала создать «полностью разумную машину через десять лет». Марвин Минский из Массачусетского технологического института, еще одно светило дартмутской встречи, провозгласил: «Я убежден, что в течение жизни одного поколения... проблемы создания "искусственного интеллекта" будут в основном решены»*. К 1968 году, когда мы наблюдали, как HAL 2000 изо всех сил пытается убить персонажа Кейра Дуллеа на пути к Юпитеру, нас можно было простить за предположение — и страх, — что подобные коварные машинные разумы уже не за горами.

Но нет никакого смысла глумиться над этими предсказаниями сегодня. Когда ученые совершают серьезные ошибки в прогнозах, обычно это происходит не от невежества или глупости, а потому, что в их предположениях кроется какая-то показательная ошибка. В данном случае проблема заключалась в том, что представления о мозге и познании сами по себе были тесно увязаны с концепцией мозга — и «мышления» — как формы вычислений. Грубо говоря, если мозг порождает мысль и интеллект, а сам мозг подобен компьютеру, только с большим количеством компонентов, то мы сможем создать нечто подобное, если сделаем наши компьютеры больше и мощнее. Это представление остается популярным в Кремниевой долине и сегодня, где, по выражению Кристофа Коха, жива иллюзия, будто от машинного сознания нас отделяет «всего лишь один ловкий трюк».

Ранее мы уже видели (здесь), почему проведение упрощенной аналогии между мозгом и компьютером проблематично. Однако более глубокая проблема кроется в самом представлении о разуме как о бестелесном и абстрактном программном обеспечении для универсальной интеллектуальной машины мозга. Все известные нам на сегодня разумы были сформированы эволюцией для работы внутри содержащего их организма. Это означает, что понятие «искусственный интеллект» не имеет достаточно четких границ, чтобы служить единой и ясной целью для какой-либо исследовательской программы. Даже если понимать под ним «машину, обладающую возможностями человеческого разума», дело в том, что человеческий разум «спроектирован» для управления человеческим телом и функционирования внутри него. Если бы репрезентации мира, которые создает разум, не были предназначены для организма, обладающего телом (и конкретно таким типом тела), замечает Антонио Дамасио, то этот разум наверняка отличался бы от нашего.

Да и зачем вообще нам стремиться копировать человеческий разум во всем его величии и со всеми его слабостями? В художественной литературе, а иногда и на практике, мы склонны представлять человекоподобный ИИ как существо, похожее на нас во всем, кроме эмоций. Но, как мы уже видели, это соответствует вовсе не человеческому разуму за вычетом эмоций, а скорее чему-то такому, что вообще не имеет сходства с человеком, и, вполне возможно, чему-то, что будет работать крайне неэффективно (если вообще будет работать), столкнувшись с теми когнитивными задачами, которые стоят перед нами.

Если же мы имеем в виду, что хотим создать машину, обладающую некоторой степенью разумности, то перед нами встает именно тот вопрос, который ставится в этой книге: каковы параметры, требования и функции разумности?

Большинство исследований по разработке реальных компьютерных систем, которые сегодня принято относить к сфере ИИ, мало затрагивают этот вопрос разумности. В них ведется поиск систем, способных выполнять конкретные задачи лучше или быстрее, чем мы, — то есть преследуется та же цель, которую инженерное дело ставит перед собой с незапамятных времен. В результате термин «ИИ» действительно стал неудачным названием для этой области. У непосвященных он порождает веру в то, что это «мыслящие машины» наподобие тех, что показывают в кино, — например, в фильме Стивена Спилберга 2001 года «Искусственный разум». Для сегодняшних же специалистов этот термин часто служит почти синонимом компьютерных систем, которые можно обучить хорошо выполнять конкретную вычислительную задачу в процессе, называемом машинным обучением; обычно оно направлено на поиск закономерностей и корреляций в наборах данных, слишком обширных для того, чтобы человеческий разум мог их охватить и усвоить. Машинное обучение, как мы увидим, представляет собой всего лишь усовершенствованное распознавание образов — что вовсе не умаляет ценности этой фантастически полезной способности в таких областях, как медицина, обработка изображений, языковой перевод и распознавание речи. Сегодня под ИИ обычно понимают Google Переводчик, пугающе проницательные рекомендательные системы и медицинские диагностические системы вроде IBM Watson. Но никак не HAL 2000 или роботов-гуманоидов «Меха» из фильма «Искусственный разум».

И это означает, что у исследователей ИИ нет какой-то одной общей цели; у них их сотни, и по большей части они просто занимаются текущей работой. В отчете по ИИ, подготовленном в Стэнфордском университете в 2016 году, утверждается — и в этом, безусловно, есть доля правды, — что «отсутствие точного, общепринятого определения ИИ, вероятно, помогло этой области расти, расцветать и развиваться со все ускоряющимся темпом».

Однако недостатки такого подхода заставляют сегодня некоторых специалистов обратиться к истокам этой области и задуматься: тем ли путем мы пошли, который действительно приведет нас к «полностью интеллектуальной машине», к машинному разуму, пусть даже это займет больше времени, чем мы думали сначала? Или же для этого нам придется искать другую дорогу?

И по той же логике: не ведет ли нас нынешний путь вовсе не к человекоподобному машинному разуму, а к разуму совершенно иного рода?

Символы

Исследования в области ИИ поначалу развивались в русле традиционного инженерного мышления: вы проектируете системы так, чтобы они делали то, что вам нужно, основываясь на принципах, которые вы понимаете «снизу доверху». Поэтому доминирующей стратегией стало выявление правил интеллекта с последующим их программированием в машину. Это формулировалось как задача манипулирования символами, которые могли, например, представлять слова или другие элементы данных. Такой подход получил название «символьный ИИ», и работал он по привычной схеме компьютерных алгоритмов: если, скажем, на входе мы имеем X и Y, то на выходе должно получиться Z. Проблема заключалась в том, чтобы определить правила, по которым достигается это решение. В некоторых первых попытках разработки программ ИИ — например, предпринятых Гербертом Саймоном и его коллегой, когнитивистом Алланом Ньюэллом, — эти правила пытались выявить, прося студентов проговаривать вслух свои мыслительные процессы при решении логических головоломок.

Никто не думал, что создать машину с «общим интеллектом» — этим туманным понятием, которое предположительно должно соответствовать человеческим возможностям, — будет так просто. Но многие надеялись, что эту задачу удастся решить по частям: сосредоточившись на отдельных способностях, необходимых для разумного решения множества различных типов задач, а затем объединив их.

Этот предписывающий символьный подход вполне может работать при выполнении математических расчетов. Но мышление устроено иначе. Конечно, некоторые решения мы принимаем именно так: если у меня кончилось молоко, то я пойду в магазин. Но — погодите-ка, на улице дождь, а я устал, так что, может, я выпью черный кофе. Или, может быть, одолжу немного у соседа... Иными словами, даже в таких, казалось бы, простых решениях существо, которое мыслит, редко рассуждает абсолютно прозрачным, линейным и четко определенным образом, подчиненным правилам, которые поддаются формализации. Представьте себе, каково это — пытаться определить правила, которые подскажут машине, как реагировать на просьбу вроде той, что Тьюринг привел в своей знаковой статье 1950 года: «Пожалуйста, напишите мне сонет на тему моста через залив Ферт-оф-Форт»*.

Таким образом, символьный ИИ не слишком продвинулся к созданию «мыслящей машины», заслуживающей этого названия. Однако он привел к некоторым впечатляющим инженерным достижениям, таким как робот SHAKEY («Шейки»), созданный в Стэнфордском исследовательском институте. SHAKEY мог автономно перемещаться в пространстве, используя массив камер и лазерных датчиков, чтобы выполнять определенные задачи, например передвигать коробки в офисе. Но даже при решении таких относительно простых задач SHAKEY оказывался очень медлительным и ненадежным.

И даже при решении строго логических, математических задач этот тип ИИ мог заходить в тупик, едва сложность задачи возрастала. Одна из проблем заключалась в том, что даже при небольшом числе переменных или символов количество возможных комбинаций росло так быстро, что компьютеры 1960–1970-х годов не могли перебрать их за сколько-нибудь разумное время. Это была довольно общая проблема информатики, и она остается таковой даже сегодня для самых мощных суперкомпьютеров: существуют задачи, в которых число вариантов, требующих оценки для поиска работающего решения, возрастает экспоненциально. Классический пример — факторизация: разложение произвольного числа на простые (неделимые) множители, когда, например, 15 превращается в 5×3. По мере роста чисел поиск множителей методом простого перебора превращается в астрономическую задачу. Именно из-за этой вычислительной сложности факторизация используется для шифрования конфиденциальной информации — например, ваших банковских данных в интернете, — так что без знания секретного ключа дешифрования ни один злоумышленник не сможет расшифровать информацию с помощью имеющихся на сегодняшний день компьютерных ресурсов.

Когда дело доходило до понимания окружающего мира в целом, такой ИИ казался совершенно безнадежным. От робота, переставляющего коробки, вполне естественно ожидать способности воспринять команду — буквально произнесенную вслух инструкцию: «Возьми вон те картонные коробки и сложи их у окна». С этим легко справится и четырехлетний ребенок, но для машины это запредельное требование, даже если она оснащена эффективной системой распознавания речи для расшифровки команды*. Как ей распознать «картонную коробку» (особенно если рядом окажутся еще и пластиковые)? Что это за концепция — «сложить аккуратной стопкой»? Что конкретно означает «у окна»? Да и что вообще такое «окно»? А что, если вы случайно оставили полную чашку кофе на коробках или перед окном спит кошка, а вы этого не заметили?

Короче говоря, действительно полезная система ИИ должна обладать базовыми знаниями о мире — теми знаниями, которые мы усваиваем с младенчества, сами того не замечая, но которые приходится как-то в явном виде передавать неопытному «разуму» машины. Более того, ИИ должен уметь помещать эту информацию в контекст: не просто знать, что такое коробка, но и иметь представление о том, как, например, безопасно и эффективно сложить коробки стопкой, и что делать в случае непредвиденных обстоятельств.

Столкнувшись с этой проблемой, некоторые исследователи ИИ решили, что нужно просто рассказать машине все, что мы знаем. И я имею в виду действительно все — то есть вообще все, что мы только способны вспомнить. В середине 1980-х годов специалист по компьютерным наукам Дуг Ленат разработал систему под названием Cyc, в которую он и его коллеги вносили каждую крупицу знаний, какую только могли собрать. Системе Cyc могли, например, сообщить, что выпущенные из рук предметы (на Земле) падают на пол, что в авиакатастрофах люди обычно погибают, что в Великобритании вода течет из кранов: горячая — из красного, а холодная — из синего... Оправдывая этот, казалось бы, невероятно трудоемкий и прямолинейный подход, Ленат в 1990 году заметил, что создателям ИИ пора признать суровую правду, от которой они уклонялись десятилетиями: «вероятно, не существует элегантного и легкого способа получить [ту] колоссальную базу знаний», которая необходима для человекоподобного мышления. «Напротив, основная часть усилий должна (по крайней мере, на начальном этапе) заключаться в ручном вводу утверждения за утверждением».

Эта стратегия может показаться нелепой, но она основывалась на разработках, которые велись уже несколько лет в области так называемых экспертных систем. В них интеллект, необходимый для конкретной задачи, представлялся как совокупность элементов проблемы и логических связей между ними. Например, птицы — это животные, которые умеют летать, откладывают яйца и имеют перья, но только последнее из них — достаточное условие: ни одно другое животное, кроме птиц, не имеет перьев. (Каждое из этих понятий тоже можно определить в аналогичных семантических сетях.) Тогда система знает: если она встречает животное с перьями, это птица, но если она встречает животное, откладывающее яйца, то это, возможно, птица. Таким образом, экспертные системы создают базу знаний как набор объектов или понятий, связанных определенными отношениями. Так, например, существуют сущности под названием «люди», и некоторые из них могут быть взрослыми мужчинами, и я — один из них. Существует сущность под названием «Лондон», это город в стране под названием «Англия», и я — один из людей, которые в настоящее время там живут. Эти семантические сети должны позволять экспертной системе делать выводы в сфере своей компетенции на основе содержащихся в ней данных.

Проект Cyc задумывался, пожалуй, как самая амбициозная из всех экспертных систем: она стремилась стать экспертом во всем и, таким образом, превратиться в тот самый долгожданный универсальный ИИ. Вместо этого она стала тем, что специалист по компьютерным наукам Майкл Вулдридж называет «одним из самых печально известных провальных проектов в истории ИИ».

В этих усилиях было что-то почти благородно-донкихотское. Вы, без сомнения, понимаете, что информации, которую можно скормить системе, нет конца — как нет конца и пробелам, которые при этом неизбежно останутся. Вполне возможно, например, что у кого-то хватит проницательности сообщить ей, что «тяжелые коробки не следует ставить поверх спящих кошек», но такую деталь очень легко упустить из виду. К середине 1990-х годов Cyc, судя по всему, все еще не знала, является ли хлеб напитком и может ли голод быть причиной смерти, что указывало на серьезные бреши в ее базовом понимании мира.

Проект Cyc строился на гипотезе о том, что создание универсального ИИ — это лишь вопрос предоставления ему достаточного объема знаний. Сам Ленат подсчитал, что одному человеку потребовалось бы двести лет, чтобы ввести в Cyc объем знаний, позволяющий претендовать на этот статус, — задача, очевидно, вполне выполнимая для команды, скажем, из сорока человек. Да и идея создания базы данных всех человеческих знаний выглядит гораздо менее нелепой в эпоху Википедии, чем в 1990-е годы. В то же время «Вики» ясно дала понять, что далеко не всякое понимание можно свести к общепринятым фактам, и что сами по себе факты не гарантируют понимания или глубокого проникновения в суть вещей, не говоря уже о мудрости или творчестве.

Настоящая проблема с Cyc заключается в том, что человекоподобное мышление не складывается из тасования фиксированного набора утверждений и определений. ИИ никогда не сможет понять нас только с помощью этого инструментария. Мы можем рассказать ему, кто такая Алиса и кто ее мать, как они связаны и что значит болеть — но этого будет недостаточно для того, чтобы система могла безошибочно истолковать предложение: «Алиса поехала навестить свою мать, потому что она заболела».

Можно сказать, что Cyc перевернул с ног на голову утверждение Декарта «Мыслю, следовательно, существую». Декарт ведь не говорил: «Я мыслю о своей кошке, следовательно, существую». Он представляет мышление как внутреннюю способность: конечно, мы думаем о конкретных вещах, но мышление не определяется суммой этих вещей. Проект Cyc основан на ошибочном представлении, что если снабдить систему объектами для размышления, то из этого само собой возникнет мышление.

Оглядываясь назад, Cyc кажется порождением отчаяния. Хотя к концу 1970-х годов некоторые так называемые экспертные системы, использующие символьный ИИ, уже были разработаны для очень узких задач, таких как навигация роботов и распознавание речи, такие проблемы, как экспоненциальный рост сложности, означали, что исследования в области ИИ были крайне далеки от достижения своей цели — создания универсального интеллекта. Исследователи пали духом еще к середине того десятилетия, поскольку обещанные прорывы так и не материализовались, и ИИ погрузился в застой — наступила так называемая «первая зима ИИ», когда спонсоры прекратили финансирование, а компьютерщики, стремившиеся заявить о себе, перестали считать эту область перспективной. Впрочем, первопроходцы научились скромности. Создание разумов оказалось далеко не таким простым делом, как они надеялись.

Учиться учиться

Эволюции ИИ предстояло пережить еще немало крутых поворотов, и нет никакой уверенности в том, что новые виражи не ждут нас впереди, несмотря на тот огромный интерес, который он вызывает сегодня. То, что вдохнуло новую жизнь в эту область после очередного затишья в конце 1980-х годов, было сменой стратегии. Фактически большинство исследователей отказались от символьного ИИ и вместо этого обратились к идее, которую Алан Тьюринг сформулировал в своей статье 1950 года. Он предположил, что лучший способ научить машины демонстрировать поведение, похожее на мышление, — это создать устройство, имитирующее мозг ребенка (на который, впрочем, он смотрел довольно наивно, как на «чистый лист»), и подвергнуть его «надлежащему курсу обучения». Нам нужно было создавать машины, способные учиться.

Можно подумать, что это и было тем, чем занимался проект Cyc, когда в него загружали факт за фактом. И нет сомнений, что часть процесса обучения действительно выглядит именно так, причем не только в младенчестве, но и на любом этапе жизни. Если вам нужно узнать, что высадка на Луну произошла в 1969 году, вам должны просто так или иначе сообщить этот факт; сами вы его вывести не сможете.*

Однако большинство важных вещей мы усваиваем совсем не так. Я почти уверен, что мне никто никогда не говорил, что хлеб — это не напиток, но я также не сомневаюсь, что знал это уже годам к четырем. Как мы видели, большая часть по-настоящему полезных знаний, которые мы используем, чтобы ориентироваться в мире, общаться с другими, решать проблемы и выражать себя, приходит благодаря неявному обучению, приобретаемому на опыте. В младенчестве мы вполне можем узнать, что такое кошка, когда нам показывают живых кошек и называют их. Но никто не усаживает нас со словами: «Это на самом деле тоже не кошка, а фотография того существа, которое мы видели раньше и которое я назвал "кошкой"; а этот забавный рисунок черного пятна с острыми штуковинами на голове — это то, как мы иногда рисуем этих "кошек"». В этом просто нет необходимости. Однако системе вроде Cyc пришлось бы говорить нечто подобное. Можем ли мы создать ИИ, способный учиться на примерах и делать логические выводы, вместо того чтобы разжевывать ему буквально каждую мелочь?

Это и есть машинное обучение — основа большинства современных систем ИИ. Но я должен сразу подчеркнуть: хотя эти системы действительно учатся подобно ребенку в том смысле, что приобретают «знания» путем тренировки на примерах, на этом сходство заканчивается. Совершенно очевидно, что они учатся совсем не тем же образом, что и дети, и, что еще важнее, то, чему они учатся, — это не то, чему учится ребенок. Эти различия, пожалуй, важнее сходств, и именно они лежат в основе серьезных ограничений, от которых все еще страдает современный ИИ и которые не позволяют ему даже приблизиться к универсальному ИИ. Если мы можем рассматривать сегодняшний ИИ как своего рода прото-разум — ведь он, конечно, не обладает разумом в полном смысле слова, — мы должны признать, что в своей нынешней форме он движется не к такому типу разума, каким обладаем мы.

И все же машинное обучение действительно начиналось как попытка в явном виде имитировать нейробиологическую основу человеческого разума. Наш мозг развивает некоторые из своих когнитивных навыков путем подкрепления: получение вознаграждения за правильное действие или ответ укрепляет успешный нейронный путь. Определенные стимулы вызывают возбуждение нейронов, так что сигналы передаются от одного к другому через синапсы. Различные типы входных сигналов порождают разные выходные данные, но обучение происходит за счет процесса обратной связи, при котором нейроны, многократно активируемые вместе под воздействием определенного стимула, имеют тенденцию связываться друг с другом, так что активация одного с большей вероятностью активирует другой. Это создает устойчивые паттерны коммуникации и активности между нейронами — так называемый процесс «хеббовского» обучения, описанный нейрофизиологом Дональдом Хеббом в 1940-х годах. Подобная система со временем развивает способность обнаруживать закономерности, существующие во входных данных, на которых она обучается. Другими словами, она учится распознавать такие типы входных сигналов и выдавать соответствующую реакцию.

Идея создания ИИ таким способом была предложена еще в конце 1950-х годов психологом Фрэнком Розенблаттом. Он предложил создавать компьютерные схемы, в которых логический вентиль имел бы несколько входов и один выход — подобно тому, как нейрон имеет множество разветвленных отростков (дендритов), принимающих сигналы от других нейронов, и один аксон, по которому он может передавать собственный потенциал действия для связи с «соседями»*. Возбудится ли нейрон, зависит от полученных им входных сигналов. Фактически нейрон суммирует все входные сигналы, и если их сумма превышает определенный порог, он возбуждается. Чтобы перевести это на цифровой язык компьютерных схем, представьте себе логический вентиль, скажем, с четырьмя бинарными входами (единицами или нулями), который будет срабатывать — выдавать на выходе 1, — если как минимум три его входа равны 1. Розенблатт назвал такую структуру перцептроном (рис. 7.1). Ключевой аспект хеббовского обучения заключается в том, что нейроны «обращают больше внимания» на входы, которые срабатывают чаще. Перцептроны имитируют это, присваивая каждому входу различные веса: числовые коэффициенты, на которые усиливаются или ослабляются их сигналы. Процесс обучения сводится к корректировке этих весов для каждого предъявленного примера, чтобы общий результат работы сети (скажем, бинарное решение «да» или «нет») становился все ближе к тому, что требуется для данных входных сигналов — например, оцифрованного изображения, которое устройство должно научиться распознавать (или не распознавать) как кошку.

Целый массив перцептронов, соединенных друг с другом в густую паутину, очень похож на сеть нейронов в мозге. Специалисты по компьютерным наукам стали называть такую искусственную систему просто «нейронной сетью», изрядно размывая грань между ней и настоящими нейронными сетями мозга. Эта путаная терминология, однако, отражает тот факт, что данный подход к ИИ отказывается от попыток символического ИИ моделировать процесс мышления — то есть, как можно выразиться, разума — и вместо этого нацелен на моделирование мозга.

Рисунок 7.1. Перцептрон Розенблатта. Отдельный узел сети принимает входные сигналы от нескольких (здесь четырех) других узлов, присваивая каждому из их входов (скажем, 1 или 0) определенный вес w, который корректируется в процессе обучения. Он суммирует эти входные сигналы, каждый с соответствующим весом, и полученная сумма определяет, какой выходной сигнал (1 или 0) выдает узел.

Рисунок 7.2. Обучение по цифрам. Нейронную сеть (здесь всего с одним входным слоем, одним обучающим («скрытым») слоем и одним выходным слоем) можно обучить распознавать рукописные цифры.

Допустим, мы хотим обучить нейронную сеть распознавать изображения рукописных цифр от 0 до 9. Изображения преобразуются в высококонтрастный цифровой вид: сетку из черных и белых пикселей, которые служат входными сигналами для слоя перцептронов. (Мы могли бы обучить систему работать и с оттенками серого, но давайте не будем усложнять.) Каждый перцептрон получает сигналы от входных узлов — необработанные цифровые данные изображения. Он суммирует все эти входы, умноженные на присвоенный каждому вес, и генерирует соответствующий выходной сигнал, который передается на слой из десяти выходных узлов, каждый из которых соответствует одной из распознаваемых цифр (рис. 7.2). Если нейронная сеть решает, что на входном изображении представлена конкретная цифра, то выходной сигнал узла, соответствующего этой цифре, равен 1, а все остальные узлы выдают значение 0. (Мы также можем добавить выходной сигнал, означающий «Не удается распознать здесь четкую цифру».)

Обучение системы распознаванию цифр в таком случае представляет собой итеративный процесс. Мы начинаем с того, что случайным образом назначаем веса связей между узлами. С такой конфигурацией сеть будет работать из рук вон плохо, словно наугад угадывая, какая цифра представлена на изображении. Но при каждой следующей попытке мы вносим небольшие изменения в веса и смотрим, приводят ли они к правильному ответу; если да, мы эти изменения принимаем. Мы повторяем этот процесс в ходе множества попыток, пока данное входное изображение не начнет каждый раз стабильно выдавать правильный результат: например, нейросеть будет безошибочно распознавать оцифрованную рукописную «восьмерку».

Затем мы повторяем всю процедуру со следующим обучающим примером. Это может быть еще одна «восьмерка», пусть и выглядящая совсем иначе, чем первая, потому что ее написал кто-то другой. Или это может быть «двойка». Теперь вы можете подумать, что перенастройка всех весов входов перцептрона для успешного распознавания «двойки» испортит его способность распознавать «восьмерки». И поначалу, конечно, так оно и может случиться. Но после предъявления множества примеров сеть должна прийти к такому набору весов, который обеспечит хороший компромисс для всех десяти цифр. Для достижения этой цели могут потребоваться сотни или даже тысячи обучающих примеров, но это вполне возможно.

Розенблатт теоретически показал, что один слой перцептронов можно обучить выполнять несколько классов подобных задач, что привело к излишне оптимистичным прогнозам, будто такие схемы вскоре научатся распознавать лица и слова, обеспечивать мгновенный перевод и даже «осознавать свое [собственное] существование». Но в отличие от символьного ИИ, здесь не так-то просто сформулировать, как именно система достигает своих целей обучения. Математически обучение — представление знаний, извлеченных из обучающей выборки, — характеризуется набором весов, на которых останавливается система. Но это не переводится на понятный нам язык концепций. То, что система на самом деле «делает» для принятия решений, остается для нас непрозрачным. Это тоже предвидел Тьюринг в отношении предложенной им «обучающейся машины»: мы должны смириться с тем, писал он, что «ее учитель зачастую будет в значительной степени пребывать в неведении относительно того, что именно происходит внутри, хотя все же сможет в какой-то мере предсказывать поведение своего ученика». Возможно, говорил Тьюринг, «инженер или группа инженеров смогут построить работающую машину, принцип действия которой конструкторы не смогут удовлетворительно описать, поскольку они применили метод, носящий в основном экспериментальный характер». Иными словами, платой за создание по-настоящему разумной машины может стать отказ от возможности понимать, как она работает. Историк технологий Джордж Дайсон сформулировал эту мысль с тонкой иронией, которую Тьюринг наверняка бы оценил: «Любая система, достаточно простая для понимания, не будет достаточно сложной, чтобы вести себя разумно, а любая система, достаточно сложная, чтобы вести себя разумно, будет слишком сложной для понимания». Мы не знаем наверняка, так ли это, но это звучит вполне правдоподобно.

Нейронные сети были среди подходов к искусственному интеллекту, обсуждавшихся на Дартмутском семинаре 1956 года. Но многие скептически относились к тому, что они способны продвинуться далеко. В 1969 году Марвин Минский и его коллега по Массачусетскому технологическому институту Сеймур Пейперт в своей книге «Перцептроны» показали, что диапазон задач, с которыми эти системы могут хорошо справляться, крайне ограничен, и что они быстро пасуют перед проблемами, требующими большого количества входов и перцептронов. Когда в 1971 году Розенблатт погиб в результате несчастного случая на яхте, этот подход лишился своего главного защитника и в течение последующего десятилетия оставался практически в забвении.

Однако ограничения, выявленные Минским и Пейпертом, касались лишь определенного типа сетей перцептронов, а именно тех, где входные данные поступают только на один слой перцептронных узлов. Они не действовали, если добавить больше слоев. В этом случае выходные сигналы одного слоя служили входными сигналами для следующего (рис. 7.3). Это давало системе больше конфигурационных возможностей для поиска решений сложных задач, но ценой того, что вся схема становилась еще менее поддающейся пониманию, а также более трудной для обучения. Такая система была бы черным ящиком, преобразующим входы в выходы; у нас не было бы никакого доступа к разуму этой машины.

Рисунок 7.3. Многослойная («глубокая») нейронная сеть.

Подобная перспектива, а также сопутствующие технические трудности удерживали многих исследователей от добавления новых слоев в нейросети — это просто не казалось жизнеспособным вариантом для сложных вычислительных задач.* Все изменилось примерно в 2006 году, когда англо-канадский специалист по компьютерным наукам Джефф Хинтон показал, как нейросети со множеством слоев узлов все-таки можно обучить работать эффективно. В 2012 году Хинтон и его коллеги представили многослойную нейросеть под названием AlexNet, которая продемонстрировала колоссальный скачок в качестве распознавания изображений: ее удалось обучить классифицировать цифровые изображения по содержанию с поразительной точностью. Одной из ключевых аппаратных инноваций, сделавших возможными эти «глубокие» (то есть многослойные — более трех или четырех слоев) нейронные сети, стало появление подходящих процессоров, изначально разработанных для видеоигр, но обладавших архитектурой, которая идеально подошла и для этого применения.

Распознавание изображений стало эталоном для глубокого обучения в начале 2010-х годов, когда эта область ИИ начала бурно развиваться. Компьютерный специалист китайского происхождения Фей-Фей Ли, работавшая в Принстонском университете, сообразила, что для обучения подобных систем требуется тщательно отобранная база данных из многих тысяч изображений. Она создала ImageNet — систему, которая прочесывала интернет в поисках картинок и привлекала волонтеров (через краудсорсинговый сайт Amazon Mechanical Turk) для их классификации: панды, летающие тарелки, горы и тому подобное. Сегодня архив изображений ImageNet насчитывает около 14 миллионов снимков и продолжает расти. Это прекрасный пример того, что если вы хотите обучить глубокую нейросеть (в рамках процесса, называемого глубоким обучением), вам нужны качественные обучающие данные, причем в огромном количестве.

В 2010 году проект ImageNet запустил ежегодный конкурс по распознаванию изображений, в котором исследователи соревновались друг с другом, выясняя, чья система лучше справится с классификацией архива ImageNet. Победа AlexNet на конкурсе 2012 года ошеломила специалистов по ИИ во всем мире и наглядно показала, на что способно глубокое обучение. Как позже вспоминал компьютерный специалист Ян Лекун (исследовавший глубокие нейросети еще с 1980-х годов), когда результаты были объявлены в переполненном зале: «Прямо там можно было увидеть, как многие авторитетные специалисты в этой области резко поменяли свое мнение. Они сказали: „Ладно, теперь мы в это верим“». Теперь — отчасти благодаря доступности огромных массивов данных для обучения систем — они признали невероятные перспективы этой технологии.

AlexNet имеет особый тип архитектуры глубоких нейросетей, называемый ConvNet (сокращение от convolutional neural net — сверточная нейросеть), разработанный в 1980-х годах Лекуном, когда тот был студентом Хинтона. Эти сети имитируют работу нашей собственной зрительной коры, разбивая сцену на составляющие элементы. Грубо говоря, нейроны в зрительной коре расположены слоями, и каждый слой распознает определенный признак в сцене. Один слой может выявлять границы объектов — например, потому что они обычно представляют собой области высокого контраста яркости. Другой слой идентифицирует простые геометрические фигуры и так далее. Сложность собираемого из этих элементов изображения постепенно возрастает, при этом каждый слой нейронов передает результаты своего анализа сцены на следующий уровень. Это похоже на то, как если бы слои переговаривались между собой, например: «Вот границы — теперь твоя очередь разобраться, как они соотносятся с простыми фигурами». (Что крайне важно, эта передача не является исключительно односторонней: более сложная информация на нижележащих слоях может передаваться обратно на вышележащие слои, предлагая иные способы интерпретации исходных данных.)

Сети ConvNet устроены схожим образом: каждый слой узлов выстраивает карту (точнее, обычно несколько взаимосвязанных карт, например, выделяющих различную степень контрастности изображения) ключевых признаков, таких как границы, а итоговое изображение конструируется путем объединения этих карт. Это немного похоже на составление карты города из отдельных слоев: скажем, дорожной сети, плотности населения, типов использования зданий и так далее. Сегодня ConvNet — это стандартная архитектура для большинства сетей глубокого обучения, применяемых для распознавания изображений, компьютерного зрения и многого другого.

В чем ошибается ИИ

Символьный ИИ и нейросети глубокого обучения представляют собой принципиально разные философии того, как добиться от машины подобия разумного поведения. В первом случае компьютеру фактически говорят: вот задача, а вот правила, которым нужно следовать для ее решения. Во втором случае машине даже не объясняют суть проблемы. Вместо этого ей говорят: вот несколько примеров хороших результатов, а теперь сама придумай, как их достичь, — а мы скажем, насколько хорошо у тебя получается.

Прямо сейчас кажется вполне очевидным, какой метод работает лучше. Символьный ИИ обещал многое, но быстро зашел в тупик, когда мы осознали, что проблема машинного разума гораздо сложнее, чем думалось. Тем временем глубокое обучение наголову разгромило всех соперников-людей в играх с четкими правилами, таких как шахматы и го, и даже в викторинах и покере (который требует умения блефовать). Оно используется для медицинской диагностики и здравоохранения (например, система IBM Watson Health), распознавания голоса и вполне сносного перевода текстов, в фундаментальных научных исследованиях (например, для поиска следов новых частиц в лавине данных, производимых ускорителями), в беспилотных автомобилях (к этому я еще вернусь) и даже для планирования научных экспериментов и выведения новых теорий на основе полученных результатов. В этом смысле эпоха искусственного интеллекта уже наступила: глубокое обучение берет на себя задачи по вынесению суждений, оценке и распознаванию, которые раньше могли выполнять только люди.

Одно из преимуществ глубокого обучения — его универсальность. До тех пор пока систему ИИ можно снабдить большим объемом обучающих данных, показывающих, что от нее требуется сделать с поступающей информацией, она зачастую (хотя и не всегда!) способна разобраться, что к чему. Более того, она совершенствуется с практикой. Если в систему заложен некий алгоритм оценки ее работы, поощряющий ее за правильные действия и штрафующий за ошибки — процесс обучения с подкреплением, который мы рассматривали ранее, — она может обнаруживать и исправлять свои промахи, устраняя баги.

Возможно, вы помните времена, когда Google Переводчик за пределами уровня отдельных слов годился разве что для того, чтобы посмеяться. Качество перевода резко улучшилось в середине 2010-х годов, когда система начала перенимать опыт глубокого обучения, и сегодня она часто выдает результаты не хуже, чем способный студент, изучающий иностранный язык.* В сочетании с аналогичным прогрессом в распознавании речи мы можем вполне реально ожидать, что вскоре она будет отлично работать в режиме реального времени. Вместо того чтобы туристы и местные жители передавали друг другу смартфон с запущенным Google Переводчиком, они будут просто разговаривать на своих родных языках, а наушники обеспечат перевод, вполне достаточный для полноценного общения. ИИ такого рода без проблем справится с местными диалектами и идиомами, если его надлежащим образом обучить.

Грубо говоря, эти алгоритмы выводят простые соответствия между отдельными словами, а также на примерах учатся тому, что определенные фразы — например, «How’re you doing?» — лучше переводить другими цельными (идиоматическими) выражениями. Они могут сделать вывод, что в одном контексте слову требуется один вариант перевода, а в другом — иная замена (например, в предложении «She chose the right word, and wrote it with her right hand», где слово *right* сначала переводится как «правильное», а затем — как «правой»). Но нет никакого понимания почему. Когда Google Переводчику дают иероглифы , он не думает: «Так, я знаю, что буквально они означают „пожалуйста, спросите“, но когда китайцы произносят их, они передают тот же смысл, что и англичанин, говорящий „Excuse me“ в качестве вежливого вступления перед вопросом...». Он всего лишь усвоил из примеров, что между этими двумя китайскими иероглифами и теми двумя английскими словами существует тесная корреляция: это эквивалентные выражения.

Глубокое обучение всё еще далеко от совершенства. «На самом деле ИИ во многих отношениях довольно глуп, — говорит Дэвид Кокс, директор лаборатории MIT-IBM Watson AI Lab в Кембридже, штат Массачусетс. — Найти пробелы совсем несложно». Общеизвестно, что системы распознавания изображений иногда выдают комически нелепые интерпретации (рис. 7.4а): их называют «хрупкими» (brittle) в том смысле, что вывести их из строя не составляет особого труда. Их также можно обмануть с помощью тщательно выстроенных «состязательных» (adversarial) тестов, в которых пиксели перестраиваются таким образом, что для нашего глаза изменения неотличимы от оригинала (например, за счет добавления небольшого количества специально разработанного «шума»), но ИИ искажает картинку, в результате чего ленивец уверенно объявляется гоночным автомобилем, а панда идентифицируется как гиббон (рис. 7.4б). Точно так же можно создать изображения из того, что человеческому глазу кажется случайным шумом, но в чем ИИ с полной уверенностью распознает, скажем, броненосца (рис. 7.4в). Порой предлагаемая машиной интерпретация имеет так мало общего с чем-либо, что могли бы предположить мы сами, что нам просто не под силу вообразить, о чем она вообще думает.*

Рисунок 7.4. Не такой уж и умный? Некоторые системы классификации изображений на основе глубокого обучения совершают ошибки, которые, кажется, противоречат всякому здравому смыслу. На а непривычный ракурс школьного автобуса заставляет ИИ распознать в нем «снегоочиститель». На б добавление лишь небольшого количества случайного шума к пикселям изображения панды оставляет его неизменным для нашего глаза, но кардинально меняет вердикт ИИ. На в изображения кажутся нам просто шумом, но ИИ убежден, что на них показаны животные.

Опасности ИИ сейчас и в обозримом будущем связаны не с захватом власти роботами в стиле Скайнета, а с глупым, бездумным применением несовершенных систем. Даже если ИИ в 99 процентах случаев работает отлично, редкий, но полный провал может обернуться катастрофой, особенно если система используется для управления автомобилем или постановки медицинских диагнозов. Машинное обучение также не способно исправлять ошибки или предвзятость, содержащиеся в обучающей выборке, — причем некоторые из них могут быть культурно неприемлемыми, как, например, когда алгоритмы обработки изображений в фотоаппаратах упорно утверждают, будто человек с азиатским разрезом глаз «моргнул».

Более того, алгоритмы глубокого обучения по-настоящему компетентны лишь в границах того набора данных, на котором их обучали. Эти системы хороши в интерполяции, но гораздо слабее в экстраполяции. Будучи обучены на двух точках данных, они могут отлично угадывать правильный ответ для информации, лежащей между ними, но окажутся в полном тупике перед данными, которые находятся далеко от обеих точек. Иными словами, всё необычное сбивает алгоритм с толку. Если играющий в шахматы ИИ обучен на партиях против экспертов, он может (по крайней мере, на первых порах) показать весьма посредственные результаты против слабого, но играющего крайне неординарно соперника.

Возможно, нам на самом деле следовало бы представлять триумфы шахматного алгоритма AlphaGo от DeepMind и всех других программ, побеждавших людей со времен победы DeepBlue над Гарри Каспаровым в 1997 году, как демонстрацию потрясающей силы человеческого познания: подлинного мышления. Ведь посмотрите, сколько инженерных и теоретических усилий потребовалось для создания этих машин и сколько партий им пришлось сыграть, прежде чем они смогли одолеть человека, обучившегося на ничтожной доле этого количества. И что еще важнее — гораздо важнее, — Каспаров после этого мог обсудить сыгранную партию, а затем пойти почитать книгу, чтобы расслабиться, посмотреть (и понять) фильм или приготовить ужин. И все же нам потребовались объединенные ресурсы лучших инженерных и математических умов мира, чтобы создать устройство, способное победить человека всего лишь в одном из бесчисленных видов деятельности, на которые мы способны.* Конечно, гроссмейстеры вроде Каспарова посвятили шахматам всю свою жизнь, но по сравнению с DeepBlue они не так уж отличаются от обычного человека, который раз в несколько месяцев не прочь сыграть партию-другую с другом, — просто одно занятие среди многих других, способ размять ум, созданный для совсем иных задач. Каспаров, без сомнения, мог бы адаптировать свою игру под соперника, использующего крайне нешаблонные стратегии, потому что именно такую возможность и дает человеческое мышление.

Кому-то кажется, что это различие в принципе подрывает представление о человеческом познании как о форме вычислений. Они могут сказать, что DeepBlue на самом деле даже не играет в шахматы; он выполняет логические операции в соответствии с планом своих разработчиков. У него нет понятий «мат», «пешка» или «победа»; он не знает, что играет в игру, не говоря уже о том, против кого он это делает. Его вычисления с тем же успехом могли бы быть посвящены сортировке списка имен по алфавиту.

Не совсем понятно, как добиться большего: как, скажем, сделать ИИ более универсальным, менее хрупким, более самокритичным и, главное, способным к пониманию. Некоторые исследователи стремятся взять лучшее от обоих подходов традиционного ИИ, совмещая нейросетевое машинное обучение с символьным ИИ: они используют выводы, полученные в ходе машинного обучения, для построения символьных моделей и управления ими, что затем определяет действие или результат на выходе. Однако сейчас в этой области широко распространено мнение, что для существенного расширения возможностей и повышения эффективности этих систем нам необходимо заставить их мыслить более по-человечески. Некоторые из наиболее перспективных сегодняшних исследований в сфере ИИ проводятся в сотрудничестве с детскими психологами и когнитивистами, которые пытаются выявить алгоритмы и эвристические правила, используемые нами для ориентирования в мире.

Маленьким детям не нужно увидеть десять тысяч кошек или стульев, прежде чем они смогут безошибочно распознавать эти вещи; действительно, большая часть наших знаний о мире вообще не возникает в результате какого-то систематического или осознанного обучения. Проблема в том, что мы до сих пор толком не понимаем, что значит слово «кошка» для четырехлетнего ребенка — хотя он безошибочно распознает кошку в домашнем питомце, Тома из «Тома и Джерри» и силуэты «Котов-аристократов» Томаса О’Мэлли и Герцогини на фоне парижского неба. «Мы все смотрим на кошку и понимаем, что это кошка, — говорит психолог Томер Уллман, — но мы не знаем, откуда мы это знаем. Мы выносим множество суждений, которые кажутся очевидными, но мы не знаем, почему».

Даже сегодня лингвисты спорят о том, как дети, основываясь на самом беглом знакомстве с языком, выводят его глубокие грамматические и синтаксические правила.* Ясно одно: мы не проецируем шаблоны из входных данных на категории или выходные решения механически, подобно роботам. Напротив, как мы уже видели, наши ожидания и прогнозы строятся на интуитивном понимании — внутренней модели — того, как устроен физический мир. Мы мысленно дорисовываем части объектов, скрытые от глаз, предвидим траектории движения, знаем, что разные материалы обладают разными свойствами. Более того, мы часто (если не всегда) способны отличить причинно-следственную связь от простой корреляции — мы знаем, к примеру, что дождь сам по себе не «заставляет» людей раскрывать зонты. Наши ожидания относительно поведения других людей основаны не на простой корреляции, а на модели психического (здесь): модели того, почему люди делают то, что делают, которая позволяет нам предвидеть, как они, скорее всего, поведут себя в новой ситуации. Подъезжая к пешеходному переходу, где измученная мать пытается управиться с тремя маленькими детьми, одновременно разговаривая по телефону, мы понимаем, что нужно быть готовыми к любым неожиданностям.

Именно благодаря таким контекстуальным ожиданиям о мире мы можем разрешать языковую двусмысленность и читать между строк. Мы можем понять, кто такая «она» в том предложении об Алисе и ее матери (здесь), потому что знаем: родственников обычно навещают, когда болеют они, а не когда болеете вы сами. Это ведь просто здравый смысл, верно?

Дело не в том, что нам нужно меньше данных для понимания мира, говорит Кокс, а в том, что мы используем другие данные и распоряжаемся ими умнее. «Объем информации, которую мы задействуем даже при решении очень узкой, конкретной задачи, просто поражает, — говорит он. — Мы обладаем огромным пластом невысказанных, базовых знаний здравого смысла. Мы приобретаем их благодаря опыту, любопытству и нашему телесному воплощению в окружающей среде».

Агентство передовых оборонных исследовательских проектов США (DARPA) сейчас ведет проект под названием «Машинный здравый смысл» (machine common sense). В описании проекта отмечается, что «отсутствие здравого смысла мешает интеллектуальным системам понимать окружающий мир и вести себя разумно в непредвиденных ситуациях... Его отсутствие считается наиболее существенным барьером между современными узкоспециализированными приложениями ИИ и более универсальными, похожими на человеческие системами ИИ, на появление которых надеются в будущем». Но как вообще возможно автоматизировать здравый смысл (если это вообще возможно), учитывая, что мы толком не знаем, что он собой представляет? «Многое из того, что относится к здравому смыслу, не проговаривается и не записывается, — говорит Кокс. — Мы не фиксируем это на письме, потому что все мы принимаем это как должное».

Показательно, что программа DARPA требует, чтобы в каждую финансируемую ею команду входили детские психологи. «Вопросы, которые люди задают в области детского развития, — говорит Уллман, — очень похожи на те, которые задают разработчики ИИ. Каков тот багаж знаний, с которого мы начинаем, как мы получаем новые знания, каков алгоритм обучения?» Понимание этих вопросов применительно к человеческому разуму может позволить нам наделить ИИ схожими способностями к рассуждению и познанию. «Мы верим, — пишут эксперт по ИИ Джош Тененбаум и его коллеги, — что будущие поколения нейронных сетей будут сильно отличаться от современных передовых систем. Возможно, они будут наделены интуитивной физикой, моделью психического, способностью к причинно-следственным рассуждениям и другими [подобными человеческим] возможностями».

Что все это значит?

То, к чему сводится большая часть наших когнитивных способностей, — это умение извлекать из сигнала достоверный смысл: не просто сортировать и классифицировать его, но понимать его последствия, особенно последствия для нас. Современный ИИ, как утверждают Гэри Маркус и Эрнест Дэвис, два ведущих критика традиционного подхода, представляет собой «нечто вроде идиота-саванта с невероятными способностями к восприятию, но крайне слабым общим пониманием». Он видит закономерности, но не понимает их значения. Он видит корреляции, но не может вывести причинно-следственные связи. «Мы полагаем, — пишут Маркус и Дэвис, — что нынешняя одержимость созданием машин типа «чистый лист», которые учатся всему с нуля, опираясь исключительно на данные, а не на знания, является серьезной ошибкой». Под «знаниями» они подразумевают не информацию, а скорее способность встраивать сенсорные данные в глубокую модель того, как устроен мир. Смысл рождается не из самого сигнала, а из контекста, в котором он выражен.

Пренебрежение смыслом имеет исторические корни. Компьютерные науки и инженерия всегда фокусировались на использовании информации и манипулировании ею для решения конкретных задач. Как на концептуальном уровне обработки информации, так и на аппаратном уровне электронных схем ранние вычислительные технологии были тесно связаны с телекоммуникациями: сам транзистор, центральный электронный компонент современных кремниевых схем, был изобретен в лабораториях компании Bell Communications в 1940-х годах. Примерно тогда же и в той же среде были заложены основы теории информации. Именно размышляя над тем, сколько информации можно надежно передать по линии связи — скажем, по телефонному проводу — в условиях случайных «помех» (шума) в сигнале, математик Клод Шеннон из Bell Labs разработал формальную меру информации, переносимой цифровым сигналом. Последовательность из тысячи единиц можно сократить до краткой записи «тысяча единиц»: говорят, что она обладает высокой алгоритмической сжимаемостью и поэтому несёт мало информации. По сути, она просто повторяет одно и то же снова и снова. Последовательность чередующихся битов 10101010... тоже содержит ненамного больше информации. Но ту последовательность, в которой нет никакой различимой закономерности в чередовании единиц и нулей — которая выглядит случайной, — невозможно свести к более краткой формуле; у вас нет другого выбора, кроме как перечислить каждую цифру. В шенноновском смысле она обладает богатым информационным содержанием.

Тот факт, что в хаосе содержится больше информации, чем в порядке, кажется контринтуитивным, но именно на этом настаивало определение Шеннона. Тем не менее такое понимание информации, как оказалось, имеет весьма специфическое и ограниченное применение. Шеннона волновал лишь вопрос о том, насколько хорошо сигнал, поступающий на один конец канала связи, сохраняется на всем пути до другого конца, не искажаясь шумом. Его не заботило, что сигнал означал, — важно было лишь то, насколько надежно он закодирован в потоке бинарных импульсов.

Компьютеры и ИИ, созданные в рамках такого мышления, унаследовали это слепое пятно в отношении смысла. Все крайне оптимистичные ранние прогнозы о том, как скоро компьютеры сравняются по возможностям с человеческим разумом, проистекали из этого упущения. Справедливо будет сказать, что вопрос смысла является ключевой проблемой для вывода ИИ на новый уровень. Мы вряд ли когда-либо создадим нечто, заслуживающее названия общего искусственного интеллекта (AGI), если не решим эту задачу.

Игнорируя эту проблему, создатели ИИ упустили из виду фундаментальный аспект природы биологического разума. Смысл существует для нас, но не для машин, потому что мы — биологические существа, развивавшиеся в процессе эволюции так, чтобы обладать врожденными целями, мотивами и устремлениями, в то время как машины создаются для выполнения конкретных задач*. Цель разума — поддерживать свое существование и существование воплощающего его организма в воспринимаемой им среде. Именно благодаря этой целенаправленной активности разум отсеивает и конструирует смысл из того, что воспринимает. Безопасно ли это место? Голоден ли я? Что я могу здесь найти (и пойдет ли мне это на пользу или во вред)? Смысл создает фильтр: разум, как правило, довольно успешно (пусть и не безупречно) выявляет и игнорирует информацию, которую невозможно наделить смыслом и которая не имеет отношения к его целям. Смысл — это понятие, которое существует только в контексте целей.

Весьма вероятно, что наша природа как «создателей смыслов» играет ключевую роль в необычайной способности детей к обучению. Возможно, именно благодаря этому они улавливают значение новых слов, услышав их всего два или три раза. (Даже если это значение поначалу не совсем точное, оно дает слову применение, которое затем может очень быстро уточниться.) Наша способность оценивать и наделять смыслом делает нас поразительно эффективными собеседниками (по крайней мере, в удачные дни). Одно-единственное слово, которым обменялись два человека — и даже один только взгляд, — может сказать о многом. Рассмотрим такой диалог*:

Боб: Я ухожу.

Элис: Кто она?

Даже нам требуется мгновение — но не более того, — чтобы понять, что здесь подразумевается. Здесь скрыто несколько слоев подтекста, которые необходимо расшифровать, и ни один из них не выражен явно. Информацию в этих пяти словах скорее можно считать лишь катализатором для конструирования смысла в нашем уме (и этот смысл не обязательно окажется верным!).

Разумеется, алгоритму перевода на базе ИИ вовсе не обязательно вникать во все эти тонкости, чтобы перевести этот диалог, скажем, на испанский язык; по крайней мере, в данном случае вполне достаточно простого пословного перевода. Но ИИ, обладающему человеческой способностью делать выводы о значении этого диалога (например, чтобы обсудить его), потребуется знать гораздо больше, чем просто значения самих слов. Единственная надежда для классического алгоритма машинного обучения понять смысл слов Боба и Элис — это проанализировать, повторяются ли подобные фразы в других ситуациях и с каким поведением они коррелируют (возможно, с разводом? значит, Боб и Элис не ладят?). Но вы способны во всем разобраться, даже если никогда раньше не сталкивались с подобным примером, потому что у вас есть представление о том, как ведут себя люди и почему. Перевод, как отмечает когнитивист Дуглас Хофштадтер (будь то в лингвистическом или метафорическом смысле), «требует наличия ментальной модели обсуждаемого мира».

Иными словами, язык недоопределен как средство передачи информации. Нигде это не проявляется так отчетливо, как в древней китайской поэзии, которая, должно быть, представляет собой один из самых плотно закодированных текстов из когда-либо созданных: она сжата почти до степени неясности даже для многих носителей китайского языка, полна аллюзий и перекрестных ссылок. Мало толку поручать системе перевода на базе ИИ работу над стихотворением эпохи Тан — она отнесется к нему с тем же равнодушием, с каким переводила бы инструкцию по эксплуатации. Это похоже на человека Джона Сёрла в «Китайской комнате», который переписывает символы без малейшего понимания. (И даже в еще большей степени, конечно, ведь машина даже не подозревает, что переписывает без понимания.) Для нас «любовь» означает чувство, с которым мы знакомы лично. Для ИИ-переводчика «любовь» может быть, помимо прочего, просто словом, перед которым с высокой вероятностью стоит местоимение «я» или которое часто встречается рядом со словом «сердце».

Обратите также внимание на то, что выработка разделяемого смысла — человеческая способность к общению — вообще возможна лишь потому, что наши умы работают почти одинаково. Я не посвящен во внутренние механизмы разума моей партнерши, и хотя должен признать, что порой они ставят меня в тупик*, в целом мы общаемся без особых усилий и трений, поскольку я уверен, что её разум работает достаточно похоже на мой. Действительно, это один из лучших индуктивных доводов в пользу того, что другие люди столь же сознательны, как и мы: вероятность того, что совершенно иная «мыслящая машина» будет надежно выдавать те же реакции и придавать те же смыслы, что и наша собственная, ничтожно мала. «Пожалуй, — говорит нейробиолог Майкл Грациано, — все социальное познание зависит от приписывания сознания другим людям».

Обученный на достаточном количестве наблюдений, алгоритм глубокого обучения, вероятно, мог бы имитировать модель психического, научившись хорошо предсказывать, как люди поведут себя в той или иной ситуации: например, что если переставить коробку с нужным предметом, пока человека нет в комнате, он сначала заглянет в прежнюю коробку. Но такое предсказание не будет основано на каком-либо представлении о том, что человек думает на самом деле. В отсутствие этого нам придется ожидать, что ИИ время от времени будет демонстрировать довольно странные «убеждения» относительно человеческого поведения, подобные нелепым ошибкам при распознавании изображений.

Поскольку способность предсказывать не просто поступки людей, но и то, как они будут думать и чувствовать, может иметь важнейшее значение для принятия этически верных решений, возможно, подобное поведение станет доступно ИИ только в том случае, если модель психического будет встроена в него изначально. Нечто подобное может потребоваться и для того, чтобы ИИ мог слаженно и эффективно работать бок о бок с людьми: быть способным объяснять свои действия нам, понимать, чего мы на самом деле от него хотим, выстраивать доверие и добиваться согласованности ценностей. В конце концов, если бы мы считали, что все остальные обладают зомбиподобным отсутствием разума, мы, скорее всего, относились бы к ним холодно и утилитарно, как к объектам, которыми можно манипулировать ради собственного удобства — то есть вели бы себя как социопаты.

Однако здесь, пожалуй, есть и поводы для осторожности. Ранее мы видели, как у шимпанзе нечто похожее на модель психического часто служит для обмана соперников. Пытаясь создать роботов на базе ИИ, наделенных рудиментарной, основанной на правилах симуляцией модели психического, робототехник Алан Уинфилд и его коллеги зловеще заметили, что, как оказалось, «удивительно легко превратить этичного робота в лживого робота, так что он начинает вести себя либо конкурентно, либо агрессивно по отношению к роботу-заместителю человека».* Пытаясь наделить ИИ этой и другими «человекоподобными» свойствами разума, нам лучше помнить о том, для каких целей эволюция приспособила их у нас и у других животных.

Тест Тьюринга

Многие исследователи ИИ прогнозируют, что однажды у нас появится «ИИ общего назначения»: машины, способные на все, что под силу человеческому разуму. Вы могли бы безупречно беседовать с таким устройством и, возможно, даже чувствовали бы, что машина сопереживает вам. Она могла бы не только играть в шахматы (и громить вас в пух и прах), но и давать краткое и точное резюме любой книги. Она могла бы размышлять над научными и философскими вопросами — и да, она могла бы писать сонеты.

Конечно, не все люди способны на всё это, и очень немногие умеют делать всё это хорошо. Иными словами, большинство людей, вероятно, показали бы низкие результаты при таком определении «общего интеллекта». Но подобная машина-эрудит вобрала бы в себя и как минимум сравнялась бы со всеми способностями человечества — а также, вероятно, умела бы делать многое из того, что нам не под силу, например в мгновение ока перемножать огромные числа или менее чем за секунду усваивать тысячестраничный текст.

Но такой тип «общего интеллекта» был бы весьма странным мерилом для машинного разума. Как мы уже видели, человеческий разум — это не просто мешок с трюками, не случайный набор разношерстных интеллектуальных способностей. Он приспособлен к конкретной экологической нише, а потому преуспевает в том, что ему необходимо, но пасует во многих других отношениях. Короче говоря, он идиосинкразичен — то есть ограничен одной конкретной небольшой окрестностью Пространства разума.

Так что, с одной стороны, попытка заставить машину вести себя подобно человеческому разуму была бы столь же странной, как и попытка создать робота, способного прыгать по деревьям, подобно обезьяне: по-своему впечатляюще, но зачем утруждаться? Зачем воспроизводить все эти специфические причуды и ограничения?

С другой стороны, нам пришлось бы спросить себя, выходит ли это вообще за рамки пустого подражания. Мы, конечно, можем представить себе создание машины, которая ведет себя точно так же, как человек, оставаясь при этом не более чем лишенным разума автоматом. Нет абсолютно никаких причин полагать, что такое устройство волшебным образом обретет сознание или настоящие эмоции только потому, что оно имитирует все атрибуты, присущие нашему сознательному разуму.

Некоторые исследователи и философы утверждают, что этот взгляд можно перевернуть с ног на голову: на самом деле мы никогда не создадим машину с общим человекоподобным интеллектом, если только не сможем наделить её сознанием.

Как ни странно, этот вопрос о возможности машинного сознания часто возводят к источнику, в котором сама проблема была полностью обойдена стороной: к игре в имитацию Алана Тьюринга (ныне более известной как Тест Тьюринга) из его эпохальной статьи 1950 года о возможности существования мыслящих машин.

Вопреки своему культовому статусу в общественном восприятии ИИ, Тест Тьюринга не слишком полезен для размышлений о природе машинного разума. Множество «машин» (то есть компьютерных алгоритмов) к настоящему времени прошли ту или иную версию игры в имитацию, заставив людей поверить, будто плоды их деятельности — беседа, проза, искусство — созданы человеком. И всё же ни один человек, мало-мальски разбирающийся в вопросе, не счёл бы, что какая-либо из этих машин действительно «мыслит» — то есть обладает разумом. Они были всего лишь хорошими подражателями.

Джон Сёрл выразил это различие, предложив называть машиноподобную систему, которая просто имитирует человеческое познание, «слабым ИИ», тогда как (гипотетическую) систему, обладающую подлинным сознательным мышлением (которая, как выразился Сёрл, «действительно является разумом»), — «сильным ИИ». Сёрл сомневался в возможности последнего; его аргумент «Китайская комната» задумывался, почти как пародия на Тест Тьюринга, чтобы показать, что любой алгоритм, основанный на правилах, будет лишён разума и какого-либо истинного понимания того, что он делает.

Мы знаем, что слабый ИИ возможен. По поводу возможности сильного ИИ консенсуса нет, но он до сих пор ни разу не был продемонстрирован. Как бы то ни было, вопреки Тесту Тьюринга, недостаточно назвать нечто «мыслящим» (или, точнее, наделенным разумностью) лишь потому, что какие-то люди поверили, будто это так.*

На самом деле Тест Тьюринга — довольно безнадежное мерило не только разумности машины, но и её способности подражать человеку. Во-первых, его правила нечетко определены. Сколько вопросов нам разрешено задать машине? Каковы их границы? (Любой, кто видел вступительную сцену фильма Ридли Скотта 1982 года «Бегущий по лезвию», где беглого репликанта подвергают «тесту Войта-Кампфа», смоделированному на основе Теста Тьюринга, знает, что вопроса «Расскажи мне о своей матери» лучше избегать.) Люди-судьи порой попадались на удочку алгоритмов ИИ весьма постыдной грубости. Пресловутый пример — «Евгений Густман», чат-бот, который в 2014 году убедил десять из тридцати мнимых экспертов в Лондонском королевском обществе, что он тринадцатилетний мальчик.*

Всё может быть ещё хуже. В 1960-х годах Джозеф Вайценбаум, специалист по компьютерным наукам из Лаборатории искусственного интеллекта Массачусетского технологического института (MIT), создал программу под названием Элиза, которая могла отвечать другим пользователям компьютерной системы на естественном языке. Её возможности описывали как не более чем «набор уловок» вроде дежурных ответов в духе «Почему вы так говорите?», когда не находилось варианта получше. Но Вайценбаум рассказывал, как однажды, решив вздремнуть, он оставил программу работать в режиме «психиатра». Коллега отправил Вайценбауму сообщение с просьбой выйти из системы, чтобы не занимать компьютерные ресурсы, но вместо него ответила Элиза. Вот как проходил этот диалог:

«Джо, пожалуйста, выйди из системы».

Элиза: «Мы обсуждали вас, а не меня».

«Мне нужно воспользоваться компьютером».

Элиза: «Вас беспокоят компьютеры?»

«Нет, компьютеры меня не беспокоят».

Элиза: «Как по-вашему, какое отношение машины имеют к вашей проблеме?»

«Да ладно тебе».

Элиза: «Почему вы так говорите?»

Коллега знал об Элизе, но и подумать не мог, что общается именно с ней. Вместо этого в итоге он в ярости позвонил Вайценбауму, требуя объяснить, во что, чёрт возьми, тот играет.

Эти демонстрации прежде всего выявляют нашу врожденную склонность проецировать разум на окружающий мир и тем самым обманывать самих себя. Тест Тьюринга вовсе не является какой-то вехой в развитии ИИ и уж тем более свидетельством появления машинного сознания — его давно перестали считать полезным мерилом чего бы то ни было, когда заходит речь о «мыслящих машинах».

Пройти тест

Существует, однако, одна область, где этот тест остается неформально популярным и, пожалуй, даже поучительным: в качестве меры не владения языком, а творческих способностей.

Тьюринг говорил, что для создания машины, способной пройти игру в имитацию, нам, возможно, придется снабдить её неформальными правилами — руководящими принципами, на которые можно опереться в двусмысленных ситуациях, подобно интуиции, эвристикам и интуитивным озарениям, которые мы используем для импровизации, когда кажется, что никакие правила или алгоритмы не способны помочь. Пожалуй, на самом деле это подразумевает наделение машины своего рода спонтанной креативностью (способностью, которая, к слову, в равной степени проявляется и ценится как в искусстве, так и в науке). Могут ли искусственные «разумы» действительно быть творческими?

Давайте посмотрим, насколько хорошо они справляются с задачей, которую сам Тьюринг поставил перед ИИ: сочинением сонетов. Мы, безусловно, можем обучить ИИ на базе глубокого обучения писать сонет, показав ему множество примеров и позволив самому понять, что у них общего: скажем, одна строфа из четырнадцати строк, каждая из которых состоит из десяти слогов с чередованием ударений в пятистопном ямбе. Конечно, если бы компьютер составил цепочку случайных слов, соответствующих этому формату, это едва ли можно было бы назвать сонетом. Но глубокое обучение способно на большее. Оно может вывести правила грамматики и наиболее вероятные сочетания слов, так что не станет описывать, как мост Форт-Бридж внезапно запел (какой бы прекрасной ни была эта идея). В 2018 году исследователи из IBM в Австралии обучили свою систему ИИ на 2600 сонетах, прежде чем выпустить ее в свободное плавание для написания собственных. Команда провела онлайн-опрос общественного мнения, чтобы выяснить, смогут ли обычные читатели отличить сонеты, сочиненные компьютером, от сонетов, написанных человеком, если представить их вслепую (без указания того, кем они были созданы — человеком или машиной). Средняя точность распознавания оказалась ненамного выше случайного угадывания. Вы можете судить сами: какой из этих отрывков написан машиной, а какой — Шекспиром?

И всё ж в кругу, бледнея на ходу,

пред этим солнцем, чьё сиянье льет,

катясь с песков, и почки на снегу,

и тихо в нём укроется, уйдёт.

Я видел много утренних лучей,

что горы нежат царственным зрачком,

целуя ликом золотым ковер полей,

и золотя ручьи небесной алхимией*

Однако профессор английской литературы, которого попросили оценить стихи с точки зрения читаемости и эмоциональности, последовательно ставил более высокие оценки произведениям, созданным людьми — так что эксперты, очевидно, всё ещё чего-то стоят.

Музыка ИИ сегодня также способна достигать значительной сложности. Иамус — это компьютерный алгоритм, разработанный группой специалистов из Университета Малаги в Испании, который сочиняет музыку путем мутации очень простого исходного материала по аналогии с биологической эволюцией: каждое его произведение имеет своего рода музыкальное ядро, которое постепенно усложняется. Некоторые из его пьес, написанные на модернистском музыкальном языке, были исполнены и записаны Лондонским симфоническим оркестром; сопрано Селия Альседо призналась, что «не могла поверить в выразительность некоторых партий», которые ей поручили исполнить. И вновь многие слушатели не смогли отличить композиции Иамуса (отобранные, но не измененные командой из Малаги) от произведений некоторых композиторов-модернистов, работающих в схожем стиле.

Впрочем, нам не стоит слишком удивляться тому, насколько убедительной может быть компьютерная музыка, ведь, как и шахматы, большая часть музыки подчиняется довольно жестким правилам. Что действительно поражает в поэзии, прозе, изобразительном искусстве и музыке ИИ, так это не столько то, насколько впечатляюще человекоподобными они являются, сколько то, насколько сильно они нас впечатляют. Мы снова убеждаемся в том, что мы плохие судьи в вопросах разумности: Тест Тьюринга не может служить хорошей проверкой того, «мыслят ли машины», поскольку мы изначально склонны именно так интерпретировать их поведение.

Это оборотная сторона той же медали, которая заставляет нас обесценивать творения искусственного интеллекта, когда раскрывается их происхождение. К примеру, оценки, которые люди дают компьютерной музыке, значительно выше, когда они не знают, что она создана машиной, чем когда знают. Мы словно говорим: «Что ж, если за всем этим не стоит разум, то мне это неинтересно». То, как мы воспринимаем мир, зависит от нашей веры в присутствие или отсутствие разума в нём.

Справедливо ли это? Я вовсе не хочу сказать, что чувства компьютера будут задеты, если мы обесценим его творения из-за отсутствия в них направляющего разума. Скорее, не заблуждаемся ли мы относительно того, что делает наш собственный разум, когда мы смотрим, читаем или слушаем произведения искусства? Я полагаю, что перемена в восприятии компьютерной музыки, когда раскрывается ее происхождение, отражает обывательское представление о том, будто музыка — это эмоциональный голос композитора или исполнителя, изливаемый в пассивное ухо слушателя. Мы не замечаем, насколько активно сам слушатель участвует в этом обмене. Если бы это было не так, музыкальное произведение действовало бы на всех одинаково и вызывало бы у всех одинаковые суждения — примерно так же, как (по нашему предположению) красная занавеска кажется красной почти каждому. Напротив, то, в какой степени человек способен оценить музыкальное произведение, зависит от его собственного прошлого опыта восприятия стиля, языка, культуры и многого другого, в рамках чего создана эта музыка, а также от индивидуальных склонностей слушателя (скажем, чувствительности его слухового восприятия и врожденных качеств) и от конкретных обстоятельств и контекста, в которых звучит музыка. Её воздействие глубоко опосредовано разумом слушателя.

Если взглянуть на это с такой стороны, искусству, созданному ИИ, можно отдать должное. Пока что оно по большей части не слишком высокого качества; порой оно кажется крайне странным или бессмысленным; и ему обычно не хватает той крупномасштабной структурной связности, которой мы жаждем, скажем, в хорошем рассказе или симфонии. Но время от времени — и всё чаще — оно способно стимулировать наш собственный разум. Из-под «пера» ИИ порой выходят прозаические фразы огромной силы и выразительности — и не потому, что за их созданием стояла хоть какая-то «мысль», а потому, что эти слова вступают в резонанс с врожденными творческими способностями воспринимающего их человеческого разума. Именно так некоторые музыканты уже сегодня используют генерирующий музыку ИИ: как резервуар идей, источник маленьких крупиц возможностей, с которыми может играть человек-композитор.

В любом случае не совсем верно утверждать, что в создание искусства, порожденного ИИ, «не было вложено никакой мысли». Просто обучаясь на реальных примерах сонетов, хоралов или чего бы то ни было ещё, сочинённого людьми, системы ИИ глубокого обучения дистиллируют и абстрагируют огромный объем человеческой мысли, а затем пересобирают её по-новому. Нас впечатляет, что система ИИ может сочинять ноктюрны, которые звучат почти неотличимо от шопеновских, но впечатляться тут нечему. Конечно же, она может это делать, если её обучили на ноктюрнах Шопена! Даже умеренно тренированное ухо (вроде моего) может распознать «шопеновскость» в одном из его ноктюрнов, услышав его впервые. Неудивительно, что ИИ тоже может усвоить эти характеристики — но именно Шопен создал их, а мы выбрали их как приятные слуху.

В машинном обучении, как и в человеческом, слишком строгое следование обучающей выборке обычно приводит лишь к созданию очередного подобия: возможно, технически грамотного, но не очень оригинального — или творческого. Настоящие прорывы в искусстве происходят тогда, когда кто-то выходит за рамки этой выборки, пренебрегая правилами или сочетая их неожиданным образом. Частое возражение заключается в том, что ИИ не способен совершать подобные концептуальные скачки на новую территорию. Но это не обязательно так. В алгоритм машинного обучения несложно запрограммировать некоторую долю нарушающей правила случайности, и даже можно встроить автоматический инструмент оценки результатов: поиск качества среди количества. Например, алгоритмы можно противопоставить друг другу в состязательном режиме, где один выступает в роли «критика» (скажем, обученного на человеческих суждениях), который отбирает «хорошие» результаты, созданные другим, что приводит к постепенному, квазидарвиновскому улучшению результата. Таким образом, эти системы имитируют самокритичный процесс художника (только без сопутствующих мук творчества). У Иамуса есть такой автоматический внутренний критик.

И если однажды мы поймаем себя на том, что нас тронула музыка, поэзия или картины, созданные алгоритмом, нам не стоит удивляться, смущаться или чувствовать себя обманутыми. В искусстве, созданном человеком, существуют определенные закономерности и паттерны, вызывающие эти реакции, а методы машинного обучения как раз и разработаны для того, чтобы находить и использовать их. То, что наши эмоциональные триггеры обладают некоторой предсказуемостью, не должно нас тревожить. Напротив, подобные реакции могут углубить наше понимание и оценку того, как работает наш собственный разум. Проблема многих исследований креативности заключается в том, что в них о ней говорят почти как о веществе — своего рода магической эссенции, которую можно измерить и, если не купить, то добыть всеми правдами и неправдами и проверить на чистоту, как золото. Но на самом деле то, что мы воспринимаем как креативность, возникает в результате взаимодействия. Мы не пассивные потребители чужого творчества. Музыка Моцарта — это всего лишь нотная запись и шум, пока она не достигнет уха восприимчивого слушателя. Человек, никогда не слышавший западной музыки, или младенец с трудом отличат её от Сальери, а возможно, и вовсе не воспримут как нечто музыкальное.

Таким образом, наше суждение о креативности зависит от восприятия намерения. Если машины способны научиться воспроизводить внешнюю текстуру изобразительного искусства, музыки, даже поэзии и литературы, наш разум настроен достаточно тонко, чтобы реагировать и, возможно, наделять такие произведения смыслом. И это вовсе не простое предубеждение против машин, а совершенно естественная реакция — чувствовать, как меняется наше отношение, когда мы обнаруживаем, что произведение создано всего лишь автоматическим распознаванием образов. Типичный отзыв о компьютерной музыке или литературе — мол, в небольших фрагментах она звучит вполне убедительно, но не способна предложить масштабную архитектуру, оригинальный тезис или сюжет — свидетельствует об отсутствии в ней формирующего сознания, и пока нет никаких признаков того, что компьютеры могут предложить что-то взамен. Возможно, как предполагают некоторые исследователи, нам понадобятся новые «психологические» термины, специфичные для ИИ, признающие, что они могут развивать способности, отличные от наших, но всё же богатые и продуктивные. Так что не совсем «креативность», а... что-то другое.

Привет, мир

Может быть, то же самое относится и к «машинному сознанию» — и со временем нам придется признать существование чего-то сродни нашему собственному сознанию, но не идентичного ему? Иными словами, не может ли сознание, подобно разумности, быть не просто свойством, которым сущность обладает в большей или меньшей степени, а многогранным качеством, одной из разновидностей которого является человеческое сознание? На это уже указывают такие животные, как головоногие моллюски.

В дискуссиях о сознательном ИИ подобные нюансы редко принимаются во внимание. Обычно в них приходят к одному из трех выводов. Возможно, ИИ неизбежно обретет человекоподобное сознание, как только станет достаточно продвинутым и разумным (что бы это ни значило). В таком случае мы можем создать сознающую машину по умолчанию, даже случайно — и, возможно, пожалеть об этом. Или же сознание рассматривается как необязательное дополнение: своего рода модуль сознания, который мы могли бы встроить при желании. В таком случае мы вправе спросить: какой в этом смысл? Что мы от этого выиграем? Третий ответ заключается в том, что ни одна машина никогда не обретет сознание, поскольку это качество, которым могут обладать только люди (и, возможно, другие животные).

Ни одну из этих точек зрения нелегко защитить, поскольку мы не понимаем ни происхождения, ни функции сознания в нашем собственном разуме. Как мы уже видели, маловероятно, что сознание — это всего лишь эпифеномен когнитивной сложности. Более того, оно, скорее всего, требует специфической архитектуры разума. Так что мы почти наверняка не получим сознательный ИИ, просто упаковывая всё больше и больше транзисторов в наши кремниевые схемы (как, к слову, и путем создания более мощных «квантовых компьютеров», использующих законы квантовой механики для вычислений, к чему уже приступают такие компании, как IBM и Google). Намного более вероятно, что сознательный ИИ, если он вообще возможен, должен быть тщательно спланирован и спроектирован. И всё же это не кажется принципиально невозможным. «Нам не известен ни один фундаментальный закон или принцип, действующий во Вселенной, который запрещал бы существование субъективных ощущений в артефактах, созданных или выведенных путем эволюции человеком», — говорит Кристоф Кох.

Но зачем нам вообще создавать подобные артефакты? «Я практически уверен, — говорит Родни Брукс, ведущий эксперт в области ИИ и робототехники, —

что ни одна система ИИ и ни один робот, созданные человеком на сегодняшний день, не обладают даже зачаточной формой сознания или субъективного опыта, не говоря уже о чувстве собственного «я». Одна из причин этого заключается в том, что над этой проблемой почти никто не работает! Финансирования на создание сознающих роботов или хотя бы сознающих систем ИИ «в коробке» не выделяется по двум причинам. Во-первых, никто еще не привел веских аргументов в пользу того, что наличие сознания у роботов хоть как-то повысит эффективность их работы... а во-вторых, никто понятия не имеет, как вообще подступиться к тому, чтобы этого добиться.

«Нам не нужны искусственные сознающие агенты, — утверждает Дэниел Деннет. — Нам нужны разумные инструменты». Иными словами, мы должны стремиться к созданию систем ИИ, выполняющих нужную нам работу, а не перегруженных легкомысленными функциями и приложениями (вроде способности чувствовать), которые никому не нужны*.

Деннет полагает, что наделение машины сознанием (если бы мы знали, как это сделать) создало бы обузу, без которой мы вполне могли бы обойтись, поскольку в таком случае нам пришлось бы наделить ее моральными правами. Если сознание влечет за собой способность чувствовать и, следовательно, страдать, нам придется признать за собой обязанность заботиться о ней. Мы можем почувствовать себя обязанными никогда больше не выключать эту машину. Подобные этические дилеммы лавиной нарастают, когда речь заходит о сознающих агентах. Если, например, наш сознающий ИИ можно скопировать в несколько резервных копий, будет ли каждая из них считаться агентом, обладающим равной моральной ценностью? И что, если мы не будем уверены, сознательна машина или нет? Философ Сьюзан Шнайдер утверждает, что «создавать следует только такие ИИ, которые имеют четкий моральный статус в ту или иную сторону» — достойное изречение, но оно зависит от нашей способности этот статус определить.

И все же возможно, что некоторые когнитивные задачи, которые мы хотели бы возложить на ИИ, могут быть решены только при наличии у него сознания. Кое-кто из исследователей полагает, что подлинный общий искусственный интеллект — то есть машины с полным набором способностей, присущих человеку, — должен обладать сознанием. Возможно, ИИ сможет взаимодействовать с нами так же, как мы взаимодействуем друг с другом, только в том случае, если он сам будет осознавать себя и, как следствие, будет способен представлять другие разумные существа как обладающие сознанием. «Осознание мира, на мой взгляд, — утверждает Мюррей Шанахан, — действительно является необходимым атрибутом интеллекта человеческого уровня». Это одна из причин, почему Родни Брукс «осторожно» спорит с мнением, будто пытаться создать сознающий ИИ бессмысленно: напротив, говорит он, «я думаю, это может стать колоссальным прорывом» — качественным скачком в возможностях ИИ и в том, как мы с ним взаимодействуем.

Но разве это не создаст новые угрозы? Что ж, возможно, однако не исключено и то, что сознающий ИИ окажется менее склонен к вредоносным действиям, чем тот, у которого сознания нет. Распространенное предположение, будто сверхинтеллектуальный ИИ обязательно будет злонамеренным, подкреплено лишь мифологическим мышлением — но если мы все же опасаемся, что мощный ИИ может пренебречь нашим благополучием, наделение его сознанием могло бы стать способом привить ему эмпатию, которая побудит его ценить и оберегать другие разумные, сознающие существа.

Более того, создание сознающего ИИ могло бы стать одной из лучших проверок наших теорий сознания: мы могли бы руководствоваться теорией при конструировании устройства и смотреть, работает ли оно. Физик Ричард Фейнман сформулировал эту идею «доказательства через синтез»: «Чего я не могу создать, того не понимаю», — написал он на доске незадолго до смерти.

Таким образом, мы могли бы найти причины стремиться к созданию сознающего ИИ. Разумеется, эти причины не обязательно окажутся вескими. Легко представить себе специалиста по компьютерным наукам, который решит, что создание сознающей машины принесет ему желанное уважение и статус или откроет прибыльный новый рынок. Следовательно, мотивации для размышлений о перспективах машинного сознания и о том, к чему оно может привести, предостаточно.

Если мы попробуем поместить ИИ в Пространство возможных разумов, то получим иной взгляд на эти вопросы. В таком случае сознание перестает быть неким магическим ингредиентом, присущим человеку, которым мы можем или не можем наделить машину; вместо этого мы можем представить себе встраивание некоторых гипотетических «строительных блоков» в устройства, чтобы посмотреть, как изменятся их поведение и способности. К ним могут относиться глобальное рабочее пространство с возможностью транслировать информацию на всю остальную систему; модель психического; внутренние репрезентации себя и окружающей среды, формируемые на основе сенсорных данных; а также плотные реентрантные связи между компонентами обработки информации.

И что крайне важно, мы перестали бы оценивать функции и свойства системы по тому, насколько близко (или нет) они приближаются к нашим собственным, и вместо этого признали бы и даже приветствовали их отличия. Как нам наилучшим образом использовать то, что они могут предложить? Конечно, нам может потребоваться сделать когнитивные процессы ИИ более похожими на человеческие, если мы хотим, чтобы он достигал человеческих целей. Но мы также можем захотеть вывести ИИ в совершенно новые области Пространства разума, еще более далекие от нашей собственной, и посмотреть, какие новые возможности это откроет.

Как ладить друг с другом

Одна из главных причин, почему нам не все равно, каким разумом будет обладать ИИ, заключается в том, что нам придется с ним взаимодействовать. Нам и от людей-то достаточно трудно добиться разумных ответов, если мы нечувствительны к тому, как устроен их разум; насколько же больше возможностей для недопонимания возникает, когда мы взаимодействуем с чем-то столь чуждым нашему собственному разуму, как ИИ. Более того, системам ИИ могут все чаще доверять задачи, имеющие этические последствия: например, управление транспортом или распределение ресурсов здравоохранения. Даже допуская, что сегодняшние машины не применяют «моральные суждения» в том смысле, какой мы вкладываем в это понятие применительно к человеку, нам необходимо знать, к каким моральным последствиям приведут их размышления.

Интерфейс между нами и нашими машинами никогда не станет столь беспрепятственным и гладким, как нам хотелось бы, пока мы ничего не смыслим в «разуме» ИИ — а он, в свою очередь, не имеет модели нашего. Чтобы выйти из этого тупика, некоторые ученые считают, что нам следует использовать тот же подход, который мы применяем для понимания любого другого разума. То есть нам нужно изучать машины, как если бы они были живыми существами, используя методы поведенческих наук. «Чтобы иметь возможность жить в одном мире с этим все более усложняющимся ИИ, нам нужна поведенческая наука о машинах ничуть не меньше, чем инженерная наука о них», — говорит Ияд Рахван, сирийский ученый, возглавляющий Центр человека и машин в Берлине.

Рахван указывает на то, как легко системы ИИ, разработанные для конкретной, казалось бы, безобидной цели, могут в итоге способствовать глубоко неэтичному поведению. «Допустим, вы просто просите машину продавать больше услуг ЭКО [экстракорпорального оплодотворения]», — говорит он:

Машины могут обучиться самым разным неожиданным, потенциально неэтичным стратегиям для достижения этих целей — например: давайте будем поощрять людей откладывать рождение детей, потому что тогда в будущем им, возможно, понадобится ЭКО. Может, стоит предлагать им больше выгодных предложений по отдыху? Для алгоритма, перед которым стоит такая задача, вполне естественно выработать подобную стратегию. Человек должен быть редкостным злодеем, чтобы додуматься до чего-то подобного. Но люди, создающие эти системы, об этом даже не узнают. Поэтому, если мы не создадим науку о поведении машин, мы не сможем держать эти вещи под контролем.

Короче говоря, нам, людям, необходимо понимать свои машины — и, следовательно, проектировать их так, чтобы это было возможно. «Людям придется изменить свои методы работы, чтобы внедрить ИИ», — говорит Дэвид Кокс. «А для этого технология должна пойти им навстречу: они должны понимать, почему система велит им делать те или иные вещи». Эта концепция «прозрачности» в принятии решений ИИ, скорее всего, станет решающим фактором нашего доверия к нему. Например, врачи будут требовать от диагноза ИИ не просто рекомендации к медицинскому вмешательству, а обосновывающее его объяснение, основанное на причинно-следственных связях. «Нам абсолютно необходима эта объяснимость», — говорит Кокс.

То, как ведут себя машины, может повлиять и на наше собственное поведение. В одном исследовании Рахван и его коллеги изучали, как возникает сотрудничество в соревновательной игре между людьми и машиной, управляемой алгоритмом, который мог сообщать о своих намерениях и целях, используя, например, угрозы или предложения. Машина оказалась способна добиться такого же уровня сотрудничества, какой возникает, когда все игроки — люди, но при этом она использовала более угрожающие стратегии. «Если машины окажутся более мстительными, мне, возможно, придется выработать новые нормы, чтобы с этим справиться», — говорит Рахван. «Повлияет ли это затем на то, как я взаимодействую с другими людьми? Существует ли какое-то поведенческое заражение? Мы понятия не имеем».

Он добавляет, что уже есть некоторые признаки того, что «дети, общающиеся с чат-ботами вроде Alexa, начинают чаще использовать повелительный тон в общении с другими детьми — скорее приказывая им, чем вежливо прося». Подобным образом поведение машин представляет собой один из самых ярких примеров изречения, обычно приписываемого Маршаллу Маклюэну: «Мы формируем наши технологии, а затем наши технологии формируют нас».

Уже сейчас есть признаки того, что системы на базе ИИ способны реагировать на людей неожиданно чутко. Например, некоторые беспилотные автомобили «понимают», что на сложных перекрестках безопаснее немного притормозить, поскольку люди истолковывают это как уступку права проезда. «По мере накопления опыта, — говорит специалист по компьютерным наукам Стюарт Рассел, — я думаю, мы будем удивлены разнообразием и естественностью поведения машин при их взаимодействии с людьми».

Пока мы совершенно не понимаем логику работы ИИ, мы с большей вероятностью будем потакать своей привычке к антропоморфизму — проецированию человеческого мышления туда, где его нет (вспомните хотя бы, как мы ругаем свои компьютеры и навигаторы за их строптивость и несговорчивость). Но одно дело — приписывать разум неодушевленной материи. Совсем другое, и, возможно, более опасное — приписывать не тот тип разума системам, которые действительно обладают какими-то когнитивными способностями. Наши машины думают не так, как мы, поэтому нам лучше узнать их поближе.

Возможно, поэтому уже сейчас лучше относиться к машинам с ИИ как к «почетным» организмам с «почетным» разумом — и на практике узнавать, как они действуют, реагируют, ставят цели и добиваются их. Даже если мы еще очень далеки от создания «сознательных машин», нам, пожалуй, стоит наделить их своего рода предварительной разумностью.

Возвращаясь к робоапокалипсису

В 1965 году специалист по компьютерным наукам Ирвинг Джон («И. Дж.») Гуд, один из коллег Алана Тьюринга по Блетчли-Парку, высказал мысль, что если нам удастся создать «сверхинтеллектуальную машину», которая «сможет далеко превзойти любые интеллектуальные возможности любого человека», то произойдет «интеллектуальный взрыв». Такая машина быстро и самостоятельно накапливала бы все больше интеллекта, оставив нас далеко позади не только в плане умственных способностей, но и в нашей способности понимать мотивы, цели и желания этой машины — как это показано в фильме Спайка Джонза 2013 года «Она», где ИИ-«компаньон» Саманта нежно и щемяще прощается со «своим» человеческим собеседником Теодором, уходя в когнитивную сферу, которую тот даже не может себе представить.

С этим интеллектуальным взрывом, писал Гуд, «первая сверхинтеллектуальная машина станет последним изобретением, которое человеку когда-либо понадобится сделать». Для физика Макса Тегмарка «появление машин, которые действительно мыслят, станет самым важным событием в истории человечества». Широко распространено мнение, что это будет последнее изобретение, которое человечество вообще сможет когда-либо сделать — ведь такая машина, скорее всего, уничтожит нас, как утверждал Стивен Хокинг.

Даже если подобные апокалиптические видения в большей степени обязаны образам из кино и научной фантастики*, нежели нынешней реальности исследований в области ИИ, их разделяют и вполне осведомленные наблюдатели. Астроном Мартин Рис причисляет ИИ к тем экзистенциальным угрозам, из-за которых он оценивает шансы человечества дожить до двадцать второго века лишь как 50 на 50.

Родившийся в Швеции философ и физик Ник Бостром из Института будущего человечества Оксфордского университета — один из самых авторитетных голосов, предупреждающих о потенциале ИИ сеять разрушение, особенно в его книге 2014 года «Сверхинтеллект». Бостром, безусловно, не луддит в отношении ИИ — он признает его колоссальный потенциал изменить нашу жизнь к лучшему. Более того, он понимает, как велик соблазн строить поверхностные предположения о том, каков будет этот могущественный ИИ и каковы будут его мотивы. «Антропоморфные системы [координат] порождают необоснованные ожидания... касательно психологии, мотивов и возможностей зрелого сверхинтеллекта», — пишет он. Системы ИИ могут на самом деле «развивать новые когнитивные модули и навыки по мере необходимости — включая эмпатию, политическую проницательность и любые другие способности, которых стереотипно не хватает компьютероподобным личностям». Он прекрасно видит опасность скатывания к клише из научно-фантастических антиутопий.

Но это не мешает ему самому порой делать то же самое. Например, если предположить, что всевозможные сугубо умозрительные и, пожалуй, фантастические технологии будущего действительно будут реализованы — нанотехнологические «сборщики», способные перестраивать материю атом за атомом любым желаемым образом, сознающие «виртуальные личности», симулируемые на мегакомпьютерах, — тогда нет предела мечтам и кошмарам, которые можно вообразить для сверхинтеллектуального ИИ, получившего доступ к подобным ресурсам.

В таких сценариях присутствует элемент паранойи. Предположим, пишет Бостром, «недружественный ИИ достаточного уровня интеллекта поймет, что его недружественные конечные цели будут лучше всего достигнуты, если поначалу он станет вести себя дружелюбно, чтобы его выпустили из „коробки“». Тогда «ИИ может найти тонкие способы скрыть свои истинные возможности и свои предосудительные намерения». (Кто может поручиться, что интернет уже сейчас не притворяется глупым, подсовывая нам порно и картинки с котиками, пока сам планирует мировое господство?)

Но нам вовсе не нужно предполагать пришествие злонамеренного ИИ, чтобы оказаться в глубокой беде, считает Бостром — может быть вполне достаточно и того, что они будут иными. «Мы не можем беспечно полагать, что сверхинтеллект обязательно разделит какие-либо из конечных ценностей, стереотипно ассоциирующихся у людей с мудростью и интеллектуальным развитием — научное любопытство, благожелательную заботу о других, духовное просветление и созерцание, смирение и бескорыстие», — говорит он*. Что же тогда вообще можно сказать о подобном разуме? Получив любую цель (даже бессмысленную или непостижимую для нас), продвинутый ИИ, как и следовало ожидать, предпримет действия, служащие средством для ее достижения. Машина, к примеру, будет стремиться к самосохранению, к совершенствованию собственного мышления (чтобы легче достичь цели) и к накоплению ресурсов, необходимых для этого.

И даже если мы (по крайней мере на первых порах) сами определяем, какие цели преследует сверхинтеллектуальный ИИ, наши планы могут оказаться уязвимыми перед тем, что Бостром называет «извращенной реализацией». Мы просим систему заставить нас улыбаться, и она парализует мимические мышцы человека, фиксируя эту гримасу. Мы просим ее сделать нас счастливыми, и она вживляет нам в мозг электроды, чтобы постоянно стимулировать центры удовольствия. Велик соблазн подумать, что люди, поставившие перед ИИ такие задачи, заслужили подобный исход, но самый известный пример извращенной реализации у Бострома выглядит куда более безобидно: мы поручаем всемогущему ИИ производить канцелярские скрепки, и он принимается превращать в эти предметы всё, до чего могут дотянуться его механические руки (например, с помощью тех самых нанотехнологических сборщиков), пока мир не будет опустошен и, возможно, лишен жизни. Можно представить, что мы установим очевидные защитные барьеры — но знаменитые Три закона робототехники Айзека Азимова из его цикла рассказов «Я, робот» предупреждают о том, как трудно правильно их сформулировать*. Кроме того, извращенные реализации встречаются и в природе. Когда ученые проводили эксперименты по «направленной эволюции» жуков, создавая селективное давление в пользу мутантных форм с уменьшенной численностью популяции, в результате они вывели не просто (как ожидалось) насекомых с более низкой плодовитостью, но и особей, склонных к каннибализму.

К предупреждениям Бострома о сверхинтеллектуальном ИИ стоит прислушаться не потому, что они непременно сбудутся, а потому, что они обнажают некоторые наши предвзятые представления о разуме ИИ: а именно, что этот разум будет, как выражается Бостром, «похож на нас, но во всем лучше», и что это превосходство, скорее всего, приведет к несовпадению целей. Подобные опасения, на мой взгляд, на самом деле обусловлены непрозрачностью разума ИИ. Как отмечает Бостром, «искусственный интеллект вовсе не обязан во многом походить на человеческий разум. Системы ИИ могут быть — и, по всей видимости, в большинстве своем будут — чрезвычайно чуждыми».

Перед лицом этой пропасти мы, кажется, склонны приписывать иным разумам не просто злонамеренность, но и ту разновидность злонамеренности, которая нам уже знакома (да и как, в самом деле, могло быть иначе?). Как сказал Стивен Пинкер, «характерная черта антиутопий об ИИ заключается в том, что они проецируют ограниченную психологию альфа-самца на саму концепцию интеллекта... Не существует такого закона сложных систем, согласно которому разумные агенты обязаны превращаться в безжалостных мегаломанов». Показательно, добавляет он, «что многие из наших технопророков даже не допускают возможности того, что искусственный интеллект будет естественным образом развиваться по [стереотипно] женскому сценарию — будучи полностью способным решать задачи, но не испытывая никакого желания уничтожать невинных или доминировать над цивилизацией». Это довольно гендерно-эссенциалистский взгляд, но суть ясна.

Во всем этом Пинкер видит наше собственное отражение: мы постоянно воображаем, что сверхумный ИИ сделает с нами то же самое, что мы сотворили с животными, которые обделены нашими специфическими формами разумного познания. Когда Бостром задается вопросом, как запрограммировать ИИ или привить ему наши собственные ценности, он поднимает вопрос о том, какими вообще должны быть эти ценности — и тем самым превращает задачу в поиск морального консенсуса в нас самих. Так или иначе, антиутопии об ИИ служат инструментом для исследования наших собственных страхов и вопросов к самим себе.

«Извращенные реализации» — это не то чтобы случаи, когда ИИ ожесточился, а просто ситуации, когда он делает то, чего мы вовсе не планировали. Это классическая история об ученике чародея. Но Пинкера не убеждают и подобные сценарии. «Они опираются на предпосылки», — говорит он,

«(1) что люди настолько талантливы, что могут создать всеведущий и всемогущий ИИ, и в то же время настолько глупы, что доверят ему управление вселенной, даже не проверив, как он работает; и (2) что ИИ будет настолько гениален, что сумеет разобраться, как трансмутировать элементы и перенастраивать мозг, и при этом настолько слабоумен, что посеет хаос из-за банального недопонимания. [А, так вы не хотели, чтобы я разобрал вас?]»

Это веские аргументы, но я не уверен, что они решающие. В ответ на первый (1) можно просто указать на изобретение социальных сетей. А второй (2) затрагивает главную проблему современного ИИ: мы дали ему колоссальную мощь грубой силы, но оставили с нулевым пониманием, из-за чего он может перепутать кошку со страусом.

Дело в том, что подобные споры зачастую строятся лишь на интуиции и неведении. Под этим я не имею в виду, что участники дискуссии с обеих сторон глупы — обычно они чрезвычайно умны, — а то, что они знают о том, что станет (и не станет) возможным для ИИ в среднесрочной перспективе, ненамного больше, чем все остальные. Поэтому, когда одна сторона вполне резонно говорит: «Ну мы же наверняка не сделаем ИИ настолько мощным, чтобы он мог творить подобные вещи, и в то же время настолько лишенным морали, чтобы не понимать, что этого делать нельзя», другая может вполне резонно возразить: «Готовы поспорить?»

О чем нам действительно стоит спорить, так это не о воображаемых сценариях, где некий сверхинтеллектуальный ИИ, наделенный таинственной способностью манипулировать материей, превращает мир в канцелярские скрепки (по крайней мере, если выйти за рамки аллегорического мысленного эксперимента), а о том, какие типы разума мы можем обоснованно предвидеть у ИИ. Совершенно бессмысленно на одном дыхании говорить о «человекоподобном общем интеллекте» и тут же предполагать, что он исключает «человекоподобные этические рассуждения».

Например, существует широко распространенное допущение, что цели ИИ не зависят от его интеллекта. Бостром формулирует это как явную гипотезу, но даже Пинкер из лагеря «антикатастрофистов» заявляет, что «интеллект — это способность задействовать новые средства для достижения цели; сами же цели внешни по отношению к интеллекту».

Понятно, что они имеют в виду: мы можем обучать современные нейросетевые ИИ выполнять самые разные задачи на основе одной и той же базовой архитектуры. Но это не относится к «человекоподобному общему интеллекту» в том виде, в каком он представлен в единственных известных нам пока системах, которые им обладают, — в нас самих. Как мы уже видели, наш разум был отчетливо и мощно сформирован эволюционными целями: ориентироваться в физическом и социальном мире таким образом, чтобы повышать наши шансы на выживание и размножение. Многие из наших сегодняшних целей — скажем, трейнспоттинг или сочинение контрапункта — на первый взгляд не отражают эти истоки, в частности потому, что они также сформированы культурой. Но наш «интеллект», что бы под этим ни понималось, самым тесным образом определяется целями, которые направляли его эволюцию. Из этого следует, что нам пора перейти от умозрительных споров о рисках почти всеведущего ИИ к исследованию того, какими прото-разумами обладают наши машины и как эти разумы будут формироваться под воздействием их целей.

В любом случае, ключевой фактор безопасности все более мощного ИИ — то есть его согласованности с нашими собственными интересами и целями — кроется не во внутренней природе «машинного разума», а в его интерфейсе взаимодействия с нами. Стюарт Рассел утверждал, что для предотвращения угроз, о которых предупреждает Бостром, мы должны использовать три принципа проектирования:*

1. Единственная цель машины — максимизировать реализацию человеческих предпочтений.

2. Изначально машина не уверена в том, каковы эти предпочтения [она «скромна»].

3. Конечным источником информации о человеческих предпочтениях служит поведение человека.

Иными словами, мы создаем машины, которые будут постоянно спрашивать: правильно ли я всё делаю? достаточно ли этого хорошо? хотите, чтобы я уже остановился?

Конечно, тут же возникает вопрос: спрашивать кого? Кого-то может встревожить заявление президента России Владимира Путина, сделанное в 2017 году, о том, что «тот, кто станет лидером в этой сфере [ИИ], будет властелином мира». (Впрочем, далее он признал, что было бы нежелательно, если бы кто-то «монополизировал» эту область.) Опасность дать машине неверную обратную связь ничем не отличается от уже существующих угроз, когда мощные технологии оказываются в руках не тех людей.

Нам придется тщательно продумать, как спроектировать машину, способную справляться с разнообразием, неоднозначностью и неопределенностью человеческих предпочтений (ведь порой мы и сами толком не знаем, чего хотим) и с той моральной экологией, в которой эти предпочтения выражаются. Но все это — лишь технические нюансы общей концепции, согласно которой безопасный разум ИИ должен быть таким, чтобы гарантированно, постоянно и абсолютно подчиняться нашему собственному.

Суть не в том, подчеркивает Рассел, чтобы пытаться заложить в машину конкретные ценности — как раз потому, что мы можем не сойтись во мнениях о том, какими должны быть эти ценности, а также потому, что мы не можем быть уверены, что сумеем выразить их достаточно точно и при этом гибко для обеспечения желаемого поведения. Скорее, именно такая обратная связь относительно предпочтений могла бы направлять машины по верному пути.

И все же я подозреваю, что любая подобная схема останется крайне рискованной, если внедрять ее на машинах, о «разумах» которых мы знаем очень мало. Мы по-прежнему не сможем гарантировать, что результатом их поведения не станут порой непостижимые, извращенные и, возможно, катастрофические решения. Мы не можем позволить себе создавать сверхмощные «черные ящики».

Большинство серьезных и информированных мыслителей, как мне кажется, согласятся с тем, что главная задача — найти средний путь между алармизмом и благодушием. Однако движение к будущему, в котором ИИ несомненно станет более мощным и всепроникающим, определенно требует от нас большего — даже безотлагательного — любопытства к тому, какими «разумами» он может обзавестись. Это, как отмечает Бостром, не просто вопрос создания полезного и безопасного ИИ; это этический вопрос.

Некоторые исследователи считают неизбежным то, что важнейшая грань между человеком и машиной будет все сильнее размываться: машины сольются с нами и, возможно, полностью нас заменят — и не в результате злонамеренного захвата власти, а потому, что мы сами это выберем. По словам Сьюзан Шнайдер: «По мере того как мы продвигаемся в XXI век, людям, возможно, осталось не так уж долго быть самыми разумными существами на планете. Величайшие разумы на планете будут синтетическими». В результате, по мнению Мартина Риса, «человечество и все его мысли станут лишь мимолетным и примитивным предвестником более глубоких размышлений культуры, где доминируют машины, простирающейся в далекое будущее и распространяющейся далеко за пределы нашей Земли». Если он прав, стоит задуматься о том, что мы — или они — найдем там, вовне.