Первая сверхразумная машина станет последним изобретением, которое выпадет на долю человека, при условии, что машина будет достаточно покорна и поведает нам, как держать её под контролем.

Давайте на мгновение перенесёмся назад. Представьте себе 70-е годы прошлого века. Компьютеры — это ещё огромные, гудящие шкафы, занимающие целые комнаты, а воздух в университетских лабораториях буквально наэлектризован предчувствием революции.

Пророки новой эры — Алан Тьюринг, расшифровавший фашистскую «Энигму», будущий лауреат Нобелевской премии Герберт Саймон, Аллен Ньюэлл, привнесший в область информатики когнитивные архитектуры, — уже заложили фундамент для невероятной идеи, которая поначалу казалась абсолютной ересью.

По сути, они заявили, что наш разум — это просто программа. Да, возможно, программа сложная, запутанная, но, в любом случае, всего лишь код, записанный на «мокром железе» мозга. Звучит почти кощунственно: человек — это биологический компьютер, который проигрывает записанную в него программу.

Но, с другой стороны, они же математики — что с них возьмёшь?

Так или иначе, уже на этой — первой — волне безудержного оптимизма в отношении искусственного разума, возникло предположение, что в уже обозримой перспективе мы сможем запустить ту же самую «программу», какой является наш разум, на электронной машине.

Этой машине нужно будет лишь пройти «тест Тьюринга»[68], то есть суметь вести диалог так, что вы не отличите её от человека, и она будет не просто имитировать мышление, но и обладать им, не притворяться, что она понимает, а понимать, не симулировать сознание, а иметь сознание.

Китайская комната

И вот тут на сцену выходит наш герой-скептик — философ по имени Джон Сёрл. Человек, который посмотрел на этот парад технооптимизма и, подобно ребёнку из сказки Андерсена, громко выкрикнул: «Стоп, вы все сошли с ума! Ваш машинный король — голый!»

При этом Джон Сёрл вовсе не был луддитом и не призывал крушить компьютеры. Он ощущал свою миссию совсем иначе — ему казалось, что под угрозой технооптимистов оказался последний бастион, который определяет особое место человека во Вселенной: фундаментальный, базовый для нас рубеж — подлинное, живое понимание.

Поэтому он жёстко провёл черту между двумя фундаментально разными вещами:

• с одной стороны — синтаксис, то есть механическое манипулирование символами по заданным правилам, в чём и в самом деле могут преуспеть компьютеры;

• с другой стороны — семантика, то есть понимание внутреннего смысла, самой сути того, о чём идёт речь, будь то это рассуждения о той же «математике» или «любви».

Джон Сёрл однозначно заявил, что синтаксис никогда не станет семантикой: никакое, даже самое изощрённое, манипулирование символами никогда не породит искру подлинного смысла. И чтобы доказать это с предельной ясностью, он придумал по-своему гениальную и дьявольски убедительную ментальную ловушку, которая получила название «Китайская комната»[69].

Джон Сёрл предлагает элегантный мысленный эксперимент. Представим, что вы сидите в закрытой комнате в полном одиночестве. При этом вы не знаете ни единого слова на китайском. Для вас китайские иероглифы — это просто замысловатые, красивые, но абсолютно бессмысленные закорючки.

Через маленькую щель в двери вам начинают подавать карточки, испещрённые этими самыми иероглифами. На карточках записаны вопросы, смысл которых вам, разумеется, непонятен. Но к счастью, в комнате есть стол с толстенной книгой-инструкцией.

Её текст написан на понятном вам языке и принцип элементарный: «Найдите в книге текст с представленным набором символов (например, 自以为是) и верните в ответ карточку с символами, которые будет указаны напротив неё (допустим, 人无完人)».

Итак, всё просто — получаем карточку, находим в книге соответствующий узор и понимаем, какую карточку нам надо отправить обратно — и так снова и снова. Работа, как мы видим, монотонная и почти бессмысленная. Но какой эффект она произведёт на носителя китайского языка, который находится снаружи и не знает, что в ней происходит?

Система получает осмысленные, сложные, даже философские вопросы на китайском языке, и выдаёт глубокие, местами даже остроумные, а что самое главное — абсолютно уместные ответы.

Диалог вроде бы развивается блестяще! С такой системой можно обсуждать поэзию династии Тан, тонкости пекинской кухни, спорить о футуристических проектах. И для человека снаружи — тот, кто сидит внутри, несомненно, блестящий знаток китайского, мудрый и интересный собеседник.

Что ж, нас можно поздравить, мы, вооружившись книгой-программой, с блеском прошли тест Тьюринга. Впрочем, мы с вами знаем правду — никакого общения на самом деле не было, потому что, будучи внутри комнаты, мы и близко не понимали, о чём идёт речь, когда обменивали одну карточку на другую.

Китайского мы как не понимали, так и не понимаем. Поэтому самое время признаться: «Я не понял ни слова, я просто следовал правилам».

Может быть, тогда «понимает» та самая книга? Эта огромная стопка бумаги с инструкциями? Очевидный абсурд — это просто книга! Она «понимает» китайский не больше, чем кулинарный рецепт — вкус борща. Но может быть, дело в самой комнате? В стенах, столе, ящиках с карточками? Очевидно, что нет.

Так что Джон Сёрл ставит жирный крест на искусственном разуме: синтаксис (механическое манипулирование символами) никогда не породит семантику (подлинное понимание смысла). Каким бы сложным ни был компьютер, он всегда будет лишь железякой, которая выполняет команды, не имея ни малейшего представления о смысле того, что она делает.

Этот аргумент и в самом деле произвёл эффект разорвавшейся бомбы. В конце концов, Джон Сёрл апеллирует не к сложным формулам, а к нашему с вами личному, внутреннему опыту. Ведь все мы знаем, что значит «понимать». Мы знаем это чувство, эту вспышку озарения, когда разрозненные кусочки пазла вдруг складываются в единую картину. И мы точно знаем, что это чувство не имеет ничего общего с механическим следованием инструкциям.

Кажется, дело закрыто — окончательно и бесповоротно: аргумент Джона Сёрла выглядит не просто убедительным — он буквально ощущается как нечто самоочевидное. Но мир идей не то место, где можно, сделав мощный ход, счастливо почивать на лаврах.

Трещины в стенах

Не успели чернила высохнуть на его знаменитой статье, как по безупречным стенам «Китайской комнаты» пошли первые трещины. Критики не заставили себя ждать, и каждый их удар был нацелен в уязвимое место его метафоры.

Первыми на сцену поднялись логики-функционалисты, которые сформулировали самый частый контраргумент в отношении «Китайской комнаты». Они обвиняют Джона Сёрла в элементарной логической ошибке: спрашивать, понимает ли человек внутри комнаты китайский, — это такая же нелепость, как спрашивать отдельный нейрон в вашем мозге, понимает ли он русский язык[70].

Разумеется, нейроны ничего не понимают ни в русском, ни в китайском! Человек в комнате — не тот, кто должен «понимать». Он — всего лишь процессор, центральное обрабатывающее устройство в этой системе, то есть отдельный винтик большого механизма.

Пониманием, — утверждает первый критик, — обладает не человек, а вся система в целом: человек + книга правил + карточки. Точно так же, как наше «я» и наше понимание — это не свойство одного нейрона, а эмерджентное, внезапно возникающее, свойство всей системы из 86 мил-лиардов нейронов, работающих вместе.

То есть Джон Сёрл совершает классическую ошибку композиции: он приписывает свойство части (человек не понимает) всему целому (система не понимает). Он намеренно фокусирует наше внимание на единственном элементе, который может пожаловаться на непонимание, и мы, поддавшись этой уловке, забываем о системе как таковой.

Впрочем, аргумент логиков-функционалистов стал для «Китайской комнаты» лишь лёгким уколом. Тогда как следующий удар нанесли настоящие тяжеловесы — специалисты по нейросетям.

Пол и Патриция Чёрчленд привели аргумент, который был одновременно и прост, и сокрушителен: аналогия с «книгой правил» — это прекрасная метафора для компьютеров 70-х, но она в корне неверна для того, как устроен реальный интеллект, будь то человеческий или искусственный[71].

В нейронной сети нет никакой «книги правил», нет никакого списка инструкций. Наш интеллект — это гигантская, многомерная матрица из миллиардов чисел-весов, настроенных в процессе обучения. Знание в такой системе не лежит в одном месте, а распределено по всей сети и эмерджентно.

Смысл, который, как нам кажется, мы «понимаем», возникает из сложнейшего параллельного взаимодействия миллионов простых элементов, но не принадлежит ни одному из них. И чтобы показать абсурдность интуиции Сёрла, Чёрчленды предлагают свою гениальную контраналогию — «Сияющую комнату».

Представьте, что некий скептик заходит в тёмную комнату, берёт в руки обычный магнит и начинает им махать туда-сюда. Затем он включает фонарик, осматривается и торжествующе заявляет: «Смотрите! Я машу магнитом, а света нет! Следовательно, теория Джеймса Максвелла — чушь, свет — это не электромагнитное излучение!»

В чём его ошибка? В том, что он машет магнитом со скоростью несколько раз в секунду, а для того, чтобы возник свет, нужна частота колебаний в 400–800 триллионов раз в ту же самую секунду.

Так и автор «Китайской комнаты», — говорят Чёрчленды, — машет своим «синтаксическим магнитом» слишком медленно. Наша интуиция ломается о масштаб и сложность. Мы можем представить одного человека, следующего одному правилу, но не способны вообразить себе систему, где триллионы «правил» (весов) работают одновременно и с невероятной скоростью. При этом «свет» понимания рождается именно на таком уровне сложности.

После этого удара «Китайская комната» Сёрла начинает шататься. Её главный двигатель, её центральная аналогия оказалась безнадёжно устаревшей.

Дальше в дело вступает инженер-робототехник. Суть его возражений в следующем: «Ваша проблема, мистер Сёрл, в том, что ваша система висит в пустоте. Её символы ни с чем, на самом деле, не связаны».

То есть, например, символ «яблоко» в талмуде правил — это просто закорючка, которая связана с другими закорючками. У системы нет никакого опыта, связанного с реальным яблоком. Но давайте поместим нашу «Китайскую комнату» (компьютер) в тело робота: дадим ему камеры вместо глаз, микрофоны вместо ушей, манипуляторы вместо рук…

Что произойдёт теперь? Теперь символ «яблоко» будет напрямую связан со зрительным образом красного круглого объекта, с тактильным ощущением от его удержания в манипуляторе, с данными химических сенсоров, анализирующих его запах.

Иными словами, проблема в том, что система не заземляет свои символы в реальном, физическом мире. Как только она будет строить причинно-следственные связи не между абстрактными значками, а между значками и реальными объектами и действиями, ситуация изменится радикально[72].

После того как система выходит в реальный мир, отказ признавать за ней возможность понимания выглядит уже не как сильный философский аргумент, а как простое и наивное детское упрямство[73].

Контраргументы, которые мы рассмотрели, расшатали стены «Китайской комнаты» до самого основания. Но все они оставались в области философии — спора о словах и концепциях.

Однако с тех пор, как Джон Сёрл построил свою комнату, произошло нечто важное. Мы научились заглядывать в реальный мозг — и человеческий, и кремниевый. И то, что мы там увидели, превратило элегантный мысленный эксперимент в руины.

Давайте доведём идею симуляции до её логического предела. Представьте, что мы создали программу, которая симулирует работу мозга носителя китайского языка на уровне каждого нейрона и каждого синапса. Эта программа — идеальная математическая копия всех физических процессов, происходящих в голове китайца.

Будет ли эта система понимать китайский? И вот здесь Джон Сёрл (а вместе с ним и мы) оказываемся в совершенно идиотском положении.

• Если сказать: «Да, эта система будет понимать», — то это значит, что «пониманием» обладает программа, выполняющая синтаксические операции.

• Если же упорно сопротивляться — мол, нет, даже эта идеальная симуляция ничего не понимает, — то придётся делать выбор: либо мы верим во «всеведущую» нематериальную душу, либо утверждаем магическую силу биологической плоти (но ни дуализм, ни биологический шовинизм, мягко говоря, не являются научными).

Таким образом, позиция, согласно которой мы мыслим и понимаем, а ничто другое на это не способно, уже больше не может рассматриваться всерьёз. Хотя, возможно, самое главное — это то, что мы видим, как в современных языковых моделях искусственного интеллекта семантика и в самом деле способна рождаться из синтаксиса…

Давайте заглянем под капот современных больших языковых моделей (LLM). Что мы там увидим? Мы увидим, что слова представлены в них как векторы в многомерном пространстве. То есть это просто наборы чисел — чистый синтаксис.

Но самое поразительное вот что: геометрические отношения между этими векторами в точности соответствуют семантическим отношениям между словами. Знаменитый пример: вектор («Король») — вектор («Мужчина») + вектор («Женщина») приводят нас к вектору («Королева»)[74].

Вдумайтесь, мы берём чисто математические объекты, производим с ними чисто синтаксические операции и получаем на выходе результат, который не является программным решением — он вытекает, так сказать, по смыслу из слов, которые были вовлечены в процесс рассуждений. То есть семантика рождается из синтаксиса, если этот синтаксис достаточно сложен и построен на гигантских объёмах данных.

Но чтобы понять, почему интуиция Сёрла была так сильна и так ошибочна, нам нужно пригласить на эти руины главного архитектора его разгрома — выдающегося и, к великому сожалению, недавно ушедшего от нас философа Дэниела Деннета.

Крах «картезианского театра»

Помните, мы говорили о том, как мастерски Сёрл апеллирует к нашей интуиции? И именно Деннет ввёл для описания таких философских уловок термин «интуитивный насос»[75].

Интуитивный насос — это мысленный эксперимент или история, построенные так, чтобы направить наши представления и чувства в сторону определённого вывода. Он делает абстрактное понятным, а сложное — наглядным. Ведь понятность и наглядность — это так здорово!

Но именно в этом и скрыта опасность. Главный риск — подмена аргументации эмоционально заряженной метафорой или моделью, которая не схватывает ситуацию такой, какой она на самом деле является. Насос работает не через строгую логику, а через ассоциации и образы, которые вызывают у нас ощущение «самоочевидности».

В результате важные допущения могут остаться незамеченными, а альтернативные точки зрения — за рамками такой «чудной истории». При этом, попав под воздействие подобного «нарратива» (насоса), мы становимся заложниками туннельного видения — начинаем воспринимать проблему через созданную им рамку и игнорируем другие возможные описания.

В руках манипулятора это превращается в инструмент навязывания позиции под видом прояснения. Поэтому работа с интуитивными насосами требует двойной осторожности. Важно распознавать, когда вас «накачивают» и к какому выводу вас пытаются склонить. А затем разбирать механизм — пытаться понять, что включено в сценарий, а что из него исключено, и сопоставлять альтернативы. Если насос можно построить и в прямо противоположную сторону, то очевидно, что это просто уловка.

Второе элегантное изобретение Дэниела Деннета уже касается существа дела и получило название «картезианский театр». Мы интуитивно представляем себе сознание как некий кинотеатр в голове. На экране (в нашем восприятии) показывают фильм о внешнем мире, а в зри-тельном зале сидит некий «я» — маленький человечек, гомункулус, — который этот фильм смотрит и «понимает»[76].

Именно роль этого гомункулуса и играет несчастный человек в «Китайской комнате». Но «картезианский театр» — лишь иллюзия. Никакого центрального «зрителя» (или «понимателя») в мозге нет.

Так что модель с «человечком в голове» лишь отодвигает проблему на шаг назад: хорошо, допустим, что гомункулус (наше «я») сидит у нас в голове и всё понимает, а что или кто понимает в нём самом? В нём сидит другой гомункулус — поменьше? А потом совсем маленький? Нет, это путь в дурную бесконечность.

Причём современная нейронаука, по сути, провела этот эксперимент в реальности. Учёные десятилетиями искали в мозге этот гипотетический «центральный пульт» управления, этот зрительный зал «картезианского театра»… и не нашли ничего, что хотя бы отдалённо могло претендовать на эту роль.

Наш мозг — это децентрализованная, параллельная система, где множество процессов («множество набросков», как говорит Дэниел Деннет) конкурируют друг с другом за ресурсы. В некотором смысле это муравейник, где каждый нейрон выполняет свою роль, в результате возникает потрясающий синергетический эффект. Но как в муравейнике, так и в нашем мозге нет никакого финального «босса», который руководит процессом и «понимает» всё за всех[77].

Таким образом, всё здесь сошлось в одной точке: мы сами и есть «Китайская комната» Джона Сёрля, но только биологическая, невероятно сложная и хорошо «заземлённая» в реальности. И если мы что-то понимаем, то и она — тоже.