Представьте, что люди абсолютно не имели понятия, как они выполняют арифметические вычисления. Представьте, что способность считать и складывать овец у людей появилась в ходе эволюции, а не была усвоена в процессе обучения. Пользуясь этой встроенной способностью, люди даже не догадывались бы, как она устроена — точно так же как Аристотель не имел ни малейшего представления о том, как его зрительная кора обеспечивает способность видеть. Арифметика Пеано в привычном нам виде еще не изобретена. Философы пытаются формализовать числовые интуиции, но используют обозначения вроде:

Плюс-От(Семь,Шесть) = Тринадцать

чтобы формализовать интуитивно очевидный факт: когда вы прибавляете к «семи» «шесть», то, конечно же, получаете «тринадцать».

В этом мире карманные калькуляторы работают на основе гигантской таблицы поиска арифметических фактов, вручную занесенных туда командой экспертов — Искусственных Арифметиков — для исходных значений в диапазоне от нуля до ста. Хотя эти калькуляторы могут быть полезны с практической точки зрения, многие философы утверждают, что они лишь имитируют сложение, а не складывают по-настоящему. Ни одна машина не способна по-настоящему считать — именно поэтому человеку приходится сначала отсчитать тринадцать овец, прежде чем ввести «тринадцать» в калькулятор. Калькуляторы могут воспроизводить сохраненные факты, но они никогда не поймут, что эти утверждения значат. Если ввести «двести плюс двести», калькулятор выдаст «Ошибка: Вне диапазона», хотя интуитивно очевидно — если вы знаете, что означают эти слова, — что ответ должен быть «четыреста».

Некоторые философы, разумеется, не настолько наивны, чтобы попадаться на удочку подобных интуиций. Числа — это на самом деле чисто формальная система: обозначение «тридцать семь» имеет смысл не из-за каких-то присущих самим словам свойств, а потому, что это обозначение отсылает к тридцати семи овцам во внешнем мире. Это референциальное свойство число обретает благодаря своей семантической сети отношений с другими числами. Вот почему в компьютерных программах ЛИСП-токену для «тридцати семи» не требуется никакая внутренняя структура — он обретает смысл только благодаря отсылкам и отношениям, а не за счет какого-то вычислительного свойства самого по себе понятия «тридцать семь».

Никто еще не создал Искусственного Универсального Арифметика, хотя, конечно же, существует множество специализированных, узких Искусственных Арифметиков, работающих с числами в диапазоне от «двадцати» до «тридцати» и так далее. И если посмотреть, как медленно продвигается работа с числами в районе «двухсот», то становится ясно, что Искусственной Универсальной Арифметики нам в ближайшее время не видать. Лучшие специалисты в этой области оценивают, что пройдет не менее ста лет, прежде чем калькуляторы научатся складывать так же хорошо, как двенадцатилетний ребенок.

Но не все согласны с этой оценкой или с общепринятыми представлениями об Искусственной Арифметике. Часто можно услышать подобные заявления:

«Это проблема фрейминга — то, чему равно "двадцать один плюс", зависит от того, будет ли это "плюс три" или "плюс четыре". Если мы сможем заложить в базу достаточно арифметических фактов, чтобы покрыть очевидные истины здравого смысла, известные каждому, в сети начнет проявляться настоящее сложение».

«Но вы никогда не сможете запрограммировать столько арифметических фактов, нанимая экспертов для их ручного ввода. Нам нужен Искусственный Арифметик, который способен обучиться огромной сети отношений между числами — той самой, которую люди осваивают в детстве, наблюдая за группами яблок».

«Нет, на самом деле нам нужен Искусственный Арифметик, понимающий естественный язык. Чтобы вместо явного сообщения ему, что двадцать один плюс шестнадцать равно тридцать семь, он мог сам добывать эти знания, исследуя просторы Сети».

«Откровенно говоря, мне кажется, вы просто пытаетесь убедить себя в том, что способны решить эту проблему. Никто из вас толком не знает, что такое арифметика, поэтому вы и барахтаетесь в этих шаблонных аргументах. "Нам нужен ИА, который может обучиться X", "Нам нужен ИА, который может извлечь X из интернета". Звучит красиво, создает иллюзию прогресса и даже отлично подходит для пиара, потому что каждому кажется, будто он понимает предложенное решение. Но на самом деле это ни на шаг не приближает вас к универсальному сложению — в отличие от сложения в узких предметных областях. Вероятно, мы никогда не познаем фундаментальную природу арифметики. Эта задача просто не под силу человеку».

«Вот почему нам нужно разработать универсального арифметика тем же путем, каким шла Природа — через эволюцию».

«Нисходящие подходы явно не смогли породить арифметику. Нам нужен восходящий подход, какой-то способ заставить арифметику возникнуть эмерджентно. Мы должны признать фундаментальную непредсказуемость сложных систем».

«Вы все неправы. Прошлые попытки создать машинную арифметику были обречены с самого начала, потому что у них просто не хватало вычислительной мощности. Если посмотреть, сколько триллионов синапсов в человеческом мозге, то станет ясно, что у калькуляторов нет таблиц поиска даже близко такого объема. Нам нужны калькуляторы мощностью с человеческий мозг. Согласно закону Мура, это произойдет в 2031 году, 27 апреля, между 4:00 и 4:30 утра».

«Я считаю, что машинная арифметика появится, когда исследователи отсканируют каждый нейрон человеческого мозга целиком и перенесут в компьютер, чтобы мы могли симулировать биологические цепочки, которые выполняют сложение у людей».

«Не думаю, что нам нужно ждать сканирования всего мозга. Нейронные сети устроены точно так же, как человеческий мозг, и их можно обучить выполнять задачи, даже не зная, как именно они это делают. Мы создадим программы, которые будут заниматься арифметикой без того, чтобы мы, их создатели, когда-либо поняли, как они это делают».

«Но теорема Гёделя показывает, что ни одна формальная система никогда не сможет охватить базовые свойства арифметики. Классическая физика формализуема, поэтому, чтобы сложить два и два, мозг должен использовать преимущества квантовой физики».

«Да бросьте, если бы человеческая арифметика была достаточно простой, чтобы воссоздать ее в компьютере, мы бы не умели считать до столь больших чисел, чтобы эти самые компьютеры построить».

«Разве вы не слышали об эксперименте Джона Сёрля с „Китайским калькулятором“? Даже если бы у вас был огромный набор правил, позволяющий сложить „двадцать один“ и „шестнадцать“, представьте себе перевод всех слов на китайский язык — и вы увидите, что никакого подлинного сложения здесь не происходит. В системе вообще нет настоящих чисел, есть лишь ярлыки, которые люди используют для их обозначения...»

У этой притчи больше одной морали, и в разных контекстах я рассказывал её с разными выводами. Она иллюстрирует, например, идею уровней организации — центральный процессор может складывать два больших числа, потому что числа не являются непроницаемыми «чёрными ящиками», они представляют собой упорядоченные 32-битные структуры.

Но для целей преодоления предвзятости давайте извлечём два урока:

Во-первых, опасность веры в утверждения, которые вы не можете воссоздать самостоятельно на основе собственных знаний.

Во-вторых, опасность попыток ходить вокруг да около базового непонимания.

Дабы никто не обвинил меня в обобщении на основе вымышленных свидетельств, оба этих урока можно извлечь и из реальной истории искусственного интеллекта.

Первая опасность — это проблема предметного уровня, с которой столкнулись устройства ИА (Искусственной Арифметики): они функционировали как магнитофоны, проигрывающие «знание», сгенерированное вне системы с помощью процесса, который они не могли воспроизвести изнутри. Человек мог сказать устройству ИА, что «двадцать один плюс шестнадцать равно тридцати семи», и устройства ИА могли записать это предложение и воспроизвести его, или даже сопоставить по шаблону «двадцать один плюс шестнадцать», чтобы выдать «тридцать семь!», — но устройства ИА не могли генерировать такое знание самостоятельно.

Что очень напоминает веру на слово физику, который говорит вам: «Свет — это волны»: вы записываете эти интригующие слова и воспроизводите их, когда кто-то спрашивает: «Из чего состоит свет?», но сами вывести это знание не способны.

Второй урок — это опасность мета-уровня, которая поглотила исследователей Искусственной Арифметики и категоричных сторонних наблюдателей: опасность ходить вокруг да около сбивающих с толку пробелов в собственных знаниях. Тенденция делать практически всё что угодно, кроме того, чтобы стиснуть зубы, взяться за дело и заполнить этот чёртов пробел.

Скажете ли вы: «Это эмерджентно!» или «Это непостижимо!», ни в одном из случаев вы не признаёте, что для решения требуется базовое озарение — озарение, которое в принципе можно обрести, но которым вы пока не обладаете.

Как узнать, когда к вам придёт новое базовое озарение? И нет никакого способа получить его, кроме как биться над проблемой, узнавая о ней всё, что только возможно, изучая её со всех мыслимых сторон, возможно, годами. Академическая среда просто не приспособлена для подобных поисков, ведь вам нужно публиковать хотя бы по одной статье в месяц. И уж конечно, венчурные капиталисты не станут это финансировать. Вам хочется либо взять и построить систему прямо сейчас, либо сдаться и заняться вместо этого чем-то другим.

Посмотрите на комментарии выше: ни один из них не направлен на то, чтобы отправиться на поиски недостающего озарения, которое лишило бы числа таинственности, сделало бы «двадцать семь» чем-то большим, чем просто чёрный ящик. Ни один из комментаторов не понял, что его трудности проистекают из незнания или путаницы в его собственной голове, а не из неотъемлемого свойства арифметики. Они не пытались достичь состояния, в котором непонятное перестало бы быть непонятным.

Если вы прочтёте книгу Джуды Перла «Вероятностные рассуждения в интеллектуальных системах: сети правдоподобного вывода»,¹ вы увидите, что ключевая идея, лежащая в основе графовых моделей, абсолютно необходима для решения задач, где она требуется. (Боюсь, это не то, что можно уместить на футболке, так что вам придётся пойти и прочесть саму книгу. Я не видел в Сети ни одного научно-популярного изложения байесовских сетей, которое адекватно передавало бы причины, стоящие за этими принципами, или важность того, чтобы математика была именно такой, какая она есть, но книга Перла просто великолепна.) Когда-то существовали десятки «немонотонных логик», неуклюже пытавшихся отразить интуитивные представления вроде: «Если сработала моя охранная сигнализация, вероятно, забрался вор; но если я затем узнаю, что рядом с моим домом произошло небольшое землетрясение, то вора, скорее всего, не было». Имея в руках понимание графовых моделей, вы можете дать точное математическое объяснение того, почему именно логика первого порядка обладает неподходящими для этой задачи свойствами, и выразить правильное решение в компактной форме, которая одним элегантным махом охватывает все детали, подсказываемые здравым смыслом. Пока у вас нет этого понимания, вы будете продолжать латать логику тут и там, добавляя всё новые и новые костыли, чтобы насильно подогнать её под всё, что кажется «очевидно истинным».

Вы не узнаете, что задача Искусственной Арифметики неразрешима без ключа к ней. Если вы не знаете правил, вы не знаете и правила, гласящего, что вам нужно знать правила, чтобы вообще хоть что-то сделать. И потому будут возникать самые разные умные идеи, которые кажутся вполне рабочими, — например, создать Искусственного Арифметика, способного понимать естественный язык и скачивать миллионы арифметических утверждений из интернета.

И всё же каким-то образом эти умные идеи никогда не работают. Почему-то всегда оказывается, что вы «не видели причин, почему это не сработает» из-за своего неведения о препятствиях, а не потому, что этих препятствий не существовало. Это как стрелять с завязанными глазами по удалённой мишени — вы можете делать выстрел за выстрелом вслепую, крича: «Вы не можете доказать мне, что я не попаду в яблочко!» Но пока вы не снимете повязку, вы даже не начали прицеливаться. Когда «никто не может доказать вам», что ваша драгоценная идея неверна, это означает лишь то, что у вас недостаточно информации, чтобы поразить крошечную цель в бескрайнем пространстве ответов. Пока вы точно не будете знать, что ваша идея сработает, она не сработает.

Из истории прошлых ключевых озарений в области искусственного интеллекта и того грандиозного хаоса, который предлагался до этих открытий, я вывожу важный жизненный урок: когда фундаментальная проблема заключается в вашем незнании, хитрые стратегии по обходу этого незнания приводят лишь к тому, что вы стреляете себе в ногу.

*

1. Перл, Вероятностный вывод в интеллектуальных системах.