Эта история произошла, когда я только познакомился с Марчелло, с которым позже целый год работал над теорией ИИ; но в то время я ещё не взял его в ученики. Я знал, что он участвовал в олимпиадах по математике и информатике на национальном уровне, и этого было достаточно, чтобы присмотреться к нему повнимательнее; но я ещё не знал, сможет ли он научиться думать об ИИ.

Я попросил Марчелло рассказать, как, по его мнению, ИИ мог бы понять, как собрать кубик Рубика. Не с помощью заранее заложенной программы — это тривиально, — а как сам ИИ мог бы разобраться в законах вселенной Рубика и сообразить, как их использовать. Как бы ИИ сам для себя изобрёл концепт «оператора» или «макроса» — ключ к сборке кубика Рубика?

В какой-то момент этого обсуждения Марчелло сказал: «Ну, я думаю, ИИ нужна сложность, чтобы делать X, и сложность, чтобы делать Y...»

И я сказал: «Не говори „сложность“».

Марчелло спросил: «Почему нельзя?»

Я сказал: «Сложность никогда не должна быть самоцелью. Тебе может понадобиться конкретный алгоритм, который добавит немного сложности, но сложность ради сложности только всё усложняет». (Я думал обо всех тех людях, от которых слышал, будто интернет «проснётся» и превратится в ИИ, когда станет «достаточно сложным».)

И Марчелло сказал: «Но ведь должно же быть какое-то количество сложности, которое это обеспечивает».

Я на миг прикрыл глаза и попытался придумать, как объяснить всё это словами. Для меня само слово «сложность» ощущалось просто как неверный шаг в танце ИИ. Никто не способен думать достаточно быстро, чтобы мысленно анализировать в словах каждое предложение своего потока сознания — это потребовало бы бесконечной рекурсии. Мы думаем словами, но наш поток сознания направляется ниже уровня слов — за счёт натренированных остатков прошлых озарений и сурового опыта...

Я спросил: «Ты читал „Техническое объяснение технического объяснения“?»

«Да», — ответил Марчелло.

«Хорошо, — сказал я. — Произнесение слова „сложность“ не концентрирует твою вероятностную массу».

«О, — сказал Марчелло, — как „эмерджентность“. Хм. Значит... теперь мне нужно подумать о том, как X может произойти на самом деле...»

И тогда я подумал про себя: «Может быть, этот обучаем.»

Сложность — не бесполезное понятие. У него есть математические определения, такие как сложность Колмогорова и сложность Вапника — Червоненкиса. Даже на интуитивном уровне о сложности часто стоит задумываться — вам приходится оценивать сложность гипотезы и решать, не выглядит ли она «слишком сложной» в свете имеющихся доказательств, или смотреть на какую-то конструкцию и пытаться сделать её проще.

Но концепты сами по себе не бывают полезными или бесполезными. Правильным или неправильным может быть только их применение. Делая тот шаг, который Марчелло пытался сделать в танце, он пытался получить объяснение задаром, взять что-то ниоткуда. Это чрезвычайно распространённая ошибка, по крайней мере в моей области. Вы можете присоединиться к любому обсуждению общего искусственного интеллекта и увидеть, как люди делают то же самое направо и налево, снова и снова — постоянно перепрыгивая через вещи, которых они не понимают, даже не замечая этого.

Это происходит в мгновение ока: мы помещаем за таинственным явлением некий неконтролирующий причинный узел — узел, который воспринимается как объяснение, но на самом деле им не является. Ошибка совершается на уровне ниже слов. Она не требует какого-то особого изъяна характера; именно так люди мыслят по умолчанию, так они мыслили с древнейших времён.

Чего вам необходимо избегать, так это перескакивания через загадочную часть; вам нужно задержаться на загадке, чтобы столкнуться с ней лицом к лицу. Существует множество слов, позволяющих перешагнуть через тайну, и некоторые из них вполне уместны в других контекстах — например, «сложность». Но суть ошибки заключается именно в этом перескакивании, независимо от того, какой причинный узел за ним стоит. Перескакивание — это не мысль, а микромысль. Чтобы поймать себя на этом, требуется предельное внимание. Когда же вы научитесь избегать перескакивания, это станет делом инстинкта, а не словесных рассуждений. Вы должны чувствовать, какие части вашей карты всё ещё остаются белыми пятнами, и, что гораздо важнее, прислушиваться к этому чувству.

Я подозреваю, что в академической среде существует огромное давление, заставляющее заметать проблемы под ковёр, чтобы представить статью, которая выглядит завершённой. Вы получите больше признания за кажущуюся полной модель, включающую некие «эмерджентные явления», чем за откровенно неполную карту с пометками вроде «понятия не имею, как работает эта часть» или «а дальше происходит чудо». Научный журнал может даже не принять такую статью, ведь кто знает — вдруг всё самое интересное происходит как раз на этих неизвестных этапах? И да, иногда случается, что все «немагические» части вашей карты на поверку тоже оказываются неважными. Такова цена, которую иногда приходится платить за вступление на terra incognita и попытки решать проблемы шаг за шагом. Но от этого становится ещё важнее знать, когда вы ещё не закончили работу. Как правило, люди вообще не осмеливаются вступать на terra incognita из панического страха потратить время впустую.

А если вы работаете над революционным ИИ-стартапом, давление, заставляющее заметать проблемы под ковёр, становится ещё сильнее — иначе вам придётся признаться себе, что вы пока не знаете, как создать ИИ, и ваши текущие жизненные планы с треском рухнут. Но, возможно, я вдаюсь в избыточные объяснения, ведь перескакивание происходит у людей по умолчанию; если вам нужны примеры, просто понаблюдайте, как люди обсуждают религию, философию, духовность или любую науку, в которой они не являются профессионалами.

Мы с Марчелло выработали правило в нашей работе над ИИ: когда мы сталкивались с чем-то, чего не понимали (а это случалось часто), мы говорили «магия» — например: «X магическим образом делает Y», — чтобы напомнить себе, что здесь кроется нерешённая проблема, пробел в нашем понимании. Гораздо лучше сказать «магия», чем «сложность» или «эмерджентность»: последние слова лишь создают иллюзию понимания. Разумнее сказать «магия» и оставить себе заглушку — напоминание о работе, которую ещё предстоит проделать.

*