«Упорствуй». Это совет, который можно услышать от огромного числа успешных людей в самых разных областях. Сначала я совсем его не понимал.

Сначала я думал, что «упорство» означает работать по 14 часов в сутки. По всей видимости, есть люди, способные отработать 10 часов на технической работе, а затем, в перерывах между едой, сном и походами в туалет, урвать это свободное время, чтобы писать книгу. Я не из их числа — мне до сих пор больно признаваться в этом своему самолюбию. Я ведь работаю над чем-то важным; разве мой мозг не должен быть готов вкалывать по 14 часов в день? Но он не готов. Когда работать становится слишком тяжело, я делаю перерыв и иду что-нибудь почитать или посмотреть. Из-за этого я много лет думал, что полностью обделен такой добродетелью, как «упорство».

Как и свойственно людям, Элиезер₁₉₉₈ года думал примерно так: «Важен результат, а не затраченные усилия». Или: «Лень — это тоже добродетель, она заставляет нас отказываться от неработающих методов и искать пути получше». Или: «У меня получается лучше, чем у других людей, которые работают дольше. Возможно, в творческой работе твой сиюминутный пиковый результат важнее, чем 16-часовой рабочий день». Может быть, знаменитые ученые поддались соблазну Глубокой Мудрости, утверждающей, что «упорный труд — это добродетель», потому что было бы слишком ужасно, если бы он ценился меньше, чем интеллект?

Я не понимал добродетели упорства, пока не оглянулся на свой путь в сфере ИИ и не осознал, что переоценивал сложность практически каждой важной задачи.

Звучит безумно, правда? Но выслушайте меня.

Когда я только решил взяться за проблему ИИ, я мыслил масштабами сорокалетних сроков, Манхэттенских проектов, планетарных вычислительных сетей, миллионов программистов и, возможно, аугментированных людей.

Это типичная ошибка мышления в ИИ-футуризме, о которой я, возможно, напишу позже; она заключается в скачке от «Я не знаю, как это решить» к «Представлю-ка я, что мы бросим на это нечто грандиозное». Что-то настолько масштабное, что сама мысль об этом создает ощущение величия, соразмерного сложности проблемы. (Сейчас в списке рассылки по ИИ есть один человек, который повсюду твердит, что создание ИИ обойдется в квадриллион долларов: мы не сможем получить ИИ без затрат в квадриллион долларов, но зато мы могли бы получить ИИ в любой момент, просто потратив квадриллион долларов). Это, в свою очередь, позволяет вам вообразить, будто вы знаете, как решить проблему ИИ, не пытаясь выполнить очевидно невыполнимое требование: понять интеллект.

Итак, вначале я совершил ту же ошибку: я не понимал природу интеллекта, поэтому воображал, как мы бросаем на эту проблему целый Манхэттенский проект.

Однако, подсчитав, что смертность на планете составляет 55 миллионов человек в год или 150 000 в день, я не развернулся и не убежал от этой огромной пугающей проблемы, как испуганный кролик. Вместо этого я попытался выяснить, какой ИИ-проект мог бы достичь цели быстрее всего. Если бы мне удалось приблизить взрыв интеллекта хотя бы на один час, это было бы вполне оправданной отдачей от карьеры до начала этого взрыва. (На тот момент я еще не мыслил категориями экзистенциальных рисков или Дружественного ИИ).

Так что я не убежал от огромной пугающей проблемы, как испуганный кролик, а остался, чтобы посмотреть, могу ли я хоть что-то сделать.

Забавный исторический факт: в 1998 году я написал длинный трактат, где предлагал способ создания самосовершенствующегося или «семенного» (seed) ИИ (термин, который я имел честь ввести). Брайан Аткинс, который впоследствии стал главным спонсором-основателем Научно-исследовательского института машинного интеллекта (MIRI), только что продал Hypermart компании Go2Net. Брайан прислал мне электронное письмо с вопросом: может ли команда умеренной численности взять и действительно реализовать этот описанный мной проект ИИ? «Нет, — ответил я, — для этого потребуется Манхэттенский проект и тридцать лет», поэтому некоторое время мы вместо этого подумывали о новом дотком-стартапе, чтобы профинансировать настоящую работу над ИИ...

Год или два спустя, когда я услышал о новомодной штуке под названием «открытый код», мне показалось, что небольшая организация могла бы выполнить некоторую предварительную работу по разработке — создать новые языки программирования и тому подобное; так и появился MIRI.

Эта стратегия, конечно же, была в корне неверной.

Но даже при этом я перешел от позиции «Я ничего не могу с этим поделать прямо сейчас» к «Хм... возможно, существует путь постепенного развития через открытый код, если первые версии окажутся полезными для достаточного количества людей».

Все это происходило еще на заре времен, так что я не утверждаю, будто это было хорошей идеей. Но с точки зрения моих тогдашних намерений, год творческих размышлений сократил видимый путь: проблема стала выглядеть чуть менее невозможной, чем в самый первый раз, когда я к ней подступился.

Еще более интересная закономерность прослеживается в том, как я пришел к Дружественному ИИ. Изначально я вообще не рассматривал Дружественный ИИ — ведь было очевидно невозможно и бесполезно обманывать сверхинтеллект относительно того, какой образ действий является правильным.

Таким образом, исторически я прошел путь от полного игнорирования «невозможной» проблемы к тому, чтобы взяться за задачу, которая была всего лишь крайне сложной.

Естественно, это увеличило мой общий объём работы.

То же самое произошло и с попытками понять интеллект на точном, формальном уровне. Изначально я списал эту проблему со счетов как невозможную, тем самым избавив себя от этой работы. (В ретроспективе эта логика кажется довольно безумной — Природе плевать на то, чего вы не умеете делать, когда Она составляет требования к вашему проекту, — но я до сих пор постоянно вижу, как люди из сферы ИИ пытаются так поступать). Следование точным стандартам означало, что мне придется вложить гораздо больше труда, чем я предполагал ранее. Но это также означало, что я взялся за проблему, которую еще совсем недавно отбросил бы как абсолютно невозможную.

Даже несмотря на то, что со временем отдельные проблемы в области ИИ стали казаться менее пугающими, общая высота горы, на которую предстоит взобраться, только увеличилась — как и положено по законам житейской мудрости — по мере того, как задачи вычёркивались из списка «невозможных» и переносились в список «дел».

Я начал понимать, что происходит — и что на самом деле означает призыв «Упорствуй!», — когда заметил, что другие специалисты по ИИ поступают точно так же: говорят «Невозможно!» о проблемах, которые казались вполне решаемыми — относительно простыми по сравнению с остальными. Но это были вещи, которые показались бы гораздо более пугающими мне самому в тот момент, когда я впервые подступился к проблеме.

И я понял, что у слова «невозможно» есть два значения:

Математическое доказательство невозможности при заданных аксиомах;

«Я не вижу никакого способа это сделать».

Излишне говорить, что все мои собственные случаи употребления слова «невозможно» относились ко второму типу.

Всякий раз, когда вы не разбираетесь в какой-то области, многие проблемы в ней будут казаться невозможными, потому что, когда вы запрашиваете у своего мозга путь решения, он возвращает пустое значение. Но бывают только загадочные вопросы, а не загадочные ответы. Если вы проведёте год или два, работая в этой области, то — если вы не зайдёте в тупик и если у вас есть врождённые способности, необходимые для продвижения вперёд, — вы станете понимать её лучше. Кажущаяся сложность задач может сильно снизиться. Всё это уже не будет пугать вас так, как пугало, когда вы были новичком.

И это особенно вероятно для тех запутанных проблем, которые кажутся наиболее пугающими.

Поскольку мы имеем некоторое представление о процессах горения звёзд, мы знаем, что создать звезду с нуля не так-то просто. Поскольку мы понимаем, как работают шестерёнки, мы можем доказать, что никакая система шестерёнок, подчиняющаяся известным законам физики, не способна образовать вечный двигатель. Это не те задачи, на которых стоит тренироваться совершать невозможное.

Когда вы запутались в какой-то области, проблемы в ней будут ощущаться как крайне пугающие и таинственные, а запрос к собственному мозгу выдаст ноль решений. Но вы не знаете, сколько работы останется сделать, когда путаница рассеется. Устранение этой путаницы само по себе может оказаться чрезвычайно сложной задачей, разумеется. Но слово «невозможно» здесь вряд ли применимо. Путаница существует на карте, а не на территории.

Так что, если вы потратите несколько лет на работу над невозможной проблемой, если вам удастся избежать тупиков или выбраться из них, и если ваших врождённых способностей достаточно для продвижения вперёд, то, чёрт возьми, через несколько лет она может показаться уже не такой уж и невозможной.

Но если что-то кажется невозможным, вы даже не попытаетесь.

И вот это уже порочный круг.

Если бы у меня не было столь мощного настроя, при котором слова «сорок лет и Манхэттенский проект» означали лишь то, что нам стоит начать пораньше, я бы и пытаться не стал. Я бы не стал упорно заниматься этой задачей. И у меня не появилось бы шанса перестать её бояться.

Обычно я не сторонник теории о том, что противоположные когнитивные искажения могут компенсировать друг друга, но иногда это происходит благодаря чистому везению. Если бы я увидел всю эту гору в самом начале — если бы я с самого начала осознал, что задача состоит не в том, чтобы создать способный к самосовершенствованию семенной ИИ, а в том, чтобы создать доказуемо корректный Дружественный ИИ — я бы, пожалуй, просто самовоспламенился.

И всё же, чтобы понять тех учёных выше среднего уровня, которые составляют большинство исследователей общего искусственного интеллекта (AGI), нужно осознать: они вовсе не одержимы стремлением взяться за практически невыполнимую задачу, даже если она потребует 40 лет работы. В массе своей они занимаются этим лишь потому, что нашли Ключ к ИИ, который позволит им решить проблему без таких колоссальных трудностей, всего за пять лет.

Ричард Хэмминг любил задавать своим коллегам-учёным два вопроса: «Каковы самые важные проблемы в вашей области?» и «Почему вы над ними не работаете?»

Часто важные проблемы выглядят огромными, жутковатыми и пугающими. Они не гарантируют по 10 публикаций в год. Они вообще не обещают никакого прогресса. Вы можете не получить абсолютно никакой отдачи после года, пяти или десяти лет работы над ними.

И нередко самые важные проблемы в вашей области оказываются невозможными. Вот почему вы не видите толп философов, работающих над редукционистской декомпозицией сознания.

Попытки сделать невозможное — занятие определённо не для всех. Исключительный талант — это лишь вступительный взнос (анте), позволяющий сесть за игровой стол. Фишки здесь — годы вашей жизни. Если перспектива поставить эти фишки на кон и проиграть кажется вам невыносимой, то займитесь чем-нибудь другим. Серьёзно. Потому что вы можете проиграть.

Я не собираюсь говорить банальности вроде: «Каждый должен хотя бы раз в жизни сделать что-то невозможное, потому что это даёт важный урок». Большинству людей всё время и всем людям большую часть времени стоит придерживаться возможного.

Никогда не сдаваться? Не смешите меня. Попытки сделать невозможное следует приберечь для самых особых случаев. Умение понимать, когда пора оставить надежду, — важный жизненный навык.

Но если вы можете представить себе нечто даже худшее, чем растраченная впустую жизнь, если вы хотите чего-то, что важнее тридцати фишек, или если для вас существуют вещи пострашнее, чем жизнь, полная неудобств, то у вас могут быть основания попытаться совершить невозможное.

О преодолении трудностей можно сказать много хорошего; но среди прочего необходимо признать: упорство действительно оставляет жизнь трудной. Если вы к этому не готовы — держитесь подальше! Есть куда более простые способы завоевать престиж и уважение. Я не хочу, чтобы кто-то, прочитав это, без нужды очертя голову бросился в жизнь, полную постоянных трудностей.

Но в заключение: «упорство», необходимое для работы над важными проблемами, включает в себя нечто большее, чем просто труд по 14 часов в сутки.

Удивительно, как именно устроена избирательность в том, что мы замечаем и чего не замечаем в себе. Эта избирательность далеко не всегда направлена на то, чтобы приукрасить свой собственный образ. Иногда дело просто в обычной заметности.

Продолжать работу для меня было постоянной борьбой, поэтому это было столь заметно: я обращал внимание на то, что не могу работать по 14 часов подряд каждый день. Мне и в голову не приходило, что «упорство» может также проявляться на масштабе секунд или лет — пока я не увидел людей, которые мгновенно объявляли «невозможным» всё, что им не хотелось пробовать, или не заметил, с какой неохотой они берутся за дело, если оно обещает затянуться на пару десятилетий вместо «пяти лет».

Именно тогда я понял, что «упорство» применимо к самым разным временным масштабам. В масштабе секунд упорство означает «не сдаваться мгновенно при первом же признаке трудности». В масштабе лет упорство — это «продолжать работу над безумно сложной задачей, пусть даже это неудобно, а в другом месте вы могли бы получать куда большую личную выгоду».

Чтобы делать то, что крайне сложно или «невозможно»,

Сначала нужно не сбежать. На это уходят секунды.

Затем нужно работать. На это уходят часы.

Затем нужно не бросать начатое. На это уходят годы.

Из них первому мне пришлось учиться, чтобы делать это надёжно, а не от случая к случаю; второе для меня всё ещё постоянная борьба; а третье даётся само собой.

*