Среди тем, в которые я здесь не углублялся, есть понятие процесса оптимизации. Грубо говоря, это идея о том, что ваша сила как разума заключается в вашей способности попадать в малые цели в большом пространстве поиска — будь то пространство возможных вариантов будущего (планирование) или пространство возможных конструкций (изобретательство).

Представьте, что у вас есть машина, и предположим, мы уже знаем, что ваши предпочтения включают в себя путешествия. Теперь представьте, что вы берете все детали машины или все её атомы и случайным образом их перемешиваете. Весьма маловероятно, что у вас получится хоть какое-то устройство для путешествий, хотя бы даже колесная тележка, не говоря уже об устройстве, которое занимало бы столь же высокое место в вашей иерархии предпочтений, как и исходный автомобиль. Таким образом, относительно вашего упорядочения предпочтений автомобиль является чрезвычайно маловероятным артефактом. Сила процесса оптимизации заключается в том, что он способен порождать подобную маловероятность.

И разум, и естественный отбор можно рассматривать как частные случаи оптимизации: процессов, которые попадают в очень малые цели, заданные неявными предпочтениями, в большом пространстве поиска. Естественный отбор предпочитает более эффективные репликаторы. Человеческий разум обладает более сложными предпочтениями. Ни эволюция, ни люди не имеют последовательных функций полезности, поэтому рассмотрение их как «процессов оптимизации» считается приближением. Вы пытаетесь уловить характер выполняемой работы, а не утверждаете, что люди или эволюция выполняют её идеально.

Именно так я вижу историю жизни и разума — как историю создания невероятно хороших конструкций процессами оптимизации. «Невероятность» здесь — это маловероятность относительно случайного выбора из пространства вариантов дизайна, а не маловероятность в абсолютном смысле: если у вас есть работающий процесс оптимизации, то «невероятно» хорошие конструкции становятся вероятными.

Взирая на историю оптимизации на Земле вплоть до сегодняшнего дня, первым шагом будет концептуальное разделение метауровня и объектного уровня — отделение структуры оптимизации от того, что оптимизируется.

Если рассматривать биологию в отсутствие гоминидов, то на объектном уровне мы имеем таких существ, как динозавры, бабочки и кошки. На метауровне мы имеем такие процессы, как половая рекомбинация и естественный отбор бесполых популяций. Объектный уровень, как вы можете заметить, гораздо сложнее метауровня. Естественный отбор — не простая тема, и в ней задействована математика. Но если вы посмотрите на анатомию кошки целиком, то увидите, что динамика кошки неизмеримо сложнее, чем «мутируй, рекомбинируй, размножайся».

И это неудивительно. Естественный отбор — это случайный процесс оптимизации, который, по сути, просто начался в один прекрасный день в какой-то приливной луже. Кошка же — это результат миллионов и миллиардов лет эволюции.

У кошек, конечно, есть мозг, который обучается в течение жизни; но в конце жизни кошки эта информация выбрасывается, поэтому она не накапливается. Поэтому кумулятивное влияние кошачьих мозгов на мир в качестве оптимизаторов относительно невелико.

Или возьмем мозг пчелы или бобра. Пчела строит ульи, а бобр строит плотины; но они не додумались до того, как строить их с нуля. Бобр не может сообразить, как построить улей, а пчела не может сообразить, как построить плотину.

Таким образом, мозги животных — вплоть до недавнего времени — не были главными действующими лицами в планетарной игре в оптимизацию; они были всего лишь фигурами, но не игроками. По сравнению с эволюцией, мозгу не хватало как универсальности оптимизационной силы (он не мог производить то удивительное разнообразие артефактов, которое создавала эволюция), так и кумулятивной оптимизационной силы (его продукты не накапливали сложность со временем). Подробнее об этом см. в эссе «Белковое подкрепление и ДНК-консеквенциализм».

Совсем недавно мозг некоторых животных начал демонстрировать как универсальность оптимизационной силы (производя поразительно широкий спектр артефактов в масштабах времени, слишком коротких для того, чтобы естественный отбор мог сыграть хоть какую-то значимую роль), так и кумулятивную оптимизационную силу (создавая артефакты возрастающей сложности в результате передачи навыков через язык и письменность).

У естественного отбора уходят сотни поколений на любые изменения и миллионы лет на создание сложных конструкций с нуля. Человеческие же программисты могут спроектировать сложную машину из сотни взаимосвязанных элементов за один день. И это неудивительно, ведь естественный отбор — это случайный процесс оптимизации, который, по сути, просто однажды начался сам собой, в то время как люди — это оптимизированные оптимизаторы, кропотливо созданные естественным отбором на протяжении миллионов лет.

Чудо эволюции не в том, насколько хорошо она работает, а в том, что она вообще работает без всякой предварительной оптимизации. Именно так оптимизация сама себя запустила во Вселенной — начав, как и следовало ожидать, с крайне неэффективного случайного процесса оптимизации. Которым, заметьте, был вовсе не случайный первый репликатор, а случайный первый процесс естественного отбора. Различайте объектный уровень и метауровень!

С самого зарождения оптимизации во Вселенной между естественным отбором и человеческим разумом сохранялось определенное структурное сходство...

Естественный отбор действует на уровне генов, но, вообще говоря, гены не разворачиваются обратно, чтобы оптимизировать сам естественный отбор. Изобретение половой рекомбинации является исключением из этого правила, как и появление клеток и ДНК. И вы можете оценить как силу, так и редкость подобных событий по тому факту, что эволюционные биологи выстраивают вокруг них целые истории жизни на Земле.

Но если сделать шаг назад и посмотреть с человеческой точки зрения — если подумать как программист, — то можно увидеть, что естественный отбор всё же устроен не так уж сложно. Попробуем связать разные гены вместе? Попробуем отделить хранение информации от движущихся механизмов? Попробуем случайным образом рекомбинировать группы генов? В абсолютном масштабе это те самые блестящие идеи, которые приходят в голову любому толковому хакеру в первые десять минут размышлений над архитектурой системы.

Поскольку естественный отбор изначально был настолько неэффективным (будучи совершенно случайным процессом), эта крошечная горстка улучшений на метауровне, полученная в виде обратной связи от репликаторов — и близко не сравнимая по сложности со структурой кошки, — структурирует эволюционные эпохи жизни на Земле.

И после всего этого естественный отбор всё ещё остаётся слепым безумным богом. Генофонды могут эволюционировать к вымиранию, несмотря на все клетки и секс.

Конечно, естественный отбор подпитывает сам себя в том смысле, что каждая новая адаптация открывает новые пути для дальнейшей адаптации; но это происходит на объектном уровне. Генофонд подпитывается собственной сложностью — но лишь благодаря защищённому интерпретатору естественного отбора, который работает на заднем плане и который сам не переписывается и не меняется в ходе эволюции видов.

Точно так же люди изобретают науки и технологии, но мы ещё не начали переписывать саму защищённую структуру человеческого мозга. У нас есть префронтальная кора, височная кора и мозжечок — точно так же, как и у первых изобретателей сельского хозяйства. Мы ещё не занялись генной инженерией самих себя. На объектном уровне наука подпитывает науку, и каждое новое открытие прокладывает путь для следующих открытий — но всё это происходит благодаря защищённому интерпретатору, человеческому мозгу, который работает нетронутым на заднем плане.

У нас есть изобретения метауровня, такие как наука, которые пытаются научить людей тому, как думать. Но первый человек, открывший теорему Байеса, не стал байесианцем; он не мог переписать себя, не обладая ни этими знаниями, ни этой силой. Наши важнейшие инновации в искусстве мышления, такие как письменность и наука, настолько могущественны, что структурируют ход человеческой истории; но они не могут соперничать по сложности с самим мозгом, и их влияние на мозг сравнительно поверхностно.

Текущий уровень развития в обучении рациональности недостаточно высок для того, чтобы превратить случайно выбранного смертного в Альберта Эйнштейна, что наглядно демонстрирует силу нескольких незначительных генетических особенностей в устройстве мозга по сравнению со всеми книгами по саморазвитию, когда-либо написанными в двадцатом веке.

Поскольку мозг невидимо трудится на заднем плане, люди склонны упускать из виду его вклад и принимать его как должное; они рассуждают так, словно простая инструкция «Проверяйте идеи экспериментом» или правило статистической значимости p < 0.05 вносят вклад того же порядка, что и весь человеческий мозг. Попробуйте сказать шимпанзе, чтобы они проверяли свои идеи экспериментом, и посмотрите, как далеко вы продвинетесь.

И теперь... некоторые из нас хотят разумно спроектировать интеллект, который был бы способен разумно перепроектировать самого себя, вплоть до уровня машинного кода.

Машинный код на первых порах, а позже законы физики были бы своего рода защищённым уровнем. Но этот «защищённый уровень» не содержал бы динамику оптимизации; защищённые уровни не структурировали бы работу. Человеческий мозг сам по себе проводит немало оптимизаций и сам по себе ошибается, что бы вы ни пытались втолковать ему в школе. Но у этого полностью замкнутого рекурсивного оптимизатора не было бы защищённого уровня, который занимался бы оптимизацией. Вся структура оптимизации сама подвергалась бы оптимизации.

И это колоссальный сдвиг, который полностью порывает со всем прошлым со времён первого репликатора, поскольку он ломает идиому защищённого метауровня.

История Земли до сих пор была историей оптимизаторов, крутящих свои колёса с постоянной скоростью и создающих постоянное давление оптимизации. И создающих оптимизированные продукты не с постоянной, а с ускоряющейся скоростью — из-за того, как инновации объектного уровня открывают путь для других инноваций объектного уровня. Но это ускорение происходит при наличии защищённого метауровня, который и выполняет реальную оптимизацию. Это похоже на поиск, прыгающий с острова на остров в пространстве поиска, где хорошие острова обычно соседствуют с ещё лучшими, но сам прыгун не меняет ног. Время от времени нескольким крошечным изменениям удаётся пробиться обратно на метауровень — как в случае с сексом или наукой, — и тогда история оптимизации вступает в новую эпоху, и с этого момента всё движется быстрее.

Представьте себе экономику без инвестиций, университет без языка или технологию без инструментов для создания инструментов. Раз в сто миллионов лет или раз в несколько веков кто-то изобретает молоток.

Вот как до сих пор выглядела оптимизация на Земле.

Когда я смотрю на историю Земли, я не вижу историю оптимизации во времени. Я вижу историю, где на входе — сила оптимизации, а на выходе — оптимизированные продукты. До сих пор благодаря существованию почти полностью защищённых метауровней было возможно делить историю оптимизации на эпохи и внутри каждой эпохи строить график совокупной оптимизации объектного уровня во времени, поскольку защищённый уровень работает на заднем плане и сам по себе не меняется внутри эпохи.

Что произойдёт, когда вы создадите полностью замкнутый, рекурсивно самосовершенствующийся ИИ? Тогда вы возьмёте график «сила оптимизации на входе, оптимизированный продукт на выходе» и свернёте этот график сам на себя. Выражаясь метафорически.

Если ИИ слаб, он ничего не делает, потому что он недостаточно силён, чтобы существенно улучшить себя — это всё равно что предложить шимпанзе переписать собственный мозг.

Если же ИИ достаточно силён, чтобы переписать себя таким образом, который увеличит его способность вносить дальнейшие улучшения, и это распространится вплоть до полного понимания ИИ своего собственного исходного кода и своей собственной архитектуры как оптимизатора... тогда, даже если график «сила оптимизации на входе / оптимизированный продукт на выходе» будет выглядеть практически так же, график оптимизации во времени станет выглядеть совершенно иначе, чем вся история Земли до сих пор.

Люди часто говорят что-то вроде: «Но что если для получения лишь линейного улучшения потребуются экспоненциально большие объёмы самоперезаписи?» На это есть очевидный ответ: «Естественный отбор прикладывал примерно постоянную силу оптимизации к линии гоминид в процессе «выплёвывания» людей, и, похоже, это не потребовало экспоненциально большего времени для каждого линейного прироста улучшений».

Всё это — пока лишь рассуждения по аналогии. Полноценный сильный искусственный интеллект, размышляющий о природе оптимизации, проводящий собственные исследования в области ИИ и переписывающий собственный исходный код, на самом деле не похож на свернувшийся сам на себя график истории Земли. Это совершенно другой зверь. Эти аналогии в лучшем случае годятся для качественных прогнозов, да и то у меня есть масса других убеждений, которые я ещё не объяснил и которые подсказывают мне, какие именно аналогии следует проводить, и так далее.

Но если вы хотите знать, почему я столь неохотно экстраполирую график биологического и экономического роста во времени в будущее, за горизонт ИИ, который мыслит на транзисторных скоростях, изобретает самовоспроизводящиеся молекулярные нанофабрики и улучшает собственный исходный код, то вот в чём причина: вы рисуете не тот график. Это должен быть график «сила оптимизации на входе / оптимизированный продукт на выходе», а не «оптимизированный продукт / время».

*