Представьте себе, – хотя, конечно, ничего подобного никогда не происходило, ибо это всего лишь притча, – что биологическая жизнь на Земле стала результатом игры богов. Что был бог-тигр, создавший тигров, бог-секвойя, создавший секвойи, и боги разных видов рыб и бактерий. Вообразите, что боги-игроки соперничали друг с другом, добиваясь доминирования своих видов, пока эти формы жизни пресмыкались внизу.

Представьте, что примерно два миллиона лет назад некий непримечательный бог-гоминид окинул взглядом огромное – во всю планету – игровое поле.

– Мне понадобится еще несколько ходов, – сказал он, – но, думаю, результат игры предрешен.

Воцарилось недоуменное молчание: боги в замешательстве разглядывали игровое поле, пытаясь понять, что они упустили.

Бог-скорпион спросил:

– Как это? У твоих гоминидов нет ни брони, ни когтей, ни яда.

– У них есть мозг, – ответил бог-гоминид.

– Я нашлю на них болезнь, и они умрут, – фыркнул бог-оспа¹.

– Это ненадолго, – парировал бог-гоминид. – Тебе быстро придет конец, Оспа, – как только их мозг научится с тобой бороться.

– У них даже не самый большой мозг! – воскликнул бог-кит.

– Дело не только в размере, – пояснил бог-гоминид. – Важна еще и конструкция их мозга. Дайте им два миллиона лет, и они ступят на луну своей планеты.

– Что-то я не вижу, где в метаболизме этого существа производится ракетное топливо, – сказал бог-секвойя. – Нельзя силой мысли выйти на орбиту. В какой-то момент твоему виду нужно развить метаболизм, который будет очищать ракетное топливо. Самим организмам придется стать довольно крупными, в идеале – высокими и узкими, с твердой внешней оболочкой, чтобы не раздуться и не умереть в космическом вакууме. Как бы усердно ни умел думать твой вид, он останется прикованным к земле, просто усердно думающим.

– Некоторые из нас играют в эту игру уже миллиарды лет, – вступил в разговор бог-бактерия, покосившись на бога-гоминида. – И до сих пор мозг не давал такие уж большие преимущества.

– И тем не менее, – ответствовал бог-гоминид.

А вот как на самом деле развивалась история нашего вида. Люди обзавелись мозгом – необычайно большим для животного такого размера. Они укротили огонь, занялись сельским хозяйством и научились плавить железо. Через поразительно короткое по меркам биологической эволюции время люди высадились на Луну, хотя наш метаболизм не умеет очищать ракетное топливо, а наша кожа не приспособлена к космическому вакууму.

Другие виды на Земле рождаются со специализированными навыками: пчелы строят ульи, бобры возводят плотины. Человек смотрит на плотину бобра и выясняет, как она устроена. Мы освоили строительство плотин, хотя эти знания не были заложены в наших генах. Теперь мы перекрываем реки плотинами, как бобры, строим себе дома, как пчелы, плетем сети из нитей, как пауки. Кроме того, мы создаем электростанции и космические ракеты, чего не делает ни один другой вид.

Люди умеют делать то, чего никогда не делали их предки и чего не могут делать другие животные, благодаря качеству, которое иногда называют “интеллектом”. Бóльшая часть наших способностей не запрограммирована в наших генах – просто мы наблюдали, пробовали, запоминали, обобщали и в итоге добивались результата.

Способность к обучению присуща не только людям. Мозг мыши может научиться ориентироваться в лабиринте. Но мы способны делать больше и на более высоком уровне. Можем изучать химические процессы и находить более дешевые удобрения. Можем ставить сложные эксперименты, постигать законы физики и изобретать спутники. Можем даже сажать мышей в лабиринты и изучать, как они обучаются.

Человеческий мозг способен прокладывать более разнообразные пути через более широкий срез реальности, нежели мозг любого другого животного. В этом и заключается наша особая сила.

Как работает эта особая сила? Что именно она делает и каким образом?

На наш взгляд[5], интеллект сводится к двум фундаментальным типам работы: по прогнозированию мира и по управлению им.

“Прогнозирование” – это угадывание того, что вы увидите (или что услышите, или к чему прикоснетесь), еще до самого момента восприятия. По дороге в аэропорт ваш мозг успешно справляется с задачей прогнозирования всякий раз, когда вы предугадываете, что сигнал светофора станет желтым или что водитель впереди нажмет на тормоз.

“Управление” – это поиск действий, которые приводят вас к определенному выбранному результату. По дороге в аэропорт ваш мозг успешно справляется с задачей управления, когда находит последовательность уличных поворотов, ведущую в аэропорт, и правильные нервные сигналы для сокращения мышц, чтобы вы поворачивали руль.

Большинство последовательностей нервных импульсов, которые ваш мозг может послать к пальцам, не приведут к правильному повороту руля. Подавляющее большинство возможных последовательностей нервных импульсов вызовет беспорядочные судорожные движения – со стороны это будет выглядеть припадком. И тем не менее ваш мозг регулярно умудряется подбирать именно те конфигурации нервных импульсов, которые управляют автомобилем или удерживают вас в вертикальном положении, за счет того, что выуживает правильные варианты из бесчисленного множества неправильных. По дороге в аэропорт ваш мозг не просто вычисляет конкретную последовательность поворотов, ведущую к месту назначения, – он выбирает одну комбинацию нервных импульсов из несметного количества возможных, чтобы ваши мышцы сокращались именно так, как нужно для правильных поворотов руля.

Прогнозирование и управление тесно переплетены. Управление автомобилем на пути в аэропорт может включать прогнозирование того, какие маршруты ведут к нужной улице[6]. А чтобы спрогнозировать, какие маршруты ведут к нужной улице, возможно, потребуется управление пальцами – посмотреть карту на телефоне.

И все же между прогнозированием и управлением есть фундаментальная разница, и она, как выяснится ниже, имеет огромное значение. Успех в прогнозировании легко определить. Если человек ожидает увидеть впереди улицу перед аэропортом, а вместо этого видит какую-то другую, его прогноз был неверным.

А вот чтобы судить об успешности управления, необходимо иметь представление, куда этот человек планировал попасть.

Машина водителя оказалась у супермаркета. Отличная новость, если он хотел купить продукты. Но неудача, если он пытался добраться до отделения неотложной помощи в больнице.

По мере того как два жителя одного города становятся умнее, можно ожидать, что они будут все чаще сходиться в вопросах прогнозирования: например, в вопросе о том, наблюдаются ли обычно пробки на главной улице в пять часов вечера по будням. Однако нет оснований ожидать, что они направятся в одни и те же места: один может предпочесть пойти в парк, а другой – в театр.

Иными словами, разумные существа могут направляться к разным целям, и это не свидетельствует о недостатке их интеллекта.

Прогнозирование и управление присущи не только биологическому разуму, на это способны и машины. Однако на данный момент люди все еще остаются лучшими на планете в…

А в чем именно? Мы проигрываем машине в шахматы. Не только мы пользуемся языком. Не только мы способны читать медицинскую карту или диагностировать опухоль.

Люди по-прежнему чемпионы в чем-то более глубоком, хотя описать эту особенность теперь сложнее, чем когда-либо раньше.

У людей, как нам кажется, по-прежнему сохраняется преимущество в том, что можно назвать “универсальностью”. Что это означает? Мы бы сказали так: интеллект тем универсальнее, чем шире тот спектр областей, где он способен прогнозировать и управлять. Люди не обязательно лучшие во всем – пожалуй, мозгу осьминога лучше дается управление восемью щупальцами. Но в более широком смысле очевидно, что люди – более универсальные мыслители, нежели осьминоги. У нас больше областей, где мы можем успешно прогнозировать и управлять.

Некоторые модели ИИ уже умнее человека в определенных сферах. В 1997 году суперкомпьютер Deep Blue, созданный компанией IBM, впервые обыграл чемпиона мира по шахматам. Deep Blue был весьма искусен в прогнозировании и управлении, когда дело касалось шахмат. Но он не сумел бы спрогнозировать, как попасть в продуктовый магазин и купить молоко, не говоря уже о том, чтобы добраться туда на автомобиле. Человеческий разум может быть более или менее сведущим в различных областях прогнозирования и управления.

Современные модели ИИ гораздо более универсальны в своих способностях. Вы можете спросить модель OpenAI под названием “o1”, какой окажется температура Земли, если излучение Солнца сместится в инфракрасный диапазон, и она найдет ответ, проведя физические расчеты. Затем вы можете спросить, сумеет ли человечество выращивать пищу в этом новом мире, и она ответит, опираясь на свои знания по биологии растений. Модель o1 не переключается “под капотом” между двумя разными базами данных, она просто знает и физику, и биологию.

Модель o1 знает, что снаружи существует целый мир, и способна рассуждать о нем. Компьютер Deep Blue об этом понятия не имел. На то, чтобы искусственный интеллект достиг такого уровня, ушли десятилетия.

И все же способность o1 к общим рассуждениям в каком-то смысле не дотягивает до человеческих стандартов. Люди по-прежнему на высоте, когда речь идет о технологиях и науке; серьезные прорывы совершают исследователи-люди, а не ИИ-модели (пока). Более того, по-прежнему кажется – по крайней мере, авторам этой книги, – что модель o1 по уровню разумности уступает даже тем людям, которые не совершают великих научных открытий. Все труднее четко сформулировать, чего же именно ей не хватает, но все же нас не покидает ощущение, что o1 в каком-то важном смысле “поверхностна” по сравнению с двенадцатилетним ребенком[7], пусть даже она знает и помнит больше, чем любой человек.

Но так будет не всегда. Трудно предсказать, как быстро будет развиваться ИИ и по какому именно пути он пойдет, однако конечный результат предсказать легко, поскольку технологически машины обладают массой преимуществ перед биологическим мозгом. Вот некоторые из них.

Колоссальная скорость. Транзисторы (базовые кирпичики всех компьютеров) могут включаться и выключаться миллиарды раз в секунду, тогда как даже очень быстрые нейроны срабатывают всего сто раз за секунду. Это означает, что, даже если бы для выполнения работы одного нейронного импульса требовалась тысяча операций транзисторов и даже если бы искусственный интеллект был ограничен современным аппаратным обеспечением, мышление человеческого уровня можно было бы смоделировать на машине в десять тысяч раз более быстрым, не говоря уже о том, как мог бы работать ИИ с усовершенствованными алгоритмами и улучшенным оборудованием. Разуму, прогнозирующему и управляющему миром как минимум в десять тысяч раз быстрее любого человека, люди покажутся не более чем статуями, настолько медлительными, что произносят по слову в час².

Возможность копирования. В современном мире требуется двадцать лет, а то и больше, чтобы вырастить одного нового человека и передать ему крохотную долю всех человеческих знаний. Но все равно мы не можем в полном объеме передавать успешные навыки мышления от одного человеческого разума другому – гений Альберта Эйнштейна умер вместе с ним. Искусственный интеллект в итоге будет существовать в ином мире, где гениальность можно будет воспроизводить по требованию.

Более быстрое совершенствование. Увеличение размера человеческого мозга сталкивается с естественным ограничением: большие головы младенцев не могут пройти через женский таз³. Совершенствование графических процессоров (специализированных компьютерных чипов, обеспечивающих высокую эффективность современных ИИ-моделей) и работающих на них алгоритмов происходит намного, намного, намного быстрее, чем человеческий вид способен эволюционировать в сторону расширения таза.

Больший объем памяти. Человеческий мозг насчитывает около ста миллиардов нейронов и ста триллионов синапсов (мест контакта между нейронами). По объему хранилища это превосходит большинство ноутбуков. Однако на момент написания этой книги дата-центр может хранить четыреста квадриллионов байт, доступных с задержкой не более пяти миллисекунд, что в тысячу с лишним раз превышает объем памяти человеческого мозга. Кроме того, современные модели ИИ обучаются на значительной части всей совокупности человеческих знаний и удерживают в памяти существенную их долю – такое достижение не под силу ни одному человеку.

Мышление более высокого качества. Когда дело касается мышления, качество бьет количество. Человек-шахматист обыграет любое число обученных обезьян, играющих совместно. Однако человеческий мозг – это вовсе не вершина качества мышления. Существует множество документально засвидетельствованных случаев, когда человеческий разум попадает в ловушки систематических ошибок. (Например, предвзятость подтверждения: склонность искать аргументы против тезисов, которые вам не нравятся, а не против тех, что нравятся. Представьте себе модель ИИ, лишенную этого недостатка.) И хотя в нашем мозгу сто миллиардов нейронов, большинство людей с трудом перемножают в уме трехзначные числа, а это значит, что мы используем свои нейроны совсем не так эффективно, как могли бы. Как человеческие нейроны вряд ли представляют собой предел возможной скорости вычислений, так и человеческие модели мышления вряд ли представляют собой предельные возможности интеллектуальных алгоритмов.

Возможность экспериментировать над собой и переписывать себя. Модели ИИ смогут создавать копии самих себя, проводить над ними эксперименты и (при необходимости) восстанавливать оригиналы из резервных копий. Им гораздо проще подключить к себе новые вычислительные модули, нежели людям – подключить компьютеры к биологическим нейронам. ИИ-модели смогут конструировать немного отличающиеся версии самих себя, чтобы проверять, какие варианты будут работать лучше. ИИ сможет совершенствоваться гораздо быстрее, чем люди.

Разумы, мыслящие со сверхчеловеческим качеством и со скоростью, в десять тысяч раз превышающей нашу, не стареющие и не умирающие, создающие копии своих самых успешных вариантов, отточенные миллиардами испытаний до нечеловеческих способов мышления, работающие без устали, умеющие обобщать точнее на основании меньшего количества данных и способные направить всю эту мощь интеллекта на анализ, понимание и в конечном счете на самосовершенствование, – такие разумы превзошли бы наши.

Гипотетический машинный интеллект, которому удастся превзойти человеческие возможности во всех практически важных областях нашей деятельности, называли по-разному. Мы будем использовать термин “сверхинтеллект” (superintelligence), подразумевая разум, который намного способнее человеческого в решении почти любого типа задач управления и прогнозирования, по крайней мере тех задач, где возможно существенное улучшение по сравнению с человеческими показателями[8].

Известные нам законы физики теоретически позволяют машинам обогнать биологический мозг в прогнозировании и управлении. На практике искусственный интеллект еще не достиг этого уровня, но сколько времени пройдет, прежде чем он реализует все перечисленные нами преимущества?

Мы не знаем. Пути предсказать труднее, нежели конечные точки. Но ИИ-модели не останутся глупыми навсегда.

В 2021 году мировая общественность увидела результаты прорыва в алгоритмах, лежащих в основе того, что сейчас называют “генеративным”, или “порождающим”, искусством. У тех первых ИИ-моделей имелись свои ограничения: им плохо удавались пальцы, и люди получались с невозможными, жуткими руками. Некоторые поспешили заявить: “Посмотрите, как плохо ИИ рисует! Иллюстраторам нечего бояться за свои рабочие места”. Другие же подумали: “Но ведь пять лет назад ИИ-модели не могли рисовать даже так. Что же будет, если они станут лучше?” И они стали лучше.

Сегодняшние ИИ-модели отлично рисуют руки. Те корявые пальцы, созданные их ранними итерациями, стали худшим, что выдавало порождающее искусство.

Если смотреть на современные модели под правильным углом, можно увидеть поверхностность их интеллекта… и то, что более поверхностным ИИ уже никогда не будет.

Кроме того, путь к катастрофе может оказаться короче и быстрее, нежели путь прямой разработки сверхинтеллекта людьми. Ведь этот путь может проходить через модель ИИ, которая достаточно умна, чтобы внести существенный вклад в создание еще более умной версии.

В таком сценарии можно и, по сути, нужно ожидать запуска цикла положительной обратной связи, называемого “интеллектуальным взрывом”: модель ИИ создает более умную модель, которая придумывает, как создать еще более умную модель, и так далее.

Такой лавинообразный процесс со временем столкнется с физическими ограничениями и затухнет, но это не значит, что затухнет он быстро. Сверхновая звезда не станет бесконечно горячей, но ее температуры хватит, чтобы испарить все планеты поблизости. Более скромный процесс развития человеческого интеллекта – от земледелия к письменности и науке – проходил так быстро, что люди уже ступили на Луну, когда ни один другой вид еще не овладел огнем.

Мы не знаем, где находится порог самой глупой ИИ-модели, способной создать ИИ-модель, которая создаст ту ИИ-модель, что создаст сверхинтеллект. Возможно, она должна быть умнее человека, а возможно, хватит и кучи глупых моделей, работающих длительное время. В конце 2024 – начале 2025 года руководители ИИ-компаний заявили, что планируют создать “сверхинтеллект в истинном смысле этого слова”⁴ и рассчитывают вскоре получить модели ИИ, равноценные “целой стране гениев в дата-центре”⁵. Разумеется, к словам корпоративных боссов следует относиться с долей скептицизма. Но тем не менее они не видят здесь риска, которого следует избегать, они уверенно идут к цели. Попытки уже предпринимаются.

ИИ-компании по умолчанию продолжат раздвигать границы. Жажда прибыли подталкивает их к созданию все более развитого разума, и этот процесс не остановится на уровне человеческого интеллекта. Если человечество продолжит двигаться по этому пути, интеллекты, создаваемые такими компаниями, в конечном итоге превзойдут нас. Возможно, это случится даже раньше, чем позволяют предположить текущие темпы прогресса, – как только ИИ сам начнет заниматься исследованиями в области искусственного интеллекта.

Что произойдет, если на Земле появятся машинные интеллекты, не уступающие по глубине и универсальности отдельным людям (или даже человечеству в целом) и при этом превосходящие нас почти во всех областях?

Человеческий интеллект – источник всей нашей силы, всех наших технологий. Даже внутри человеческого вида небольшие различия во времени, которое та или иная группа тратит на накопление технологического мастерства, оборачиваются военными преимуществами уровня “У нас есть ружья, а у них – нет”. Межвидовое неравенство в силе, обусловленное интеллектом, еще разительнее: отдельные шимпанзе иногда убивают отдельных людей, однако наш вид пытается защитить их вид от случайного вымирания.

До сих пор у человечества не было равных по этой особой силе, она делала нас уникальными. Но что, если машинный разум превзойдет нас в этом?

IfAnyoneBuildsIt.com/1