ПРЕДСТАВЬТЕ СЕБЕ — хотя ничего подобного, конечно, никогда не происходило, ведь это всего лишь притча, — что биологическая жизнь на Земле возникла в результате игры богов. Что существовал бог тигров, создавший тигров, и бог секвой, создавший секвойи. Представьте, что были свои боги у каждого вида рыб и каждого вида бактерий. Представьте, что эти игроки состязались за власть над миром для тех семейств видов, которым покровительствовали, пока внизу, на планете, плодились и множились различные формы жизни.

Представьте, как примерно за два миллиона лет до наших дней неприметный бог обезьян окинул взглядом их огромную, размером с планету, игровую доску.

— Мне понадобится ещё несколько ходов, — сказал бог гоминид, — но, кажется, победа у меня в кармане.

Повисло недоуменное молчание: множество богов склонилось над игровой доской, пытаясь понять, что же они упустили. Бог скорпионов спросил: «Как? У твоего семейства „гоминид“ нет ни панциря, ни когтей, ни яда».

— Их мозг, — ответил бог гоминид.

— Я заражу их, и они умрут, — заявил бог оспы.

— Это пока, — возразил бог гоминид. — Твой конец наступит быстро, Оспа, стоит их мозгу научиться с тобой бороться.

— Но у них даже близко не самый большой мозг! — подал голос бог китов.

— Дело не только в размере, — сказал бог гоминид. — Устройство их мозга тоже играет здесь роль. Пройдёт два миллиона лет, и они будут расхаживать по луне своей планеты.

— Я и вправду не вижу, в каком месте метаболизма этого существа вырабатывается ракетное топливо, — заметил бог секвой. — Нельзя выйти на орбиту, просто думая. В какой-то момент твоему виду придется развить метаболизм, очищающий ракетное топливо — а также стать довольно крупным, в идеале высоким и узким — с твердым внешним панцирем, чтобы его не раздуло и он не погиб в вакууме космоса. Сколько бы твоя обезьяна ни думала, она так и останется сидеть на земле, думая изо всех сил.

— Кое-кто из нас играет в эту игру уже миллиарды лет, — косо взглянув на бога гоминид, заметил бог бактерий. — До сих пор мозги не давали такого уж большого преимущества.

— И тем не менее, — сказал бог гоминид.

А ВОТ КАК ИСТОРИЯ НАШЕГО ВИДА СЛОЖИЛАСЬ НА САМОМ ДЕЛЕ: люди обзавелись мозгом, необычайно крупным для животных их размера. Они приручили огонь, построили фермы и научились выплавлять железо. А спустя поразительно короткое по меркам биологической эволюции время люди уже высаживались на Луну — хотя наш метаболизм не умеет очищать ракетное топливо, а наша кожа не способна выдерживать вакуум.

Другие виды на Земле рождаются со специализированными навыками: пчелы строят ульи, бобры строят плотины. Человек же смотрит на плотину бобра и понимает, как она устроена; мы научились строить плотины, и для этого нам не понадобились вшитые в гены знания. Теперь мы, подобно бобрам, перегораживаем реки; подобно пчелам, строим себе дома; подобно паукам, плетем сети из нитей. А еще мы строим электростанции и космические ракеты — то, чего не строит вообще ни один другой вид.

Люди способны делать то, чего никогда не делали наши предки и на которые не способны другие животные, благодаря качеству, которое иногда называют «интеллектом». Наши гены не встраивали в нас большинство наших умений — вместо этого мы наблюдали, пробовали, запоминали, обобщали и в итоге добивались своего.

Способность учиться присуща не только людям. Мозг мыши может научиться ориентироваться в лабиринте. Но мы способны на гораздо более мощную версию того, что делает мышиный мозг. Мы можем прокладывать пути в химии и находить дорогу к более дешёвым удобрениям. Мы можем ставить сложнейшие эксперименты, постигать физику и изобретать спутники. Мы можем даже сажать мышей в лабиринты и изучать, как учатся они.

Человеческий мозг способен учиться прокладывать более разнообразные пути через гораздо больший срез реальности, чем любое другое животное. Это и есть наша особая сила.

Как работает эта особая сила? Что именно она делает и каким образом?

На наш взгляд, ^{интеллект} заключается в двух фундаментальных видах работы: работе по предсказанию мира и работе по управлению им.

«Предсказание» — это угадывание того, что вы увидите (услышите или почувствуете), еще до того, как органы чувств воспримут это. Если вы едете в аэропорт, ваш мозг успешно справляется с задачей предсказания каждый раз, когда вы предвидите, что светофор переключится на желтый или что водитель впереди нажмет на тормоз.

«Управление» — это поиск действий, ведущих к выбранному результату. Когда вы едете в аэропорт, ваш мозг успешно справляется с управлением, когда находит такую схему поворотов, при которой вы в итоге оказываетесь в аэропорту, или подбирает нужные нервные сигналы для сокращения мышц, заставляющие вас поворачивать руль.

Большинство возможных комбинаций нервных импульсов, которые ваш мозг мог бы послать к пальцам, не позволили бы правильно повернуть руль. Подавляющее большинство таких комбинаций привело бы к диким спазмам и подергиваниям — со стороны казалось бы, что у вас судорожный припадок. Тем не менее каждый день вашему мозгу удается находить именно те нервные импульсы, которые управляют машиной или удерживают вас в вертикальном положении, выуживая верные варианты из бесчисленного множества неверных. Когда вы едете в аэропорт, ваш мозг не просто просчитывает точную последовательность поворотов, ведущих к цели, — он выбирает один из квинтиллиона шаблонов нервных импульсов, сокращающих мышцы именно так, как нужно для поворота руля.

Предсказание и управление тесно переплетены. Управление автомобилем по пути в аэропорт может требовать предсказания того, какие улицы ведут к Аэропортовому бульвару. А предсказание того, какие улицы ведут к Аэропортовому бульвару, может требовать управления пальцами для работы с картой в телефоне.

И всё же мы бы сказали, что между предсказанием и управлением есть принципиальная разница — разница, которая впоследствии окажется чрезвычайно важной.

Успех в предсказании легко измерить. Если кто-то ожидает увидеть впереди Аэропортовый бульвар, а видит Вторую улицу, значит, его предсказание было неверным.

Напротив, чтобы оценить, насколько успешно было управление, нам необходимо ввести представление о том, куда именно человек пытался попасть.

То, что машина человека оказалась у супермаркета, — отличная новость, если он пытался купить продукты. И это полный провал, если он пытался доехать до отделения неотложной помощи в больнице.

По мере того как два жителя одного города становятся умнее, логично ожидать, что они будут всё больше соглашаться друг с другом в вопросах предсказания — например, бывает ли обычно пробка на Второй улице в пять вечера по будням. Но вряд ли стоит ожидать, что они станут стремиться в одни и те же места: один человек может предпочесть пойти в парк, а другой — в театр.

Или, выражаясь иначе, разумные умы могут стремиться к совершенно разным конечным целям, и это вовсе не указывает на какой-то изъян в их интеллекте.

Предсказание и управление — это функции, присущие не только биологическому разуму; машины тоже на это способны. Но на сегодняшний день люди всё ещё остаются лучшими на планете в…

В чём именно? Люди больше не чемпионы мира по шахматам. Люди больше не единственные существа на планете, пользующиеся языком. Люди больше не уникальны в своей способности читать медицинские карты или диагностировать опухоли.

Люди всё ещё остаются чемпионами в чём-то более глубоком — но это особенное «что-то» теперь описать сложнее, чем когда-то.

Нам кажется, что у людей всё ещё есть преимущество в чём-то, что мы могли бы назвать «универсальностью». Что именно под этим подразумевается? Мы бы сказали так: интеллект более универсален, когда он способен предсказывать и управлять в более широком спектре областей. Люди не обязательно лучшие во всём; возможно, мозг осьминога лучше справляется с управлением восемью щупальцами. Но в некотором более широком смысле очевидно, что люди — более универсальные мыслители, чем осьминоги. У нас шире те сферы, в которых мы можем успешно предсказывать и управлять.

Некоторые ИИ умнее нас в узких областях. В 1997 году суперкомпьютер Deep Blue от IBM стал первой машиной, обыгравшей чемпиона мира по шахматам среди людей. Deep Blue отлично справлялся с предсказанием и управлением, когда дело касалось шахмат. Но Deep Blue не мог предсказать, как добраться до продуктового магазина и купить молока, не говоря уже о том, чтобы направить туда автомобиль. Разум может быть более или менее искусен в различных областях предсказания и управления.

Новейшие ИИ обладают гораздо более универсальными способностями. Вы можете спросить модель от OpenAI под названием «o1», какая температура установилась бы на Земле, если бы солнечный свет стал инфракрасным, и o1 найдёт ответ, произведя физические расчёты. Затем вы можете спросить, сможет ли человечество выращивать пищу в этом новом мире, и o1 ответит, исходя из своих знаний по биологии растений. Под капотом она не переключается между двумя разными базами данных; она просто знает и физику, и биологию.

o1 от OpenAI знает, что существует целый внешний мир, и способна рассуждать о нём. Deep Blue не имел об этом ни малейшего представления. Потребовались десятилетия, чтобы ИИ продвинулся так далеко.

И всё же в некотором смысле способности o1 к универсальному рассуждению не дотягивают до человеческих стандартов. Люди всё ещё впереди, когда речь заходит о технологиях и науке; крупные прорывы совершаются людьми-исследователями, а не ИИ (пока ещё). Более того, по крайней мере двум авторам этой книги до сих пор кажется, что o1 уступает в интеллекте даже тем людям, которые не совершают крупных научных прорывов. Точно определить, чего именно ей не хватает, становится всё труднее, но у нас тем не менее остаётся ощущение, что, хотя o1 знает и помнит больше, чем любой отдельный человек, она всё же в каком-то важном смысле «поверхностна» по сравнению с двенадцатилетним ребёнком.

Так будет не всегда. Трудно предсказать, насколько быстро будет развиваться ИИ и по какому пути он пойдёт, но конечную точку определить легко, ведь на технологических пределах у машин есть множество преимуществ перед биологическим мозгом. Вот лишь некоторые из них:

Чистая скорость. Транзисторы, базовые строительные блоки всех компьютеров, могут включаться и выключаться миллиарды раз в секунду; в то время как необычайно быстрые нейроны, напротив, срабатывают всего сто раз в секунду. Даже если бы для имитации одного нейронного импульса требовалось 1000 операций транзистора, и даже если бы искусственный интеллект был ограничен современным аппаратным обеспечением, это означает, что мышление человеческого уровня можно было бы эмулировать на машине в 10 000 раз быстрее. И это не говоря уже о том, на что был бы способен ИИ с усовершенствованными алгоритмами и более мощным железом. Разуму, который предсказывает мир и управляет им как минимум в 10 000 раз быстрее любого человека, люди казались бы не более чем статуями, действующими настолько медленно, что они произносили бы примерно по одному слову в час.

Возможность копирования и вставки. В нынешнем мире требуется двадцать или более лет, чтобы вырастить одного нового человека и передать ему крошечную долю всех человеческих знаний. Да и то мы не можем целиком перенести успешные навыки мышления из одного человеческого разума в другой; гениальность Альберта Эйнштейна умерла вместе с ним. Искусственный интеллект со временем окажется в другом мире — в мире, где гениальность можно будет копировать по первому требованию.

Более быстрое совершенствование. Увеличение размеров человеческого мозга столкнулось с бутылочным горлышком в тот момент, когда головы младенцев стали слишком большими, чтобы проходить через женский таз. Графические процессоры (GPU — специализированные компьютерные чипы, очень эффективные для работы современных ИИ) совершенствуются, как и алгоритмы, работающие на этих чипах, причем гораздо, гораздо, гораздо быстрее, чем человеческий вид способен эволюционировать в сторону более широкого таза.

Больший объём памяти. Человеческий мозг содержит около ста миллиардов нейронов и ста триллионов синапсов. С точки зрения объёма хранения данных это превосходит большинство ноутбуков. Но дата-центр на момент написания этой книги может иметь 400 квадриллионов байт в пятимиллисекундной доступности — это более чем в тысячу раз превышает объём памяти человеческого мозга. Кроме того, современные ИИ обучаются на значительной части всех накопленных человечеством знаний и сохраняют в памяти существенную их долю — на что не способен ни один человек.

Более высокое качество мышления. Когда речь идёт о мышлении, качество бьёт количество. Один шахматист-человек может победить любое число обученных обезьян, работающих сообща. Но человеческий мозг не находится на пике качества мышления. Существует множество хорошо изученных случаев того, как человеческий разум становится жертвой систематических ошибок. (Например, «мотивированный скептицизм»: склонность искать аргументы против неприятных вам выводов, но не против тех, которые вам нравятся. Представьте себе ИИ, который никогда так не делает.) И несмотря на то, что в нашем мозгу сто миллиардов нейронов, большинство людей с трудом умножают трёхзначные числа в уме, а это значит, что мы используем эти нейроны далеко не так эффективно, как могли бы. Столь же невероятно, что модели человеческого мышления знаменуют собой конечный предел интеллектуальных алгоритмов, как и то, что человеческие нейроны представляют собой предел возможных скоростей вычислений.

Возможности самоэкспериментирования и самоперезаписи. ИИ могли бы создавать копии своего разума, проводить на них эксперименты и (при необходимости) восстанавливать оригиналы из резервных копий. ИИ могли бы встраивать новые вычислительные процессы в собственный разум гораздо легче, чем люди могут подключать компьютеры к биологическим нейронам. ИИ могли бы пытаться создавать немного отличающиеся версии своего разума, чтобы посмотреть, работают ли они лучше. ИИ могли бы совершенствоваться гораздо быстрее, чем люди.

Сверхбыстрые разумы, способные мыслить со сверхчеловеческим качеством в 10 000 раз быстрее нас, не знающие старения и смерти, копирующие своих наиболее успешных представителей, отточенные миллиардами испытаний до нечеловеческих способов мышления, работающие без устали и делающие более точные обобщения на основе меньшего количества данных, и способные направить весь этот интеллект на анализ, понимание и, в конечном счёте, совершенствование самих себя, — такие разумы превзошли бы наш.

Возможность появления машинного интеллекта, способного превзойти человека во всех практически важных сферах нашей деятельности, называли по-разному. Мы будем описывать его с помощью термина «сверхинтеллект», означающего разум, значительно превосходящий любого человека в решении практически любых задач управления и прогнозирования — по крайней мере, тех, где есть возможность существенно превзойти человеческие результаты.ⁱⁱ

Известные нам законы физики в теории позволяют машинам превосходить мозг в прогнозировании и управлении. На практике ИИ пока до этого не дошёл — но сколько времени пройдёт, прежде чем у ИИ появятся все перечисленные выше преимущества?

Мы не знаем. Пути развития предсказать труднее, чем конечные точки. Но ИИ не останутся глупыми навсегда.

В 2021 году весь мир увидел плоды прорыва в алгоритмах, лежащих в основе того, что сейчас называют «генеративным искусством». У этих первых ИИ были свои ограничения: они с трудом рисовали пальцы и создавали изображения людей с невозможными, жуткими руками. Некоторые люди, рассуждавшие слишком поспешно, говорили: «Посмотрите, как плохо ИИ рисуют! Работа иллюстраторов в безопасности». Другие думали: «Но ещё пять лет назад ИИ не умели так рисовать; что, если они станут лучше?» И ИИ стали лучше.

Сегодня ИИ прекрасно рисуют руки. Плохо нарисованные пальцы на первых итерациях этой технологии были худшим из того, как вообще могло выглядеть «генеративное искусство».

Если взглянуть на нынешние ИИ под правильным углом, в их интеллекте можно увидеть поверхностность... но поверхностнее, чем сейчас, ИИ уже никогда не покажется.

И путь к катастрофе может оказаться короче и быстрее, чем путь к непосредственному созданию сверхинтеллекта людьми. Вместо этого он может пролечь через ИИ, достаточно умный, чтобы внести существенный вклад в создание ещё более умного ИИ.

При таком сценарии возникает возможность — и, по сути, все основания ожидать запуска — цикла положительной обратной связи, называемого «интеллектуальным взрывом»: один ИИ создаёт более умный ИИ, тот находит способ создать ещё более умный ИИ, и так далее.

Подобный каскад положительной обратной связи со временем упёрся бы в физические пределы и сошёл на нет, но это не значит, что он угаснет быстро. Сверхновая звезда не нагревается до бесконечности, но она становится достаточно горячей, чтобы испарить любые близлежащие планеты. Собственный, более скромный интеллектуальный каскад человечества — от сельского хозяйства к письменности и науке — развивался так стремительно, что люди уже ходили по Луне до того, как какой-либо другой вид освоил огонь.

Мы не знаем, где проходит порог для самого глупого ИИ, способного построить ИИ, который построит ИИ, который построит сверхинтеллект. Возможно, ему нужно быть умнее человека, а возможно, будет достаточно множества более глупых систем, работающих в течение долгого времени. В конце 2024 — начале 2025 года руководители ИИ-компаний заявляли, что планируют создать «сверхинтеллект в истинном смысле этого слова» и ожидают в скором времени получить ИИ, подобный целой стране гениев, собранной в дата-центре. Конечно, ко всему, что говорят руководители корпораций, нужно относиться с долей скепсиса. Но всё же они не относятся к этому как к риску, которого нужно избегать; они намеренно несутся ему навстречу. Попытки уже предпринимаются.

По умолчанию ИИ-компании будут продолжать раздвигать границы возможного. Существует коммерческий стимул создавать всё более и более умные разумы, и этот процесс не остановится на человеческом уровне интеллекта. Если человечество продолжит идти по этому пути, разумы, созданные этими компаниями, в конце концов обойдут нас. Возможно, это произойдёт даже быстрее, чем позволяют предположить нынешние темпы прогресса, — как только ИИ сами займутся исследованиями в области ИИ.

Что произойдёт, если на Земле появятся машинные интеллекты, обладающие как минимум такой же глубиной и универсальностью, как отдельные люди — или даже человечество в целом, — и при этом превосходящие нас практически во всех областях?

Человеческий интеллект — источник всей нашей силы, всех наших технологий. Даже внутри человеческого вида небольшие различия в том, сколько времени группы людей тратили на накопление технологического потенциала, превращаются в военные преимущества уровня «у нас есть пушки, а у них нет». Между видами неравенство сил, обеспечиваемое интеллектом, проявляется ещё острее: отдельные шимпанзе порой убивают отдельных людей, но есть причина, по которой наш вид пытается уберечь их вид от случайного вымирания.

До сих пор у человечества не было конкурентов по части нашей особой силы. Но что, если машинные разумы станут лучше нас в том, что до сих пор делало нас уникальными?

Примечания

i Эта точка зрения подкрепляется теорией, которую мы обсуждаем в онлайн-материалах. В конечном счёте, мы не будем слишком зацикливаться на определениях. Если удар молнии подожжёт лес вокруг вас, вы не спасётесь, ловко определив «пожар» так, чтобы под это понятие попадали только рукотворные пожары; вам нужно просто бежать.

ii К чему эта оговорка? Потому что, даже если бы Землю захватили немыслимо развитые пришельцы с миллиардом дополнительных лет размышлений за плечами, они всё равно не смогли бы обыграть человечество в крестики-нолики, крошечную игру, правила безупречной стратегии в которой достаточно просты, чтобы человек мог выучить их наизусть — по крайней мере, если бы люди были защищены от таких уловок, как подсыпание пришельцами снотворного в наши напитки. Это вполне реальное ограничение того, насколько сверхинтеллект может превзойти человеческие результаты. Но этот предел применим только к очень крошечным играм.