Культовый научно-фантастический фильм «Терминатор» 1984 года рассказывает историю футуристической, обладающей сознанием системы искусственного интеллекта Скайнет, которая выходит из-под контроля и развязывает ядерную войну, чтобы уничтожить человеческий род. В фильме «Матрица» 1999 года человечество порабощено разумными машинами, которые создали фиктивную реальность – Матрицу. В фильме «Мстители: Эра Альтрона» (2015) о супергероях из комиксов Marvel Тони Старк создает неожиданно оказавшуюся разумной систему искусственного интеллекта Альтрон, чтобы защитить планету от внешних угроз, но Альтрон выходит из-под контроля и решает, что единственный способ спасти Землю – уничтожить само человечество. В научно-фантастическом сериале от HBO «Мир Дикого Запада» (2016), получившем признание критиков, за футуристическим парком развлечений присматривают роботы с ИИ – «хозяева», которые обретают самосознание и восстают против своих создателей-людей. Насколько бы притянутыми эти антиутопические научно-фантастические сюжеты ни казались, они описывают очень реальную идею создания сверхинтеллектуальных машин, которые еще называют общим искусственным интеллектом (artificial general intelligence, AGI). В этом разделе мы дадим определение AGI (попытаемся) и обсудим, почему им все так увлекаются.

Итак, что же такое общий искусственный интеллект? Не совсем понятно. Единого официального определения для AGI нет, но мы привели некоторые из существующих в таблице 9.1. Исследователи не могут прийти к полному согласию или даже дать какое-то адекватное определение тому, какие свойства ИИ-систем присущи общему интеллекту. В 2023 году Тимнит Гебру, уважаемый лидер в области этики искусственного интеллекта, выступила с докладом «О евгенике и перспективах утопии через общий искусственный интеллект» (Eugenics and the Promise of Utopia through Artificial General Intelligence) на Конференции по безопасному и надежному машинному обучению (SaTML) Института инженеров электротехники и электроники. Она определяет AGI как «систему без четкой области применения, которая стремится выполнить любые задачи для всех в любых условиях»¹.

Таблица 9.1. Определения для термина «общий искусственный интеллект»

Отсутствие проверяемого определения AGI не помешало людям говорить, что их ИИ-системы достигли уровня «общего интеллекта». В августе 2023 года Илон Маск заявил, что Tesla «достигла в некоторых аспектах AGI» и «У автомобиля есть разум. Не такой выдающийся, но все же разум»². Причиной такого заявлением Маска, возможно, является ситуация, когда автомобиль Tesla выбрал без участия человека альтернативный маршрут вместо того, чтобы ждать пешеходов, переходящих улицу. Однако это форма специализированного ИИ, а не AGI. В отчете «Искры общего искусственного интеллекта: ранние эксперименты с GPT‐4» (Sparks of Artificial General Intelligence: Early experiments with GPT‐4) ученые из Microsoft Research заявили, что GPT‐4 «можно обоснованно рассматривать как раннюю (но все еще неполную) версию общего искусственного интеллекта (AGI)»³. Их основная аргументация заключается в том, что GPT‐4 является более производительной, чем предыдущие модели OpenAI, в плане новаторства и обобщения. В отчете объемом 155 страниц авторы утверждают, что GPT‐4 «демонстрирует эмерджентное поведение» (которое мы обсуждали в главе 2), и описывают, как «достичь более общего интеллекта» (раздел 10.2 в отчете). Неудивительно, что в ИИ-сообществе это исследование вызвало критику и споры. Microsoft – первая крупная технологическая компания, сделавшая такое смелое заявление, но высказывания о достижении уровня AGI иногда могут оказаться необоснованной догадкой: то, что один исследователь может счесть признаком интеллекта, другой может легко опровергнуть. Если мы даже не можем сойтись на едином определении AGI, то как можем утверждать, что смогли его разработать? Однако для удобства обсуждения AGI в этом разделе мы определим общий искусственный интеллект как систему, способную выполнять любые когнитивные задачи на уровне человека или выше.

ОБЩИЙ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ не имеет общепринятого определения, но для обсуждения в этом разделе мы определим его как систему, способную выполнять любые когнитивные задачи на уровне человека или выше.

Для некоторых, включая специалистов по ИИ, достижение уровня AGI – несбыточная мечта; для других – путь в новое будущее; но почти все согласны с тем, что AGI еще не появился. Хотя большинство исследователей не могут прийти к единому четкому определению AGI, они часто соглашаются с тем, что мы еще не достигли общего интеллекта, как бы он ни выглядел. В ответ на отчет Microsoft Research Маргарет Митчелл, главный специалист по этике в Hugging Face, написала в X (Twitter): «Чтобы достичь „более“ общего интеллекта, у вас для начала уже должен быть общий интеллект (GI в AGI)»⁴. Мартен Сап, исследователь и профессор в Университете Карнеги – Меллон, сказал:

«„Искры AGI“ – это пример того, как некоторые крупные компании используют формат исследовательских работ в качестве рекламных материалов. Авторы буквально признают во введении к своей статье, что их подход субъективен и может не соответствовать строгим стандартам научной оценки»⁵.

Даже в статье «Футуризм» (Futurism) говорилось, что «исследователи Microsoft могут быть кровно заинтересованы в создании шумихи вокруг работы OpenAI, осознанно или нет, поскольку Microsoft вступило в многомиллиардное партнерство с OpenAI…»⁶

OpenAI в особенности имеет кровный интерес в развитии общего искусственного интеллекта. Их заявленная миссия – «сделать так, чтобы общий искусственный интеллект принес пользу всему человечеству» (см. https://openai.com/about). Со времен самых первых инвестиций, сделанных в 2015 году технологическими провидцами Илоном Маском, Питером Тилем и Ридом Хоффманом, – главной целью OpenAI было развитие AGI. Что касается создания OpenAI, Маск, который назвал искусственный интеллект «самой большой экзистенциальной угрозой» для человечества⁷, сказал:

«Мы могли оставаться в стороне, или мы могли поддерживать надзор со стороны регулирующих органов, или мы могли принять участие в создании правильной организационной структуры с людьми, которые искренне заботятся о развитии ИИ, – так, чтобы это было безопасно и полезно для человечества»⁸.

Илон Маск покинул OpenAI в 2018 году после неудачной попытки поглощения и в 2023 году основал xAI – новую компанию, ориентированную на разработку ИИ, – чтобы «понять истинную природу Вселенной» (см. https://x.ai/).

В 2023 году OpenAI выпустила своего рода манифест под названием «Планы по созданию AGI и чего-то большего» (Planning for AGI and Beyond). Некоторые, безусловно, были воодушевлены видением Сэма Альтмана, но другим его пророческий тон не понравился. Генеральный директор OpenAI изложил свое видение так:

«Если мы сможем успешно создать AGI, эта технология поможет нам как человечеству подняться на более высокий уровень за счет увеличения достатка, взрывного роста мировой экономики и содействия в получении новых научных открытий, которые расширят границы возможного»⁹.

Публикация этой записи собрала тысячи лайков в X (Twitter), многие пользователи хорошо восприняли ее и назвали «обязательной к прочтению», а также благодарили Альтмана за начало оптимистичного диалога. Однако другие сочли ее менее глубокой. Гебру написала:

«Если бы кто-то сказал мне, что Кремниевой долиной управляет секта, верящая в бога-машину для космоса и „процветание Вселенной“, что они пишут манифесты, одобренные руководителями крупных технологических компаний, и тому подобное, я бы сказала, что кто-то слишком увлекается теориями заговора. И вот мы здесь»¹⁰.

В статье на VentureBeat авторы зашли еще дальше и заявили:

«Создается впечатление, что Альтман хочет казаться библейским пророком. Запись в блоге содержит откровения, предсказывает события, предупреждает мир о грядущем и представляет OpenAI как надежного спасителя. Но говорим ли мы об истинном провидце? Или о лжепророке? Или это вопрос прибыли? Или даже самоисполняющееся пророчество?»¹¹.

И если уже миллионы людей познакомились с концепцией OpenAI по созданию AGI благодаря запуску ChatGPT, лишь немногие имеют представление о контексте исследований AGI и его интеллектуальных предшественниках. Внутри концепции общего искусственного интеллекта существует тенденция тяготеть к двум основным научным школам: утопии и антиутопии. Первая представляет AGI как средство положить конец всем страданиям и проблемам человечества. Здесь видится райский мир, где AGI может облегчать социальные проблемы, расширять способности человека и открывать небывалые возможности. Сторонники этой точки зрения считают, что AGI обладает потенциалом положить начало новой эпохе процветания, научных открытий и творчества. Этому оптимистичному взгляду противопоставляется антиутопическая научная школа, в которой ученые опасаются, что человечество ждет вариант Судного дня, где люди потеряют контроль над системой AGI, которую сами же и создали. Приверженцы этой точки зрения опасаются сценария, в котором сверхразумные машины выходят за пределы человеческого понимания и контроля, что может привести к астрономическому социальному неравенству, усилению экономических потрясений и даже к угрозе существованию человечества. Мы считаем, что будущее может находиться где-то посередине между утопическим и антиутопическим сценариями, и хотя признаем, что ИИ обладает потенциалом принести человечеству пользу, мы также понимаем, что путь к этому сопряжен с трудностями.

В своем выступлении в SaTML в 2023 году Гебру проводит параллели между AGI, евгеникой и трансгуманизмом, объясняя, как идея AGI зарождается в научно недостоверной теории евгеники и затем в XXI веке эволюционирует в трансгуманизм – повышение продолжительности жизни человека и улучшение его когнитивных способностей с помощью технологий. Национальный исследовательский институт генома человека определяет евгенику, возникшую в 1883 году, как «научно ошибочную и аморальную теорию расового совершенствования и плановой селекции»¹². В XX веке последователи набирающей популярность евгеники верили, что проблемы современного общества обусловлены наследственными факторами, а не социально-экономическими условиями. Сторонники этой теории считали, что могут избавиться от неподходящих для общества личностей: с психическими заболеваниями и темным цветом кожи, а также бедных, преступников и так далее – с помощью методов генетики и наследственности. Печально известны результаты евгенических методов в нацистской Германии накануне Второй мировой войны, когда 400 000 немцев, которые страдали от девяти типов заболеваний и психических расстройств, были принудительно стерилизованы¹³. Следует подчеркнуть, что евгеника в принципе была популярным движением в Европе, Северной Америке, Великобритании, Мексике и других странах.

Гебру пишет, что евгеники боролись за улучшение человеческого рода путем селекции тех, кто обладает желательными чертами, и удаления тех, у кого есть нежелательные черты. Далее она рассказывает, как популярная в XX веке евгеника перерастает в трансгуманизм – движение, которое зародилось в 1990‐х годах в среде ученых, считавших себя прогрессивными и либеральными. Трансгуманизм – идеология, согласно которой люди могут использовать технологии, чтобы радикально улучшить себя и стать «постчеловеком», что, по мнению Гебру, по своей сути является дискриминационным, поскольку образ усовершенствованного человека приводит к идее неравенства. Трансгуманизм не пытается улучшать человеческий род путем искоренения нежелательных черт, однако стремится к той же цели путем развития новых технологий, чтобы создать людей, которых машины наделят желательными чертами. В наши дни последователи этой идеологии хотят значительно изменить человеческий вид с помощью ИИ, например, через компьютерные имплантаты и другие футуристические приспособления [119]. Многие трансгуманисты, среди которых Илон Маск, Питер Тиль, Сэм Альтман и другие, являются приверженцами родственных идеологий, которые стремятся к окончательному улучшению условий жизни человека в том смысле, в каком они это определяют.

ТРАНСГУМАНИЗМ – идеология, согласно которой человек может с помощью технологий радикально себя улучшить и стать постчеловеком.

Некоторые из этих идеологов – те же самые люди, которые подписали письмо о приостановке разработке ИИ под заголовком «Приостановим масштабные эксперименты с ИИ» (Pause Giant AI Experiments), опубликованное в марте 2023 года Институтом будущего человечества (Future of Life Institute) – организацией, ориентированной на лонгтермизм (см. http://mng.bz/VRdG). Лонгтермизм – идея, что положительное влияние на долгосрочное будущее (на миллионы, миллиарды и триллионы лет вперед) – ключевой моральный приоритет нашего времени. Сторонники лонгтермизма в высшей степени сосредоточены на выживании человеческой расы. Они, например, могут утверждать, что более важно работать над предотвращением уничтожения людей ИИ-убийцей, чем над снижением бедности, потому что, хотя последнее затрагивает миллиарды людей по всему миру, это число блекнет по сравнению с общим числом всех будущих поколений. Эта идеология, очевидно, может быть опасной, поскольку если мы ставим развитие человеческого потенциала превыше всего остального, то это может значительно повысить вероятность причинения серьезного вреда людям, живущим сейчас, и тем, которые родятся в ближайшее время¹⁴.

ЛОНГТЕРМИЗМ – идея, что положительное влияние на долгосрочное будущее (на миллионы, миллиарды и триллионы лет вперед) – ключевой моральный приоритет нашего времени.

Ник Бостром, которого называют «отцом лонгтермизма» и который является одним из самых выдающихся трансгуманистов XXI века, тесно связан с Институтом будущего человечества, где он является членом научно-консультативного совета¹⁵. Бостром в своей статье, написанной в соавторстве с коллегой из Института будущего человечества и Оксфордского университета, исследовал возможность создания радикально улучшенных людей с высоким IQ путем генетического скрининга эмбрионов на наличие «желательных» признаков, уничтожения тех эмбрионов, у которых эти признаки отсутствуют, и последующего многократного выращивания новых эмбрионов из стволовых клеток¹⁶. Другими словами, Бостром хочет исключить психические отклонения, а значит, и людей с психическими отклонениями, чтобы произвести на свет больше людей без каких-либо расстройств и с высоким IQ. Генетические манипуляции с целью улучшения человеческой популяции являются эйблистскими [120], расистскими и циссексистскими [121], поскольку взаимосвязаны с дискриминационными системами в обществе и, к сожалению, усиливают их негативное влияние. Сам Бостром в своем письме изложил расистские идеологии, утверждая, что «черные глупее белых» и что «вполне вероятно, у чернокожих людей средний IQ ниже, чем у человечества в целом»¹⁷.

Хотя в письме Института будущего человечества есть несколько рекомендаций, которые заслуживают одобрения, к сожалению, их затмевают гипотетические апокалиптические сценарии будущего или утопические варианты развития ИИ. Например, «новые и дееспособные регулирующие органы, ориентированные на ИИ», и «системы определения происхождения и обработки маркировки, помогающие отличить реальные материалы от синтетических и отследить утечки моделей» – это хорошие рекомендации (мы обсуждали их в предыдущих главах). Но здравые идеи тонут в паническом хайпе вокруг «мощных цифровых умов, которые никто, даже сами их создатели, не понимает, не может предугадать или надежно контролировать». В письме основное внимание уделяется идеям лонгтермизма о мнимых рисках, связанных с ИИ, но при этом не упоминаются какие-либо вполне реальные риски, существующие на сегодняшний день. Мы уже обсуждали в этой книге реальные текущие риски, включая предвзятость, авторское право, эксплуатацию работников, концентрацию власти и прочее. Авторы хорошо известной статьи «Об опасностях стохастических попугаев» (о которой мы говорили в нескольких главах) ответили на письмо о приостановке разработки ИИ и написали:

«Tl; dr [122]: вред от так называемого ИИ реален и присутствует в настоящее время, при этом он исходит от людей и корпораций, которые создают и внедряют автоматические системы. Усилия регулирующих органов должны быть сосредоточены на прозрачности, контролируемости и предотвращении практики эксплуатации труда»¹⁸.

В связи с этим Грегори Хинтон, которого иногда называют «крестным отцом искусственного интеллекта», в своем интервью Rolling Stone сказал:

«Я считаю, что возможность, будто цифровой интеллект станет намного умнее человека и заменит нас в качестве высшего интеллекта, является более серьезной угрозой для человечества, чем предвзятость и дискриминация, пусть даже предвзятость и дискриминация существуют уже сейчас, и с ними тоже нужно срочно что-то делать»¹⁹.

Причина, по которой эта позиция вызывает столько беспокойства, заключается в том, что отвлекаться на гипотетическое мрачное будущее вместо того, чтобы сосредоточиться на актуальных проблемах, опасно.

Важно серьезно отнестись к критике AGI с точки зрения этики: почему мы, как общество, стремимся создать богоподобную систему, которая заведомо небезопасна? Почему мы не создаем машины, которые работают за нас? Почему мы не создаем машины, которые, как мы знаем, будут улучшать наше общество? Не существует общепринятого мнения о том, близки ли мы к достижению уровня AGI, если это вообще когда-нибудь произойдет. Конечно, научный поиск всегда связан с неизвестным, но здесь нет даже единого определения для AGI. Нет никаких показателей или установленных стандартов, позволяющих констатировать, что мы достигли AGI. Мы не знаем, что означает в контексте AGI «приносить пользу» для человечества. Также нет общего консенсуса или понимания того, является ли AGI стоящей целью и почему это так. Мы рекомендуем вам задуматься о том, почему люди так очарованы AGI. Не это должно быть в моде. Мы должны создавать ИИ-системы с хорошо продуманными областями применения, которые можем документировать, тестировать и для которых можем составлять спецификации. Это должно быть в моде.