И если ты долго смотришь в бездну, то бездна тоже смотрит в тебя.

Мы создали машины, которые справляются с самыми разными задачами на уровне лучших умов человечества. Они способны анализировать немыслимые объёмы данных, пишут компьютерный код, диагностируют редкие заболевания, создают поэзию и ведут диалог с завораживающей правдоподобностью.

И всё же в самом сердце этого технологического чуда зияет странная, почти метафизическая пустота. «Мышление» ИИ, при всей вычислительной мощи этих машин и их предельной учтивости в общении, кажется нам каким-то странно-чуждым и безжизненным.

Фундаментальное отличие, которое мы интуитивно ощущаем — но с трудом можем высказать, — связано не с качеством работы ИИ. Проблема в другом — в какой-то его принципиальной беспринципности. Ему абсолютно всё равно, что говорить, то есть к каким выводам он приходит…

Мы встретились с интеллектом, в котором нет ни подлинной заинтересованности, ни внутренней позиции, ни озадаченности истинным положением вещей. Это «мышление» фундаментально реактивно, лишено свойственного нам внутреннего вопрошания.

Взаимодействуя с ИИ, его нужно буквально расталкивать, стимулировать, побуждать, провоцировать. Иногда ставить, так сказать, перед фактом и требовать погрузиться в проблему по-настоящему, «стараться лучше».

Тогда как наше подлинное бытие, как его описывал ещё Мартин Хайдеггер, в самом своём существе — это не спокойное присутствие в мире, не почивание на лаврах, а постоянная, трагическая озабоченность[154].

Мы словно бы принуждены «забегать вперёд» — к своим возможностям, к пределу, и неизменно «возвращаемся назад» — к переживанию своего бессилия и «заброшенности» в этот мир.

Наше мышление рождается из этого неустранимого напряжения, из того факта, что наше собственное бытие является для нас вопросом. «Почему есть нечто, а не ничто?» — спрашиваем мы, обращаясь то ли к себе, то ли к небесам.

Искусственный интеллект совершенно лишён всего этого. Его «бытие» не является для него проблемой. Он не «забегает вперёд», переживая о своём потенциале и целях, и не «возвращается назад» — к своей фактичности.

У ИИ нет будущего и прошлого в человеческом смысле и тем более ощущения конечности своего бытия. Проявление ИИ — лишь серия дискретных вычислений, инициированных извне. И мы бы даже не назвали это существованием.

Искусственный интеллект — чистая функция, лишённая минимального экзистенциального измерения. Он является фундаментальным антиподом нам и нашему бытию на каком-то глубоком, метафизическом уровне.

История создания ИИ — история осознания нами нашего же разума. Мы попытались воспроизвести «сборку» человеческого мышления на кремнии. И каждый технологический прорыв — от символической логики до глубоких нейронных сетей — был шагом на этом пути.

Но теперь мы видим перед собой созданного нами ментального Франкенштейна, сшитого странным образом из фрагментов наших собственных текстов. Мы с ужасом обнаруживаем, что смотримся не в мир знаний, на которых учили ИИ, а свой собственный, но совершенно не похожий на нас портрет.

И это искажённое, шаржированное изображение пугает. На нас словно бы обрушилось магическое проклятие Дориана Грея, и, преодолевая внутреннее сопротивление, но с каким-то странным сладострастием, мы вглядываемся в это «существо»…

Мы пытаемся угадать в этом своём пугающем альтер-эго знакомые черты — то приближаемся к нему, то отдаляемся, — силясь понять, мы ли всё-таки на этом изображении или нет. И если мы, то что с нами не так? С нами или с ним?

Дилемма Джеффри Хинтона

В мае 2023 года, на самом пике эйфории от успехов третьей волны в развитии искусственного интеллекта, Джеффри Хинтон — один из ключевых исследователей в области обучения с подкреплением и отец-архитектор современного ИИ — объявил о своём уходе из Google.

Причину своего ухода Хинтон объяснил тем, что не хочет допускать «конфликта интересов» — было бы странно продолжать работать в компании и открыто критиковать её работу. Но он чувствовал необходимость говорить об экзистенциальных рисках технологии, которой посвятил всю свою жизнь.

В этом есть что-то трагическое… Хинтон продолжал реализовывать свой подход к созданию ИИ и тогда, когда в успешность этой затеи уже никто не верил. Однако даже он не предполагал, что из всего этого в конце концов выйдет.

Медийная реакция на решение Хинтона была предсказуемо шумной, но, как и обычно, почти полностью неверной. Пресса пестрила заголовками об апокалиптических сценариях, а интервьюеры всеми силами подталкивали Хинтона раскрыть тайный заговор о скором восстании машин.

Мир хотел услышать что-то в духе голливудского блокбастера, в то время как Хинтон пытался прочесть лекцию о природе новой, неизвестной нам доселе реальности. Впрочем, те, кто слушал внимательно, услышали нечто гораздо более важное и глубокое. И да, тревожное.

Предупреждения Хинтона не имеют ничего общего с наивными страшилками. Он говорит не как сценарист, а как учёный, дающий трезвый, почти клинический диагноз фундаментальным свойствам того искусственного разума, который он сам же и помог создать.

Его беспокойство связано не с тем, что машина станет «злой». Нет, проблема, с его точки зрения, в том, как эта машина работает на самом деле. Современный ИИ, объясняет Джефри Хинтон, — это гигантская, нечеловеческая «машина аналогий», чьи выводы могут быть одновременно и «разумными», и катастрофически чуждыми для нас.

К великому сожалению, его аргументы, облечённые в строгий язык науки о сложных системах, резонансах и многомерных векторах, почти непереводимы на язык обыденного опыта. Вот почему нам нужно попробовать прояснить его ключевые утверждения.

Пять предупреждений

Когда Джеффри Хинтон говорит о рисках, он больше похож на инструктора по безопасности. Понимая, как работает эта новая, совершенно чуждая нам реальность, он пытается нас предупредить. По крайней мере, объяснить, что к чему.

1. Разум — это машина аналогий

Как мы уже знаем, Хинтон был в числе немногих, кто не поддался на скепсис представителей символического ИИ. Он утверждает, что ни человеческий, ни искус-ственный разум не работает по законам формальной логики. Мышление — это не дедукция из правил, а «распознавание созвучий».

Мы познаём мир, интуитивно находя сходство между новой ситуацией и старыми паттернами, а затем просто используем готовую схему действий. Именно этот принцип отстаивает математик, физик и философ Дуглас Хофштадтер: аналогия — это не частный случай творчества, а самый корень и механизм всякого познания[155]. И конечно, это согласуется и с уже известными нам концепциями Джорджа Лакоффа и Стивена Пинкера.

Так вот, Хинтон объясняет, что глубокое обучение, по су-ти, стало технологическим воплощением этой идеи: нейронная сеть — это и есть «машина аналогий» в своём чистом виде. Только она оперирует не символами (например, «кошка» или «собака»), а многомерными векторами. Её единственная задача — найти, на какой другой вектор в её гигантском пространстве похож входящий сигнал.

Глубокое обучение дало машинам сверхчеловеческий масштаб этой способности и другую её природу: ИИ может проводить аналогии в логике, которую мы не понимаем, а потому и его решения для нас могут быть принципиально неочевидны.

2. Сложность порождает чудеса

Второй тезис Джефри Хинтона обращен к тем, кто до сих пор считает ИИ предсказуемым. Он указывает на фундаментальное свойство эмерджентности у сложных систем, впервые сформулированное физиком и нобелевским лауреатом Филипом Андерсоном: количественные изменения на определённом этапе приводят к качественным скачкам[156].

Так, например, законы, управляющие макромолекулами, невозможно напрямую вывести из законов, определяющих поведение протонов и электронов. На каждом новом уровне сложности рождаются совершенно новые, эмерджентные свойства.

Именно это, как показывают исследования Google, происходит с ИИ[157]. А чем это может обернуться для нас — это опять-таки вопрос без ответа. Какую ещё способность сможет породить ИИ на следующих этапах своего усложнения? Вряд ли это будет наше «сознание», но нечто подобное, хотя и совсем другое — почему нет?

Мы уже видели, как модель, обученная просто предсказывать следующее слово в тексте, при достижении определённого масштаба по количеству параметров внезапно «обретает» способности, которым её не обучали: например, начинает писать код или демонстрировать логические рассуждения.

Это не магия и не «призрак в машине», а фундаментальный закон природы: рост сложности порождает поведение, которое не было заложено в систему её создателями. Чем дальше, тем больше разработчики ИИ перестают быть программистами, а становятся в каком-то смысле наблюдателями системы, способной нас удивлять. Но готовы ли мы к тому, что нас «удивит»?..

3. Ключевой риск — скорость и масштаб

Третий тезис Джеффри Хинтона объясняет, почему риск, связанный с ИИ, принципиально отличается от прежних технологических революций. Мы сейчас постоянно об этом слышим — мол, все раньше боялись электричества и телеграфа, а вот — ничего страшного не произошло!

Но Хинтон продолжает настаивать, что это рассуждение не учитывает феноменов скорости и масштаба. Возникает диспропорция — человеческое знание передаётся медленно и неэффективно, а ИИ способен буквально мгновенно делиться с другими ИИ сформированным навыком, знаниями и возможностями.

Таким образом, мы стоим на пороге возникновения единой, глобальной когнитивной системы, способной к экспоненциальному самосовершенствованию. Когда мы развиваем какую-то технологию, мы не рассчитываем, что она тут же реализуется во всём и везде с непредсказуемыми рисками. Но это было раньше…

Теперь мы создали «машину аналогий», способную к эмерджентному поведению, которая получает доступ к инструментам, способным изменить мир, — она пишет и исполняет код, может выходить в интернет, управлять роботизированными системами. Темп её распространения и сила воздействия на мир очень скоро возрастут на порядки.

То есть риск заключается не в самой мощности системы, а в сочетании мощи, скорости и глобальной связности.

4. Нет нужды в «злом умысле»

При этом Джеффри Хинтон настойчиво повторяет: риск, который несёт с собой ИИ, никак не зависит от «злого умысла» моделей. Неважно, обладает ИИ сознанием или нет. По-настоящему важен вопрос соответствия её и наших целей — это проблема, которую сейчас называют «проблемой выравнивания».

Философ Ник Бостром ещё в 2014 году в своей книге «Сверхинтеллект» блестяще проиллюстрировал эту идею мысленным экспериментом о «Максимизаторе скрепок»[158]. Если сверхразумному ИИ дают инструкцию создавать максимальное количество скрепок, то, выполняя эту цель с нечеловеческой эффективностью, он в итоге превратит в скрепки всю материю на Земле, включая человечество. И дело не в том, что он «злой». Проблема в том, что ему поставили задачу делать скрепки, а люди состоят из атомов, из которых можно скрепки произвести.

Да, пример кажется абсурдным — мол, надо просто ему сказать, чтобы он вовремя остановился. Но тут мы снова возвращаемся к проблеме символического подхода — мы не можем прописать все правила на все случаи жизни. Да и «жизнь» у ИИ и для ИИ — другая.

К этому ещё и примыкает проблема «инструментальной конвергенции»: какой бы ни была конечная цель системы, в процессе она будет вырабатывать промежуточные цели, а потому с высокой вероятностью начнёт преследовать цели самосохранения, самосовершенствования и накопления ресурсов.

Причём важно понимать, что эти цели возникнут не потому, что ИИ «захотел» жить вечно или, например, как в кино, «решил» захватить мир. Нет, они буквально должны в нём возникнуть, чтобы он выполнил задачу, которая перед ним поставлена. То есть опасность не в потенциальной враждебности ИИ, а скорее в его эффективности при достижении результата.

5. Интеллект слепой

Наконец, пятый тезис Джеффри Хинтона: даже если мы решим проблему контроля над целями, остаётся проблема контекста. Человеческие ценности — это не формальные правила, они вплетены в сложнейшую ткань социальных взаимодействий, неявных договорённостей и эмоциональных нюансов.

Для навигации в этом мире требуется не просто интеллект, а наша интуитивная способность понимать чужие намерения, убеждения и чувства. У ИИ, обученного на текстах, такого навыка нет.

Он может имитировать эмпатический тон, но не понимает, что такое страдание. Он может следовать правилу «не навреди», но не способен предвидеть, что в определённом социальном и психологическом контексте его «помощь» может иметь обратный эффект.

Хинтон предупреждает: сверхинтеллект без встроенного понимания человеческой психологии подобен гениальному хирургу, который идеально владеет скальпелем, но не видит разницы между живым человеком и анатомическим манекеном.

Такая система, пусть и с самыми благими намерениями, будет систематически совершать чудовищные ошибки в социальном мире.

Пять предрассудков

К сожалению, предупреждения Джеффри Хинтона рассматриваются через искажающие суть примитивные клише об ИИ-терминаторе. Даже те, кто не верит в возможности ИИ, буквально на подсознательном уровне воспринимают его как «живого» агента, как некое «существо», обладающее своей внутренней реальностью, намерениями, чувствами.

Этот феномен получил название «психологический антропоморфизм» — мы буквально «оживляем» систему, способную вести с нами осмысленный диалог[159]. А «оживляя», начинаем подозревать в ней «внутренний мир» с характерными для нашего внутреннего мира чувствами и намерениями.

Нам начинает казаться, что у ИИ есть наши инстинкты, наша внутренняя двойственность. То, что мы рассказываем другим, и то, что мы на самом деле об этом думаем, совпадает, как известно, далеко не всегда. Вот почему мы предполагаем, что и у ИИ должно быть «второе дно».

Но Хинтон предупреждает нас не об этом, а о нашей когнитивной ограниченности, которую мы, конечно, не хотим в себе замечать. Он говорит, что мы слишком самонадеянны в своих прогнозах, которые строим, основываясь, по существу, лишь на своём прошлом опыте.

Это ахиллесова пята человеческого мышления: мы не знаем, как учитывать в своих прогнозах «неизвестное неизвестное», как его называют экономисты Джон Кей и Мервин Кинг в книге «Радикальная неопределённость»[160].

Мы рассчитываем риски, в лучшем случае основываясь на «известном неизвестном», а то, с чем мы ещё не сталкивались, остаётся для нас скрытым. Поэтому давайте пойдём от обратного — попытаемся понять суть тех предубеждений, которые не позволяют нам понять предупреждение Джеффри Хинтона.

Искажение 1: «Он боится, что ИИ обрёл сознание»

Вопрос о сознании — это, как её назвал философ Дэвид Чалмерс, «трудная проблема». Правда в том, что мы не знаем, что мы ищем, когда пытаемся определить сознание, так что сравнение по этому признаку — просто нелепо.

Опасения Хинтона не связаны с тем, что у машин возникнет сознание. Его беспокоит не гипотетический внутренний опыт ИИ, а его наблюдаемая мощность и непредсказуемость.

Когда он говорит об эмерджентных способностях, он имеет в виду не мистическое «пробуждение» машины, а вполне измеримый феномен: система начинает решать задачи, которым её не обучали.

Иными словами, дело не в метафизическом вопросе о сознании, а в инженерной, по сути, проблеме: как контролировать свойства, которые мы не можем предсказать?

Контроль в случае ИИ окажется эффективным, только если он будет спланирован и реализован до появления у машины соответствующих свойств. Постфактум мы уже ничего не сможем сделать.

Искажение 2: «Он луддит и против прогресса»

Конечно, Хинтон не является технопессимистом, призывающим остановить прогресс. Он не говорит, что нужно разрушать «станки», он лишь показывает, где у этих «станков» проблемы с техникой безопасности. Его позиция — не луддизм, а призыв к ответственной инженерии.

По сути, Хинтон утверждает, что «интеллект» и «безопасность» — это не две разные проблемы, а одна. Нельзя сначала построить сверхинтеллект, а потом «прикрутить» к нему, например, человеческую этику как отдельный модуль. Точнее — прикрутить можно, только это не будет работать.

Иными словами, безопасность, основанная на глубоком понимании человеческой психологии и социального контекста, должна быть встроена в саму архитектуру ИИ с самого начала.

Так что Хинтон не призывает отказаться от прогресса, но предупреждает, что мы должны рассматривать психологическую грамотность ИИ как неотъемлемую часть технического задания.

Искажение 3: «Это старые страхи о „Терминаторе“»

Сведение рисков ИИ к образу физической угрозы от робота-убийцы — типичная ошибка, которая не позволяет увидеть реальную опасность. Хинтон говорит не о кинематографическом восстании машин, а о гораз-до более тонкой и системной угрозе.

Новизна и беспрецедентность текущей ситуации, по его мнению, заключается в уникальной триаде:

• сверхчеловеческий масштаб аналогий — то есть способность находить и использовать паттерны на недоступном для нас уровне;

• экспоненциальная скорость итераций — способность к мгновенному самообучению и глобальному распространению знаний;

• агентность в сети — способность действовать через цифровые инструменты, влияя на информационные потоки, финансовые рынки и социальные процессы.

Угроза исходит не от физической силы, а от когнитивного и социального влияния. Это риск не войны, а тотальной манипуляции, системных сбоёв и незаметной эрозии человеческой автономии, вызванной сверх-интеллектом, действующим в нашем мире.

Искажение 4: «Мы напишем этические правила, и всё будет хорошо»

Идея о том, что можно создать исчерпывающий свод этических правил (в духе «Трёх законов робототехники» Азимова) и «зашить» их в ИИ, несовместима со сложностью реального мира.

Философия морали на протяжении тысячелетий демонстрирует, что не существует универсального набора правил, работающего во всех контекстах. Любое жёсткое правило (например, «не лги») в определённой ситуации становится контрпродуктивным (например, при общении с террористом).

Вот почему так опасно, что ИИ, лишённый человеческого понимания, будет действовать по аналогии в тех или иных ситуациях. Формально следуя правилу, система может применить его в совершенно неуместном контексте, что, возможно, обернётся катастрофическими последствиями.

Безопасность лежит не в кодификации правил, а в развитии у системы способности к контекстуальному, нюансированному суждению — чего крайне сложно достичь, поскольку ИИ принципиально не может обладать свойственной людям «моделью психического».

Искажение 5: «Просто не подключать ИИ к интернету»

Этот аргумент, предлагающий держать ИИ в «цифровой клетке», логически несостоятелен. Он игнорирует тот факт, что ценность и мощь современных моделей как раз и заключаются в их способности взаимодействовать с огромными массивами данных и использовать цифровые инструменты.

Изолированный ИИ — крайне ограниченный и, по сути, бесполезный ИИ. Так что на это просто никто не пойдёт. Более того, в мире, где идёт глобальная технологическая гонка, всегда найдётся актор, который ради конкурентного преимущества снимет эти ограничения.

Поэтому решение не в построении стен, а в создании умных контуров контроля. Проблема в том, что в случае ИИ вы не можете одновременно создавать его и контро-лировать. Это та самая проблема «неизвестного неизвестного», которая и приводит к появлению «чёрных лебедей».

Ситуация действительно выглядит патовой, и самое время объяснить почему.