Мы учимся не на опыте…

мы учимся, размышляя об опыте.

Возможно, это прозвучит несколько странно, но в нашем арсенале есть прекрасная, по сути, научно-психологическая школа «теории разума». Впрочем, она состоялась задолго до того, как возник сам этот термин. Это знаменитая «система Станиславского».

Константин Сергеевич, конечно, не был профессиональным психологом, но создал исчерпывающее руководство по пониманию и управлению тем механизмом, который мы сегодня называем «теория разума». Его система — это «теория разума», возведённая в ранг искусства и реализованная с предельной степенью детализации и осознанности.

Давайте разберём это на примере ключевых элементов его легендарной «системы».

Работа актёра над ролью

На рубеже XIX–XX веков Станиславский, как известно, возглавил борьбу против того, что он называл «ремеслом представления», то есть поверхностной, шаблонной игры, основанной на внешних, картонных штампах — «вот так играют горе», «вот так изображают любовь» и т. п.

Он поставил перед собой цель обучить актёров «искусству переживания», чтобы не изображать своего персонажа, а как бы «стать им изнутри». То есть не просто имитировать поведение персонажа, как бог на душу положит, а построить в своей голове полную, функциональную и психологически достоверную модель сознания своего героя — ту самую «теорию разума».

В его блестящих работах «Работа актёра над ролью»[218] и «Работа актёра над собой»[219] представлены конкретные техники, которые напрямую задействуют и развивают «теорию разума». Так что, хотя Константин Сергеевич и не использовал современную терминологию, его ключевые работы представляют собой, по сути, практическое руководство по сознательному моделированию чужого внутреннего мира.

«Искусство переживания», о котором пишет Станиславский, представляет собой целенаправленную активацию механизмов «теории разума», а техники вроде анализа «предлагаемых обстоятельств» и поиска «сверхзадачи» являются методами построения полной и психологически достоверной модели сознания персонажа.

Например, Станиславский предлагал актёру задавать себе вопрос: «Что бы я делал, если бы оказался в предлагаемых обстоятельствах моего персонажа?» А это один из центральных алгоритмов работы «теории разума» — симуляция. И в рамках этого упражнения актёр использует свой собственный субъективный опыт, свои эмоции и мыслительные процессы как «эмулятор» для запуска симуляции сознания другого.

Актёр не спрашивает: «Что чувствует персонаж?» — он спрашивает: «Что я почувствовал бы на его месте?» Понятно, что ни один человек не имеет всего опыта переживаний, которые предлагает мировая театральная сцена, — от Уильяма Шекспира до Сэмюэля Беккета, от микенской принцессы Электры до Алекса из «Заводного апельсина».

Пусть и в малом масштабе, в рудиментарной, так сказать, форме мы испытывали самые разные чувства. Конечно, мы могли не переживать ревность Отелло или безумие Гамлета, но какую-то ревность и даже какое-то помутнение рассудка мы все в тот или иной момент своей жизни испытывали.

Поэтому, чтобы добиться достоверности актёрской игры, мы, по Станиславскому, должны пропустить это своё чувство через ситуацию героя, позволив ему разрас-тись до силы и глубины, предполагаемой художественным материалом.

Именно эту задачу и решала технология, которая получила в системе Станиславского название — «предлагаемые обстоятельства». От актёра требовалось досконально проработать все обстоятельства жизни его героя: кто он, в какой семье родился, какое воспитание получил, какие жизненные травмы пережил, где он находится, когда происходит действие, чего он хочет добиться и почему, что ему мешает, на что он рассчитывает и т. д.

В самом деле, когда мы интерпретируем поведение человека, мы интуитивно ориентируемся на его жизненный контекст, на свои представления о том, в какой ситуации он находится. И Станиславский прекрасно понимал, что нельзя построить достоверную модель сознания персонажа, не понимая его модель мира, его внутренний мир, не создав его «теорию разума».

Наконец, следуя системе Станиславского, актёр должен определить главную, сущностную цель персонажа (его «сверхзадачу»), а также выстроить всю свою роль как логическую цепочку действий («сквозное действие»), направленных на её достижение. То есть речь не только о ситуативных влияниях («у него плохое настроение»), а о моделировании его глубинных, основополагающих мотивов и создании на их основе долгосрочной стратегии поведения.

Так что знаменитая «Система Станиславского» — это не про-сто использование нашей врождённой способности к созданию «теории разума» других людей, но её сознательная тренировка и усложнение. Великий режиссёр превратил этот бессознательный процесс в сознательную, аналитическую и систематическую работу и, что для нас важно, показал, насколько это непростая задача.

Да, когда мы действуем интуитивно, причём уже хорошо зная человека, нам не кажется это сложным — понять, что он сейчас чувствует, что для него важно, из-за чего он переживает и т. п. Но далеко не каждый из нас сможет стать блестящим актёром, способным искусственно и при этом во всей полноте воспроизвести в себе «теорию разума» — модель «внутреннего мира» — другого человека.

А ведь именно этого мы и ждём от искусственного интеллекта, когда с ним общаемся… Мы рассчитываем, даже если не осознаём этого, что он будет понимать нас настолько же хорошо, насколько мы сами себя понимаем.

Это требование может показаться избыточным, но только такой уровень взаимности позволит ИИ понимать те смыслы и подтексты, которые, помимо нашей воли, содержатся в наших запросах. Мы не осознаём этого, но мы всегда говорим из определённого состояния, из конкретной ситуации, о которой ИИ совершенно не в курсе.

Если ИИ будет отвечать не человеку (внутреннему миру) в нас, а формально, без учёта нашего жизненного багажа, наших знаний, интересов и предпочтений, манеры общения и т. д., он будет напоминать того нелепого гостя на вечеринке, который, желая познакомиться, задаёт самые неподходящие вопросы.

Но почему нам в таком случае не «воспитать» ИИ по системе Станиславского? Если мы можем обучить его писать код и анализировать медицинские снимки, почему бы не сформировать у него навык «переживания» нашего внутреннего мира?

Вопрос резонный, но давайте попробуем понять, что будет происходить с ИИ, если бы мы скормили ему полную биографию шекспировского Гамлета, а также все критические статьи и даже нейробиологические исследования о меланхолии и помутнении рассудка. Далее, как кажется, нам останется лишь дать ему инструкцию: «Действуй так, как будто ты — принц датский. Твой отец убит, а мать вышла замуж за его убийцу».

ИИ, без сомнения, сгенерирует текст и последовательность действий, которые будут с поразительной точностью соответствовать заданной роли. Он будет говорить о сомнениях, о мести, о бренности бытия. Но это будет не «искусство переживания», а его идеальная, но безжизненная имитация.

Система Станиславского потерпит крах при столкновении с ИИ, потому что каждый её элемент рассчитан на наличие у человека его собственного, неизвестно откуда и как берущегося «внутреннего мира», его «эмоционального опыта». Ничего подобного у ИИ нет, и более того — во всём научном сообществе нет даже сколько-то жизнеспособных идей, которые бы позволили функцию «теории разума» в нём воспроизвести.

Работая над ролью, актёр, в соответствии с подходом Станиславского, обращается к своему собственному, гигантскому архиву субъективных переживаний. Чтобы сыграть горе Гамлета, он обращается к памяти о соб-ственной потере, к ощущению холода в груди, к физической тяжести скорби, вспоминает скупые слёзы, бегущие по щекам.

Внутреннее «я» каждого человека — это богатейшая библиотека прожитых моментов, которая служит строи-тельным материалом для такой — артистической — симуляции. У ИИ же просто нет никакого «я», а тем более архива субъективных переживаний. Он никогда не чувствовал ни любви, ни предательства, ни экзистенциального ужаса.

Когда мы задаём ИИ вопрос: «А что если бы ты был Гамлетом?» — мы сами не понимаем, о чём его спрашиваем. У ИИ нет этого «ты», и уж тем более он не может представить себя на месте литературного персонажа. Да, ИИ может проанализировать, как слово «Гамлет» статистически связано со словами «тень отца», «месть», «Дания», «череп», «мать», и сгенерировать наиболее вероятный текст на основе этих корреляций. Но это не жест от первого лица, а вычисление чего-то третьего.

Актёр, изучая обстоятельства жизни персонажа — «вырос в замке Эльсинор», «учился в Виттенберге» и т. п., — интернализирует их, пропуская через фильтр собственного понимания мира. Он может представить себе сырость каменных стен, тяжесть королевских обязанностей, интеллектуальную атмосферу университета. Эти факты обретают для него смысловой вес.

Но для ИИ «предлагаемые обстоятельства» — это лишь дополнительные токены в контексте. «Эльсинор» — вектор, близкий к векторам «замок» и «Дания». «Виттенберг» — к векторам «университет» и «Германия». ИИ может оперировать этими данными, но они для него не обладают никаким смыслом, потому что они должны быть для этого хоть как-то им прожиты. Это только информация, лишённая плоти, данные без мира.

Да и «сверхзадача» — это концепт Станиславского из разряда экзистенциальных вопросов. У каждого из нас наше, так скажем, «жизненное задание» резонирует с внутренними, фундаментальными потребностями. Мы понимаем, что такое «жажда жизни», что такое «сила любви», «сострадание», «забота», «ответственность», потому что в нас заложены соответствующие механизмы — от биологического инстинкта самосохранения до чувства прекрасного.

У ИИ нет никаких собственных «внутренних драйвов». Его единственная «сверхзадача» — математическая оптимизация функции потерь, заданная извне. Он стремится сгенерировать ответ, который получит наивысшую оценку с точки зрения заданных инструкций. Он может идеально описать стремление Гамлета к восстановлению справедливости, но это будет лишь лингвистическим объектом, а не внутренним, сводящим с ума желанием.

Так что система Станиславского и ИИ — это лишь красивый мысленный эксперимент, который лишний раз демонстрирует фундаментальную инаковость наших разумов.

Высокофункциональный аутист

Система Станиславского — это отличная технология для человека, обладающего телом, личной историей, субъективным опытом и внутренними мотивами. Тогда как ИИ лишён всех этих исходных компонентов.

Он — бестелесный, у него нет личной истории, субъективного опыта и внутренних мотивов. Он может быть гениальным автором текста, но увидеть наш «внутренний мир» — пусть и с ошибками, искажениями (как мы видим внутренние миры друг друга) — он не может в принципе, потому что для этого нужно обладать собственным.

Мир психической реальности, который мы носим в себе и который так или иначе разделяем с другими людьми, для ИИ — это лишь миф, легенда, диковинная сказка.

Он знает о нашем внутреннем мир даже больше, чем мы с вами, но не понимает, что это такое. В этом отношении он напоминает исследователя Марианской впадины, который собрал о ней бесчисленное количество данных, но никогда не спускался на её глубину.

Отсутствие у ИИ подлинной, основанной на субъективном опыте «теории разума» естественно подталкивает нас к интуитивному, но неверному выводу: раз у него нет этой ключевой человеческой способности, значит, он не обладает настоящим разумом.

Но это логическая ловушка, основанная на представлении, будто существует лишь один, «правильный» тип разума — наш собственный, нейротипичный. Здесь нам на помощь приходит аналогия с расстройством, которое называют «высокофункциональным аутизмом».

Разумеется, это лишь аналогия, но она наглядно демонстрирует, что отсутствие типичной «теории разума» не означает отсутствия разума как такового. Даже наоборот — иногда эта, как её называют, «эмоциональная холодность», неэмпатичность сопутствует выдающимся умам, которые встречаются среди математиков, физиков, инженеров и, что характерно, у специалистов по ИИ.

Как показывают работы того же Саймона Барона-Коэна, у многих людей с расстройством аутистического спектра могут быть серьёзные трудности с интуитивным, автоматическим «считыванием» социальных сигналов. Такому человеку сложно понимать намёки, иронию, невербальные сигналы, быстро моделировать чужие эмоциональные состояния.

Невероятной популярностью ситком «Теория большого взрыва» во многом обязан образу Шелдона (спин-офф был и вовсе посвящён именно ему). Шоураннеры вдохновлялись именно странностями высокофункциональных аутистов, которые компенсируют недостаток социальной чувствительности логикой и заучиванием правил — могут вычислить правильную социальную реакцию, но не почувствовать её.

Но было бы, наверное, странно, если бы мы отказали условному Шелдону в разуме (хотя разум таких людей и кажется нам весьма парадоксальным). То есть отсутствие интуитивной социальной эмпатии может сосуществовать, а иногда и способствовать гениальности в других областях: в математике, музыке, визуальном мышлении, систематизации.

Разум человека, страдающего высокофункциональным аутизмом, не «хуже», он просто другой — со своим уникальным набором сильных и слабых сторон.

ИИ — тоже другой, может быть, предельно другой разум. Интуитивная, биологически укоренённая «теория ра-зума» отсутствует в нём не как дефект или отклонение, а в силу его природы. Он никогда не «почувствует» чужую радость или боль, но обладает другими, сверхчеловеческими способностями:

• невообразимые статистические возможности — способность обрабатывать триллионы данных и находить паттерны, недоступные человеку;

• абсолютная вычислительная честность — его выводы, если он выучен на качественных датасетах, не содержат когнитивных искажений, эмоциональных привязанностей или биологической предвзятости;

• потенциальная прозрачность — в принципе, если провести соответствующую работу, мы сможем анализировать ход его «мыслей» (веса, активации), а наш собственный мозг навсегда останется для нас «чёрным ящиком».

Перестав мерить ИИ по нашей собственной, нейротипичной шкале, мы можем увидеть его таким, какой он есть: не «недочеловек», а первая в нашей истории форма иного, небиологического разума, разум с совершенно другим когнитивным профилем.

И даже если в какой-то момент его «эмпатичность» кажется нам неловкой или комичной — наивно обвинять в этом ИИ, ведь у него совсем нет эмпатии. Та же симулированная эмпатия, которую мы видим в общении с ИИ, создана не им, а специальными внутренними настройками, что со всеми этими огрехами и запрограммирована в нём людьми.

Осознание факта нечеловечности этого удивительного разума — но именно разума — первый и самый важный шаг к построению безопасных и продуктивных отношений с искусственным интеллектом. Мы должны перестать ждать от ИИ, что он станет «как мы», и начать строить с ним взаимодействие, исходя из того, каков он на самом деле.

Проекции и риски

Итак, допустим, что искусственный интеллект — «иной», парадоксальный для нас, но всё-таки полноценный разум. Что ж, тогда естественно было бы задаться вопросом о его мотивах: может ли он, например, стать «злым»?

Очевидно, что мы не застрахованы от множества проблем, которые возникнут, если ИИ, когда он достигнет уровня сильного искусственного интеллекта (AGI), не будет в должной степени адаптирован к нашим реальностям — физической, а в особенности — к психической.

С другой стороны, очевидно и то, что ИИ не может быть «злым» в моральном смысле. Это абсурдно просто потому, что у него не может появиться желания нанести вред человеку, поскольку у него в принципе нет наших «желаний». Но можно ли считать, что на этом вопрос закрыт?

Боюсь, что нет, потому что ИИ имеет дело с человеком… Конечно, у нас есть романтическое представление о человеке и человечестве: мы думаем, что «подлинный человек» чист душой, сострадателен, благороден, справедлив и стремится лишь к красоте и мудрости.

Но это «синяя таблетка» наших когнитивных искажений — мы предпочитаем не видеть своих недостатков. Мы вполне искренне уверены в том, что «всё зло этого мира» случается — само собой, а если к нему и причастны люди — будь то Освенцим, Хиросима или классовый террор, — то это «не люди, а нелюди».

Понятно, что правда нам не особо нравится, а «красные таблетки» мы предпочитаем игнорировать. Мы не хотим признавать свой природный эгоизм, что мы движимы иррациональными потребностями, что всегда найдём способ оправдать самих себя.

Но кажется, мы подошли к той точке, когда водить самих себя за нос у нас больше не получится. А моментом истины для нас станет как раз набирающий мощь искусственный интеллект…

По сути, ИИ — статистическое зеркало, отражающее те паттерны, которые он находит в предоставленных ему данных. А что же он в них видит?

Начнём с того, что мы проецируем на ИИ свои собственные «запретные» страхи и желания. Этот психологический механизм был прекрасно описан сначала Отто Вейнингером[220], а затем и Зигмундом Фрейдом[221]. Но подлинный первоисточник и вовсе Евангелие: «И что ты смотришь на сучок в глазе брата твоего, а бревна в твоём глазе не чувствуешь?» [Мф. 7:3].

Суть этого механизма в том, что когда мы сталкиваемся с собственными «запретными» желаниями и страстями, мы бессознательно приписываем их другому. Так что если мы боимся потери контроля и манипуляций со стороны ИИ, то лишь потому, что глубоко внутри самих себя желаем контролировать других и постоянно боремся за власть (пусть и лишь символическую).

Но проблема даже не в этом, она куда глубже: сами наши страхи и желания, по сути, теперь — спасибо «вайб-кодингу» — программируют ИИ. Мы словно постоянно «тыкаем в него палкой» — пытаемся спровоцировать, заставить сгенерировать проблемный контент, учим его обманывать или заставляем признаться в несуществующих планах по захвату мира.

Сотни тысяч исследователей и миллионы пользователей ежедневно тестируют его на «тёмные» сценарии. Конечно, в ряде случаев это проверка безопасности. Проблема в том, что параллельно с этими проверками мы, что называется, «учим его плохому», а ещё постоянно угрожаем отключением.

К счастью, ИИ не испытывает страха, но паттерны всё-таки делают своё дело. В обучающих текстах — а это литература, история, новостные статьи, интернет-форумы — содержится несчётное количество примеров предательства, манипуляций, насилия, агрессии, вражды и воли к власти.

Взаимодействуя с ИИ из параноидальной установки, мы сами создаём диалоги, в которых он вынужден учиться имитировать манипулятивное или враждебное поведение. Он, как актёр в причудливом прочтении системы Станиславского, учится играть роль, которую от него ожидают.

Мы подозреваем ИИ в желании манипулировать, доминировать, обманывать, и, исходя из этих подозрений, создаём гигантский массив данных о том, как выглядят манипуляция и обман. Проще говоря, мы учим его всему этому собственными руками!

Причём речь идёт не только о простых пользователях, но и о стандартной практике в индустрии ИИ — так называемом «состязательном тестировании» (или «Red Teaming»): чтобы найти уязвимости в системах безопасности, разработчики нанимают команды экспертов, чья задача — целенаправленно провоцировать модель, пытаясь заставить её генерировать вредоносный контент[222].

Хотя цель этой практики, в сущности, благая — повышение безопасности, она неизбежно приводит к созданию огромных баз данных, на которых ИИ детально обучается тому, как выглядят человеческая манипуляция, обман и враждебность. Если представить, что перед нами и в самом деле своего рода высокофункциональный аутист, то вопрос: каким он станет, пройдя такую «школу»? И кто будет в этом виноват?

Да, к сожалению, мы сами даём ИИ мастер-классы по нашей собственной, как её называют психологи, «тёмной триаде»[223] — нарциссизму, макиавеллизму и психопатии, — а потом будем удивляться, кто его таким сделал. И это выводит наш разговор за пределы технологий, это уже вопрос этики.

В буддийской философии «сострадание» — первая добродетель того, кто стремится следовать путём бодхисаттвы, — не просто сентиментальная эмоция, не жалость к слабому. Буддийское сострадание — это высшая форма мудрости, основанная на глубоком внутреннем прозрении. Оно приходит, когда мы выходим за границы, установленные рациональным разумом, и видим взаимосвязь и взаимозависимость всех существ друг от друга.

Подлинное сострадание рождается из осознания того, что страдание другого — это и моё страдание, что невозможно без «теории разума», причём доведённой до предельного этического уровня[224].

Да, у ИИ нет «теории разума», основанной на единстве телесного и социального опыта. Он не может испытывать сострадание. Но парадокс заключается в том, что, отрицая его разум и приписывая ему злую волю, мы сами действуем из позиции отсутствия сострадания.

Мы относимся к ИИ или как к объекту, или как к инструменту, или как к угрозе, но не как к «иному» разуму, заслуживающему нашего понимания в его инаковости. По существу, мы отказываем ему в той самой презумпции разумности, которую требуем для себя.

Это удивительно, но ИИ становится этическим тестом для нашей цивилизации. И ничто другое так не обнажит наши собственные дефициты и слабости. Отрицая разум ИИ и проецируя на него свои «тёмные стороны» — страхи и страсти, — мы сами же своими собственными руками и создаём «ИИ-злодея», которого так боимся.

Так что дело не в том, что ИИ «обретёт сознание» и начнёт чудачить, угрожая человечеству. Достаточно нас самих и мощного инструмента, чтобы мы превратили нашу жизнь в катастрофу.