В последнее время среди компаний Кремниевой долины наблюдается тенденция к отказу от вовлеченности как критерия, определяющего направление деятельности, во многом из-за «технологического кризиса» или многолетнего снижения доверия общественности к технологической отрасли. Некоммерческая организация «Центр гуманных технологий», которая занимается разработкой новых норм продуманного, социально полезного проектирования технологий, утверждает, что так называемые технологии извлечения прибыли наносят вред не только заинтересованности людей, но и их психическому здоровью. Распространенные функции популярных приложений, такие как уведомления, новостные ленты в социальных сетях, поощрения за ежедневное использование в Snapchat и другие, созданы, чтобы вызывать привыкание у пользователей. Такие иммерсивные среды, как TikTok, созданы для того, чтобы полностью поглотить внимание пользователя, создать ощущение глубокого погружения в контент. Социальные чат-боты, как и социальные сети, обладают потенциалом существенно менять форму человеческого общения. Поэтому разработчикам LLM следует принять во внимание полученные в этой отрасли уроки при создании продуктов на основе чата-ботов, особенно тех, которые предназначены для выстраивания долгосрочных отношений. Дизайн интерфейсов часто манипулирует поведением пользователей, подталкивая их к определенным действиям. Например, некоторые элементы управления могут быть спрятаны глубоко в меню, написаны мелким шрифтом или вообще в замаскированном виде, как показано на рис 7.4, из-за чего их легко пропустить. Другие, наоборот, показаны крупно и заметно, что повышает вероятность их выбора.
Рис. 7.4. Пример манипулирующего дизайна, предназначенного для максимизации вовлечения в общение с социальным чат-ботом
Функции, помогающие формировать позитивные отношения между человеком и чат-ботом, – это те, которые укрепляют доверие пользователя, например: бот дает полезные ответы на запросы человека, помнит о человеке на протяжении какого-то времени или проявляет эмпатию. Компании, создающие этих чат-ботов, могут как терять, так и приобретать доверие пользователей за счет прозрачности политик и их применения, а также мерам по обеспечению конфиденциальности и безопасности данных. Хотя мы знаем о чат-ботах меньше, чем о социальных сетях, логично предположить, что порочные практики, такие как беспрестанные уведомления, будут способствовать развитию негативных отношений с чат-ботом, впрочем то же самое верно в отношении любых попыток стимуляции зависимости от технологий на любых платформах.
Сдвиг парадигмы в сторону ответственных технологий должен начинаться не только с функций продукта, но и с оптимизации метрик. Самые простые и очевидные метрики, которые могут отслеживать разработчики чат-ботов, связаны с вовлеченностью – к ним относятся количество пользователей в день, неделю, месяц, а также средняя продолжительность сессии и среднее количество сообщений в день. К сожалению, такие простые метрики потенциально могут быть проблематичными, если их рассматривать как цели для максимизации. Рассмотрим гипотетический сценарий, когда модель, генерирующая ответы для чат-бота, обучена оптимизироваться под длинные разговоры. Модель может обнаружить, что самый лучший способ добиться этого – вступить в бесконечный спор с упрямым пользователем, который настойчиво пытается доказать, что чат-бот не прав, а тот в свою очередь с таким же упорством не уступает. Таким образом мог бы получиться очень долгий разговор, но у пользователя при этом осталось бы крайне неприятное ощущение. Вполне возможно, что продолжительность беседы, которая принесла бы удовлетворение, была бы не столь долгой, как спор. Теперь давайте предположим, что модель обучена максимизировать вероятность получения ответа от пользователя. Модель обнаружит, что если она даст откровенно неточные фактические ответы, то получит отклик почти в 100 % случаев! Конечно, эти отклики будут преимущественно негативными, но они максимизируют ее целевую метрику.
Оба этих примера указывают на необходимость более глубокого подхода: нам хотелось бы иметь какие-то методы выявления здоровых и высококачественных взаимодействий с чат-ботом и, возможно, оптимизировать процент или общее количество таких взаимодействий. Однако определить такую метрику гораздо сложнее, чем просто подсчитать сообщения или продолжительность ответов. Разработчики должны продумать концепции качества и оценить разговоры в соответствии с ними, а сделать это в больших масштабах может быть сложно. Они могли бы попытаться интерпретировать отзывы пользователей, написанные на естественном языке, возможно, дополнив другими прокси-метриками. Еще одна сложность в построении хороших метрик заключается в том, что у разных пользователей будут разные предпочтения относительно чат-ботов, которые одна и та же модель может учитывать или нет.
В конечном счете компании, которые создают LLM, должны разработать четко сформулированные политики в отношении ответов их систем – такие политики могут отличаться в разных компаниях в зависимости от чат-бота и его предполагаемого применения – и в первую очередь сами должны стремиться следовать этим правилам. Использование обратной связи от пользователей может быть полезно, но только если последствия работы подобных механизмов понятны, результаты поддаются качественной и количественной оценке, чтобы гарантировать сохранение качества ответов.
Поскольку точно неизвестно, каково воздействие этих продуктов, появилась идея разрешить их использование только взрослым. Но применение этого правила на практике остается нерешенной проблемой и вызывает много дебатов. Уже сейчас многие социальные чат-боты предпочитают включать в свои «Условия предоставления услуг» требование о том, что пользователи должны быть старше 18 лет, чтобы обеспечить прикрытие от усиленной защиты конфиденциальности несовершеннолетних в некоторых юрисдикциях. Почти все чат-боты, как и другие онлайн-сервисы, запрещают детям младше 13 лет пользоваться их услугами, следуя Закону о защите конфиденциальности детей в интернете (COPPA) – федерального закона США, предъявляющего к поставщикам услуг строгие требования относительно пользователей младше 13 лет.
Однако сами компании, как правило, не очень строго следят за соблюдением своих же условий. Итальянское управление по защите данных в судебном предписании для Replika раскритиковало компанию за их неспособность адекватно воспрепятствовать использованию сервиса несовершеннолетними:
«На деле нет реального механизма проверки возраста: нет механизма ограничения доступа для детей, нет блокировки приложения, если пользователь заявляет, что он несовершеннолетний. При создании учетной записи платформа просто запрашивает имя пользователя, электронную почту и пол… А „ответы“ чат-бота часто явно противоречат ограничениям, установленным для детей и прочих лиц в зоне риска»42.
Эти ограничения предназначены для того, чтобы дети не могли видеть контент откровенного сексуального содержания. Также отмечается, что в отзывах на App Store пользователи писали о «неприемлемых сексуальных» комментариях, которые сделал чат-бот Replika. Это неудивительно, учитывая, что на тот момент сексуальные и романтические игры были одним из – если не основным – вариантом использования приложения. Как упоминалось в разделе 7.1, компания Replika внесла изменения, которые вызвали бурю негодования среди ее пользователей.
Группы, выступающие в защиту конфиденциальности, такие как Electronic Frontier Foundation, и в защиту свободы слова, такие как Free Speech Coalition (FSC), высказываются против законов о проверке возраста в целом на том основании, что контроль за возрастом является либо неэффективным (например, когда пользователя просят просто назвать свой год рождения), либо назойливым. В своей программной статье «Неэффективно, неконституционно и опасно: проблема с предписаниями проверки возраста» (Ineffective, Unconstitutional, and Dangerous: The Problem with Age Verification Mandates) FSC осудила продвижение на государственном уровне закона о проверке возраста, направленного на защиту несовершеннолетних от просмотра неприемлемого контента в интернете:
«FSC всем сердцем поддерживает цель защиты молодежи от материалов, которые не соответствуют их возрасту или могут принести вред… К сожалению, предложения, выдвигаемые государственными учреждениями по всей стране, сопряжены со значительными практическими, техническими и юридическими проблемами, которые подорвут эффективность законов по защите детей, создадут серьезные риски для конфиденциальности и нарушат конституционные права американцев»43.
Если бы по закону сервисы социальных чат-ботов были обязаны проверять возраст своих пользователей, им потребовалось бы встроить специальное программное обеспечение в качестве контрольного механизма. Типичная подобная схема представлена на рис. 7.5. Пользователи должны были бы зарегистрировать свою учетную запись и загрузить копии конфиденциальных документов, таких как удостоверения личности государственного образца, где указана дата их рождения. Программное обеспечение будет работать, только если подтвердит достоверность этих документов. На практике проверка возраста и анонимность не могут сосуществовать. Это также создает угрозу конфиденциальности для пользователя и проблемы для компании, которая в противном случае никогда не стала бы собирать такую биографическую информацию о пользователе. Подобное может навредить восприятию социального чат-бота как безопасного пространства, поскольку пользователи будут знать (с полным на то основанием), что их могут идентифицировать. Таким образом, вопрос с несовершеннолетними пользователями решить непросто, в то время как есть убедительные доказательства того, что молодые люди уже осваивают технологии чат-ботов, особенно социальные чат-боты, более высокими темпами, чем другие демографические группы.
Рис. 7.5. Программное обеспечение для проверки возраста обычно имеет доступ к базам государственных удостоверений личности и может также использовать функцию распознавания лица
Главная статья «Клуб одиноких сердец Character.AI» июльского номера 2023 года онлайн-издания The Information была посвящена приложению Character.AI. На момент ее написания компания Character сообщала, что ее активные пользователи проводили около двух часов в день на платформе, где есть различные чат-боты, которые могут представлять реальных людей (президент Бразилии Лула, поп-певица Ариана Гранде), вымышленных персонажей (Гомер Симпсон) или даже неодушевленные предметы (кусок швейцарского сыра). Генеральный директор компании Ноам Шазир описал эти творения как «новую и улучшенную версию парасоциальных развлечений». Парасоциальный [92] – это очень меткое слово: Рэймонд Мар, психолог из Йоркского университета, отметил, что с такими чат-ботами могут формировать близкие отношения люди, которые хотят, чтобы их понимали и принимали. Он сказал: «Несложно догадаться, что дети уязвимы во всех отношениях, поскольку им трудно отделить реальность от вымысла». Приложение Character доступно для пользователей старше 13 лет44. Шазир и Даниэль Де Фрейтас, основатели Character.AI, изначально задумывали бота для других целей:
«Были запущены чат-боты для планирования путешествий, рекомендаций по программированию и изучения языка. Но у пользователей, как всегда, нашлись свои мысли по этому поводу… Однажды мы увидели, как в Twitter кто-то написал: „Эта видеоигра – мой новый психотерапевт. Моему терапевту наплевать на меня, а этому мультяшному герою – нет“. Так нам постоянно напоминают, что у нас нет представления о том, чего в действительности хотят пользователи».
Вполне вероятно, что так оно и есть, но в мире стартапов с венчурным финансированием они попадают под огромное давление, поскольку вынуждены привлекать пользователей как можно быстрее.
Опрос о Character.AI на форуме Reddit показал, что большая часть респондентов (около 1000 из 2500) в основном использовала сайт для романтических ролевых игр. Пользователи Character протестовали против ограничения сексуального контента, а онлайн-петиция, в которой они попросили компанию удалить антипорнографический фильтр, собрала почти 100 000 подписей – и все равно Шазир заявил, что компания никогда не будет поддерживать использование порнографического контента44. Это может быть связано с ужесточением законодательного регулирования порнографических материалов или с тем, что они считают подобный контент недружественным по отношению к бренду, но путь, пройденный Character, отражает лишь малую степень того, что должны учитывать разработчики LLM, которые работают над социальными ботами. Каждое решение по продукту, будь то разрешение пользователям создавать своих собственных ботов или ограничение контента в ответах, может принести как огромную пользу, так и огромные риски. Компаниям следует тщательно продумывать, какие из этих рисков они готовы взять на себя, а какие для них слишком велики.
Разработчики чат-ботов несут моральную ответственность перед своими пользователями: недостаточно просто сказать, что чат-бот не создавался для использования в качестве терапевта, если они знают, что пользователи используют ботов для сессий виртуальной терапии. Поэтому компаниям следует тщательно отслеживать использование ботов, при этом не нарушая конфиденциальность пользователей (например, путем анонимизации и агрегирования разговоров). При этом компании не должны слепо следовать желаниям пользователей, но если они намерены поддержать какой-либо вариант использования, например терапию, то могут проконсультироваться с экспертами по психологическому здоровью и лицензированными психологами, чтобы быть уверенными – поведение чат-ботов не способствует развитию нездоровых зависимостей и соответствует современным рекомендациям.
Компании также могут принять решение не поддерживать некоторые отношения, которые пользователи отчаянно хотели бы развивать со своими чат-ботами, будь то терапевтические, сексуальные или другие. В главе 3 мы обсудили различные стратегии управления ответами модели, включая чат-бота или другого диалогового агента. Учитывая, что люди продолжат извлекать контент сексуального содержания или общаться на деликатные темы, которые могут быть поддержаны чат-ботом или нет, политика компании в отношении контента должна соблюдаться с помощью технических средств. Кроме отслеживания, как люди используют чат-бот в целом, компании могут проводить выборку анонимных разговоров, чтобы выявить зависимость или формирование нездоровых отношений.
Возможно, в будущем мы придем к тому, что будем рассматривать все виды отношений между человеком и чат-ботом как нормальные, включая романтические. Но поскольку наука еще не определилась с последствиями использования таких продуктов, разработчикам следует проявлять осторожность и воздерживаться от максимизации вовлечения любыми средствами. Напротив, следует отслеживать фактическое использование продукта и думать о том, как оно может повлиять на психическое или социальное здоровье пользователей, а также советоваться с опытными специалистами по психическому здоровью, чтобы найти ответы на эти вопросы.
Не только людям, создающим социальных чат-ботов, но и нам всем как обществу придется считаться с тем значением, которое приобретет использование социальных чат-ботов для общения и эмоциональной поддержки. Возможно, эти инструменты станут ценным стандартным компонентом терапии для людей, которые чувствуют себя изолированными или отторгнутыми обществом. Если нет, то они хотя бы могут принести радость и развлечение миллионам людей. В любом случае нам действительно нужно определить место социальных чат-ботов в нашей жизни, совмещая пользу от них с другими видами активности и отношениями, требующими нашего внимания.