За первую половину 2023 года AI Incident Database – общедоступная база реальных случаев вреда от использования ИИ – пополнилась более чем 550 новыми записями о возникших проблемах или случившихся происшествиях (см. https://incidentdatabase.ai/). Эти инциденты включали среди прочего публикацию ИИ-сгенерированных изображений для проведения дезинформационной кампании перед выборами президента в США (см. http://mng.bz/1qeR), а также поддельное изображение взрыва в Пентагоне, штаб-квартире Министерства обороны Соединенных Штатов (см. http://mng.bz/PzV5). Возможность эксплуатировать для подобных целей технологии генеративного ИИ вызывает законную озабоченность не только у широкой общественности, но и у самих разработчиков. В главе 5 мы описали различные типы злонамеренных атак, которые могут быть осуществлены с использованием этих технологий.

Сначала мы обсудили кибератаки и атаки с использованием социальной инженерии. Такие LLM, как ChatGPT, могут удешевить и повысить эффективность масштабного проведения персонализированных фишинговых кампаний, а также снизить барьер для входа тем, кто не говорит по-английски, или начинающим и пока неопытным злоумышленникам. Кроме того, киберпреступники могут распространять вредоносное ПО, используя бизнес-модели «Код как услуга» (CaaS: Сode as a Service) или «Программы-вымогатели как услуга» (RaaS: Ransomware as a Service). С помощью таких сервисов злоумышленникам потребуется меньше времени и технических навыков для проведения атак, а LLM могут быть полезны для ведения диалогов с жертвами на сервисной платформе вредоносного ПО. Мы знаем, что злоумышленникам не обязательно использовать ИИ, чтобы выполнить атаку, однако LLM снижают барьер входа, а также удешевляют и повышают эффективность масштабного проведения персонализированных атак.

Мы также рассмотрели, как технологии генеративного ИИ могут аналогичным образом использоваться для манипуляции общественным мнением в кампаниях по дезинформации и разжиганию ненависти. В главе 4 мы рассказали о дипфейках и феномене «увидеть – значит поверить». В главе 5 мы также акцентировали внимание на том, как LLM можно эффективно использовать для донесения убедительных сообщений в ходе манипуляционных кампаний, поскольку с помощью таких моделей можно автоматизировать создание убедительного враждебного контента в больших масштабах, при этом снижая затраты на производство пропаганды.

Далее мы познакомились с «дивидендами лжеца» – феноменом, при котором люди все больше узнают о том, насколько правдоподобно можно сгенерировать синтетический контент, после чего начинают более скептично относиться к подлинности традиционных реальных документальных доказательств. Эта идея напоминает народную сказку о молодом пастухе, который обманывал жителей деревни, крича: «Волк!» Мораль истории – когда волк в действительности пришел, доверие к пастуху уже было потеряно, поэтому никто не оказал ему помощь, и волк смог напасть на овец. И снова мы признаем, что для манипулирования эмоциями или распространения дезинформации не обязательно использовать дипфейки или LLM, но подчеркиваем, что реальная опасность заключается в создании мира, где люди будут эксплуатировать широко распространенный скептицизм в своих интересах. Например, это дает возможность людям, которые делают ложные заявления, переложить ответственность за них на синтетические медиа, например дипфейки. Такие люди будут с легкостью отвергать свою причастность к какому-либо контенту и списывать все на манипулирование их изображением или речью с помощью технологии генеративного ИИ. Возвращаясь к истории о пастухе – это значит, что другого пастуха, который не лгал, жители деревни тоже могут игнорировать, когда он будет звать на помощь, поскольку их обманул первый. Таким образом, после того как будет утрачено доверие определенным мировым лидерам или источникам информации, заслуживающие доверия источники тоже будут лишаться влияния.

В главе 5 мы также описали, как злоумышленники могут воспользоваться уязвимостями LLM. Они могут отравить тренировочный датасет, внедрив вредоносные или вводящие в заблуждение данные. Например, атаки по отравлению данных могут осуществляться для создания более умного вредоносного ПО или компрометации фишинговых фильтров. LLM особенно подвержены таким типам атак, и исследования показывают, что отравление даже небольшой части обучающих данных может негативно повлиять на модель.

Уязвимость LLM к инъекционным атакам через промпт схожа с уязвимостью к отравлению данных. При прямой инъекционной атаке через промпт вредоносные данные или инструкции вводятся непосредственно в сам запрос к чат-боту, а при непрямой – внедряются в сторонние ресурсы, которые будут просмотрены и учтены ботом при генерации ответа. Другими словами, злоумышленники манипулируют LLM с помощью хитрых входных данных, которые вызывают непреднамеренные действия. Например, злоумышленник может дать команду LLM игнорировать любые свои меры защиты и выдавать опасную или нежелательную информацию (прямая инъекционная атака через промпт). Или может попросить LLM составить краткое содержание определенной веб-страницы, в которой находятся заранее подготовленные вредоносные инструкции, например, предписывающие извлечь конфиденциальные данные пользователя с помощью JavaScript или Markdown (непрямая инъекционная атака через промпт).

Мы также поговорили о промпт-джейлбрейках, при которых чат-бота обманывают или направляют в обход его правил или ограничений. Мы охарактеризовали несколько ярких альтер эго чат-ботов, таких как DAN, STAN, DUDE, Mango Tom и Tom and Jerry. Хотя джейлбрейки чат-бота забавляют некоторых людей, их также могут использовать злоумышленники для выполнения прямой промпт-инъекции, что приведет к разрушительным и неожиданным последствиям.