Злоумышленники могут использовать генеративные модели для проведения кибератак и использования социальной инженерии.

Промпт-джейлбрейк манипулирует поведением чат-бота через промпт, заставляя его действовать в обход правил и ограничений.

Инъекционная атака через промпт – атака, когда вредоносные инструкции маскируются под полезные данные или образцы для ответов, вводимые напрямую пользователем в чат-бот через промпт; непрямая инъекционная атака через промпт предполагает, что вредоносные инструкции внедряются в сторонние ресурсы, которые будут просмотрены и учтены ботом при генерации ответа.

Обучение навыкам безопасности должно перейти от изучения правил и политик к усвоению того, как применять знания в разных ситуациях и выявлять новые разнообразные угрозы от генеративных моделей.

Информационная война и кампании по манипуляции мнениями – это скрытые и вводящие в заблуждение попытки повлиять на мнение целевой аудитории.

LLM с большой вероятностью поменяют облик манипуляционных кампаний в будущем, поскольку дают новые возможности автоматического создания убедительного вредоносного контента в более широком масштабе при одновременном снижении затрат на его производство.

Обвинения в политической предвзятости преследуют чат-боты ведущих технологических компаний, из-за чего независимые разработчики создают политических чат-ботов и призывают к нейтралитету.

Галлюцинации появляются, когда модель создает предположения о знании, в котором она не уверена из-за ограниченной или противоречивой информации.

Существует целый ряд различных стратегий, используемых для борьбы с галлюцинациями, включая предоставление информации о степени уверенности модели в ответе, а также поиск информации из внешних источников.

Из-за галлюцинаций и других ограничений LLM не готовы заменить профессионалов во многих областях, а неосторожное их использование может привести к серьезным последствиям, особенно в финансовом, медицинском и юридическом секторах.

Ответственное внедрение LLM включает в себя мониторинг на предмет неправильного использования и информирование конечных пользователей об ограничениях моделей.