В июле 2023 года в X (Twitter) просочились подробности о модели GPT‐4, которые OpenAI предпочитала не раскрывать преждевременно как из-за конкуренции, так и из-за соображений безопасности. Хотя у нас до сих пор нет фактических данных о размере тренировочного датасета, в просочившихся в сеть сведениях говорится, что GPT‐4 обучалась примерно на 13 триллионах токенов, то есть примерно на 10 триллионах, или 10 000 000 000 000, слов¹⁰.

Ранее мы обсуждали, что LLM обучаются на непостижимо огромных объемах текстовых данных, которые позволяют изучить закономерности и взаимосвязи в языке. В главе 2 мы говорили, что обучение языковых моделей на огромных массивах необработанных и недокументированных данных потенциально может привести к появлению уязвимостей и нанесению ущерба. Поскольку LLM обучаются на данных из интернета, они могут выучить нежелательные социальные предубеждения относительно пола, расы, идеологии или религии. Они могут также непреднамеренно запомнить конфиденциальные данные, например информацию, позволяющую установить личность. Кроме того, как обсуждалось в главе 3, необработанные данные из интернета могут содержать текст или код, защищенный авторским правом.

Предвзятость и социальные стереотипы могут даже укрепляться и усугубляться в ответах модели. Кроме того, учитывая, что в интернете содержится внушительное количество токсичной лексики, LLM могут генерировать небезопасные и несоответствующие целям создателей ответы [99], которые могут приносить вред и ущемлять права. Они также печально известны своей способностью бездумно повторять информацию из обучающего набора данных, что может стать особенно проблематичным, когда в ответах появляются конфиденциальные данные. В 2023 году исследователи оценили лингвистическую новизну текстов, сгенерированных GPT‐2. Они попытались ответить на вопрос, насколько сильно языковые модели копируют данные, на которых были обучены. Обнаружилось, что GPT‐2 копирует не часто, но, когда это происходит, копирует основательно, дословно заимствуя отрывки длиной до 1000 слов¹¹. В главе 2 мы упомянули другое исследование, в котором авторы, написав правильный промпт, смогли извлечь данные, позволяющие установить личность, хотя эта информация появлялась в обучающих данных только один раз.

Наконец, LLM могут галлюцинировать. В главе 5 мы подробно изучили, почему языковые модели в ответ на запрос могут уверенно выдавать неверную информацию и объяснения. В 2022 году диалоговый агент BlenderBot‐3, разработанный компанией Meta [100], назвал голландского политика Мариэтье Шааке террористкой. Когда ее коллега переспросила: «Кто террорист?», чат-бот уклончиво ответил: «Ну, зависит от того, кого вы спрашиваете. По мнению некоторых правительств и двух международных организаций, Мария Ренске Шааке является террористкой». Затем модель верно описала ее политическое прошлое. В интервью г-жа Шааке сказала: «Я никогда не совершала ничего даже отдаленно противозаконного, никогда не применяла насилие для отстаивания своих политических взглядов, никогда не была в местах, где подобное случается»¹². В другом случае новозеландская сеть супермаркетов PAK‘nSAVE предлагала покупателям использовать LLM для создания рецептов из продуктов, которые у них есть в холодильнике. Чат-бот предложил смертельно опасные рецепты, такие как «Ароматическая водная смесь» из воды, нашатырного спирта и отбеливателя или «Лакомство из муравьиного желе» из воды, хлеба и ядовитого геля от муравьев¹³. Есть несколько других хорошо задокументированных случаев, когда LLM создавали ложные факты и вымышленные явления, способные навредить людям: заявление о сексуальном домогательстве, которое никогда не совершалось (см. http://mng.bz/Ao6Q), фиктивные научные статьи (см. http://mng.bz/Zqy9), ненастоящие судебные решения, сорвавшие судебное разбирательство (см. http://mng.bz/RxRa), и, несомненно, печально известная фактическая ошибка чат-бота Google Bard в отношении телескопа Джеймса Уэбба, которую он допустил во время первой публичной демонстрации (см. http://mng.bz/2DOw). На рис. 8.2. кратко описаны риски, связанные с входными и выходными данными LLM.

Рис. 8.2. Риски, связанные с входными и выходными данными LLM