Темы этой главы

• Знакомство с большими языковыми моделями (LLM)

• Принцип работы трансформеров

• Области применения LLM, их ограничения и риски

• Обзор передовых диалоговых LLM

Компания OpenAI из Сан-Франциско 30 ноября 2022 года написала в X (Twitter): «Попробуйте пообщаться с ChatGPT – нашей новой системой искусственного интеллекта, оптимизированной для диалога. Ваши отзывы помогут нам улучшить ее»¹. Чат-бот ChatGPT, с которым пользователи могут взаимодействовать через веб-интерфейс, компания представила как небольшое обновление уже существующих моделей OpenAI, доступных через API [3]. Однако именно благодаря запуску веб-приложения у любого желающего внезапно появилась возможность общаться с ChatGPT, просить его написать стих или код, посоветовать фильмы или планы тренировок, обобщить или объяснить фрагменты текста. Многие ответы выглядели как волшебство. ChatGPT взбудоражил мир технологий, и за считаные дни у него появился один миллион пользователей, а через два месяца после запуска – 100 миллионов. По некоторым показателям это самый быстрорастущий интернет-сервис за всю историю².

С момента запуска ChatGPT смог поразить воображение миллионов пользователей и одновременно вызвать опасение у опытных специалистов по поводу недостатков диалоговых моделей. ChatGPT и аналогичные модели относятся к классу больших языковых моделей (LLM), которые навсегда изменили область обработки естественного языка (natural language processing, NLP) и позволили достичь новых результатов в таких задачах, как ответы на вопросы, обобщение текста и генерация текста. Уже существуют прогнозы, что LLM изменят то, как мы учим, творим, работаем и общаемся. Люди почти всех профессий будут как минимум использовать такие модели, а возможно даже, принимать участие в их развитии. Таким образом, люди, которые смогут освоить LLM для получения нужных результатов – при этом избегая распространенных ловушек, о которых мы еще поговорим, – смогут возглавить тренд развития генеративного ИИ.

Как практики в области ИИ мы считаем, что для получения представления о том, когда и как использовать эти модели, необходимо базовое понимание их работы. В этой главе мы поговорим о том, почему LLM совершили прорыв, как они работают и где их можно применять, какие у них есть поразительные возможности и потенциальные проблемы. Мы также объясним, что делает LLM такими важными и почему так много людей взбудоражены (и обеспокоены) ими, и почему мы посвятили им целую книгу. Билл Гейтс назвал этот тип искусственного интеллекта «столь же важным, как компьютер или интернет» и сказал, что ChatGPT изменит мир³. Тысячи людей, включая Илона Маска и Стива Возняка, поддержали и подписали открытое письмо организации Future of Life Institute, в котором содержится призыв приостановить исследования и разработку этих моделей, пока человечество не будет лучше подготовлено к возможным рискам (см. http://mng.bz/847B). Это напомнило ситуацию, когда компания OpenAI в 2019 году уже создала предшественника ChatGPT, но заявила, что не будет выпускать полноценную модель из-за опасений ее неправильного использования⁴. Из-за всей этой шумихи, обилия противоречащих друг другу мнений и преувеличенных заявлений непросто продраться к сути и понять, на что LLM способны, а на что – нет. Но вам поможет это сделать наша книга. Кроме того, мы надеемся, что она послужит полезной опорой для понимания основных идей «ответственных технологий», включая конфиденциальность данных и алгоритмическую прозрачность, а также связанных с ними проблем.

Поскольку вы читаете эту книгу, возможно, вы уже кое-что знаете о генеративном ИИ. Вероятно, вы переписывались с ChatGPT или другим чат-ботом; может быть, этот опыт привел вас в восторг или даже встревожил. Эти реакции вполне понятны. В этой книге мы рассмотрим LLM детально и прагматично, поскольку считаем, что, несмотря на несовершенства, LLM появились, чтобы остаться надолго, и нужно, чтобы как можно больше людей помогали им лучше работать на благо общества.

Несмотря на шумиху, ChatGPT – это не глобальный технический прорыв, а скорее, очередной шаг в постепенном усовершенствовании быстро развивающейся области обработки естественного языка – больших языковых моделях. В частности, ChatGPT – это LLM, предназначенная для ведения диалогов; другие модели могут быть адаптированы для других целей или для общего использования в задачах по обработке естественного языка. Подобная гибкость – один из аспектов больших языковых моделей, который делает их такими производительными по сравнению с предшественниками. В этой главе мы дадим определение большим языковым моделям и обсудим, как они достигли таких преимущества в области обработки естественного языка.