В мае 2023 года в интернет просочился внутренний документ исследователей Google «У нас нет уникального конкурентного преимущества, и у OpenAI его тоже нет», в котором говорилось, что ни у Google, ни у OpenAI нет решающих преимуществ в гонке за искусственный интеллект. «Пока мы препирались, третий участник игры перехватил инициативу. Я говорю, конечно, о свободном программном обеспечении. Проще говоря, они нас обгоняют»³⁵. В документе авторы делают вывод, что «модели с открытым исходным кодом работают быстрее, обеспечивают лучшую приватность, они более настраиваемые и эффективные по сравнению с другими».

В главе 4 мы кратко обсудили движение за свободное ПО и на протяжении всей книги уделили особое внимание LLM с открытым исходным кодом. Учитывая их значительный вклад в экосистему LLM, мы более подробно остановимся на этом движении и его влиянии в гонке за ИИ, а также на положительных результатах и негативных последствиях. В определенном смысле 2023 год можно считать золотой эпохой для LLM с открытым исходным кодом. Заинтересованное в решении проблем, связанных с проприетарными (с закрытым исходным кодом) моделями, сообщество разработчиков свободного ПО укрепило свое положение благодаря совместному созданию функций, интеграций и даже целой экосистемы, вращающейся вокруг LLM. В документе Google авторы пытались разобраться с тем, какие последствия деятельности этого сообщества проявятся для проприетарных LLM.

Во-первых, давайте обсудим мотивацию движения за свободное ПО для LLM. Кроме того, что в проприетарных LLM данные и методы хранятся в тайне – и это вызывает опасения о предвзятости и прозрачности модели, – они также контролируются небольшой группой крупных технологических игроков. И наоборот, в LLM с открытым исходным кодом приоритет отдается прозрачности и сотрудничеству. Это дает разнообразие точек зрения, сводит к минимуму предвзятость, стимулирует инновации и в конечном итоге делает технологию более демократичной. Как подчеркнули исследователи Google, значительный прогресс, достигнутый сообществом разработчиков свободного ПО, не нужно недооценивать.

Весовые коэффициенты модели LLaMa, представленной исследовательскому сообществу 24 февраля 2023 года, неделей позже были слиты на 4chan (см. раздел 1.6.4). Хотя лицензия LLaMa на тот момент запрещала коммерческое использование, сообщество разработчиков LLM получило полную свободу делать с весовыми коэффициентами модели все что угодно. Внезапно любой желающий получил возможность проводить эксперименты с мощной и производительной на уровне GPT‐3+ большой языковой моделью. Чуть больше чем через неделю после утечки весовых коэфициентов, в Стэнфорде выпустили модель Alpaca – разновидность LLaMa, для которой была проведена тонкая настройка всего за пару сотен долларов. Исследователи из Стэнфорда сделали исходный код Alpaca открытым, показав разработчикам по всему миру, как проводить необходимую им тонкую настройку модели с минимальными затратами, что стало важной вехой в демократизации LLM. Это дало начало быстрым инновациям в сообществе разработчиков свободных LLM и вскоре привело к появлению нескольких моделей, непосредственно основанных на Alpaca или созданных по ее подобию. Всего через несколько дней были выпущены Vicuna, GPT4All и Koala. В каталоге моделей Hugging Face можно найти варианты моделей LLaMa (и Llama 2), которые прошли тонкую настройку. В июле 2023 года было принято решение сделать Llama 2 свободной как для исследовательского, так и для коммерческого использования, заявив: «На данный момент мы наблюдаем невероятный отклик – более 150 000 запросов на скачивание за неделю с момента выпуска, и нам не терпится узнать, что нас ждет в будущем»³⁶. На рис. 9.3 мы показали хронологию появления важных LLM с открытым исходным кодом, которые были выпущены в период между появлением LLaMa и Llama 2.

Рис. 9.3. Хронология появления некоторых свободных LLM в период между выпуском LLaMa и Llama 2

Такая активность разработчиков LLM с открытым исходным кодом не должна нас удивлять. Разработчики и другие технические обозреватели заявили, что LLM переживают такой же этап развития, который был у Stable Diffusion. Как обсуждалось в предыдущих главах, Stable Diffusion – модель для преобразования текста в изображение (см. https://stability.ai/stablediffusion), которая стала общедоступной 22 августа 2022 года с лицензией, допускающей свободное коммерческое и некоммерческое использование. Всего через несколько дней благодаря этому событию произошел взрыв инноваций, дополнительно подогреваемый все более доступными и недорогими методами тонкой настройки, что привело к демократизации моделей преобразования текста в изображения. В отличие от DALL-E от OpenAI, Stable Diffusion имеет выстроенную вокруг нее богатую экосистему. Эта тенденция также напоминает рост числа альтернативных офисных пакетов с открытым исходным кодом, таких как LibreOffice или OpenOffice, в ответ на выпуск Office 365 от Microsoft.

Теперь, когда мы установили, что LLM с открытым исходным кодом получили толчок в развитии в 2023 году, стоит обсудить преимущества и недостатки свободных и проприетарных LLM (показаны в таблице 9.2). Мы уже подчеркивали важность прозрачности и открытости LLM, поскольку это способствует разнообразию взглядов, быстрым инновациям и минимизирует предвзятость. А также помогает снизить барьер входа и демократизирует влияние, которое сосредоточено в руках нескольких крупных технологических компаний. При развертывании LLM с открытым исходным кодом в безопасной среде появляется возможность обеспечить конфиденциальность данных, поскольку данные не отправляются для целей мониторинга или обучения моделей тем корпорациям, которые занимаются разработкой (обсуждается в главе 3). С другой стороны, у проектов с открытым исходным кодом может быть ряд недостатков и проблем, например: отсутствие централизованного управления, контроля качества, перспектив долгосрочного устойчивого развития, проблемы интеллектуальной собственности и другие. В отличие от проприетарных систем, которые имеют удобный API или веб-интерфейс, как ChatGPT, работа со многими LLM с открытым исходным кодом может требовать от пользователей определенного уровня технических знаний и опыта. Мы также должны подчеркнуть, что хотя прозрачность проектов с открытым исходным кодом помогает выявлять уязвимости, в то же время она позволяет злоумышленникам использовать слабые места в коде. Проприетарные LLM, как правило, проходят многомесячные испытания на безопасность и имеют меры защиты против генерации небезопасных ответов. К сожалению, LLM с открытым исходным кодом не обладают таким преимуществом, что может привести к катастрофическим последствиям в недобрых или даже благонамеренных руках.

Таблица 9.2. Характеристики LLM с открытым и закрытым исходным кодом

В главе 5 мы описали несколько способов, с помощью которых злоумышленники могут извлекать выгоду от использования LLM. Мы подробно рассмотрели роль, которую в связи с этим играют проприетарные LLM, однако важно отметить, что LLM с открытым исходным кодом также могут быть легко использованы для проведения злонамеренных атак: от извлечения выгоды через уязвимости, присущие LLM, до кибератак и операций влияния. Обладая некоторыми техническими знаниями и имея пару сотен долларов, злоумышленники могут легко провести тонкую настройку LLM с открытым исходным кодом, адаптировав ее для выполнения необходимой им задачи, а также обойти защитные механизмы, которые часто имеются в проприетарных LLM. Однако мы считаем, что у сообщества разработчиков открытого ПО тоже есть возможность совместно противостоять ненадлежащему использованию LLM или извлечению выгоды из них. Как мы уже подчеркивали в этом разделе, при разработке по принципам открытого исходного кода возникает шквал идей и инноваций, поэтому есть надежда, что сообщество, помими быстрой разработки новых LLM, также сосредоточит свои усилия на предотвращении использования моделей не по назначению или для проведения злонамеренных атак.

Наконец, мы хотим уделить внимание тем многочисленным способам, с помощью которых вы можете внести свой вклад в сообщество свободного ПО, независимо от вашего образования, навыков или опыта. Отличный способ подключиться к этой экосистеме – присоединиться к сообществу, например к Hugging Face (см. https://huggingface.co/) или scikit-learn (см. https://scikit-learn.org/). К таким сообществам несложно присоединиться, например участвуя в спринтах по разработке. Часто сообщества поддерживают определенные серверы или рабочие пространства в Slack, что облегчает выход на контакт с ключевыми разработчиками.

Если вы уже не новичок в LLM, то можете сразу приступить к изучению проектов с открытым исходным кодом и внести свой вклад в разработку. Для начала неплохо было бы найти LLM или инструмент с открытым исходным кодом, который вас заинтересовал, затем перейти на его репозиторий на GitHub и изучить в разделе README, как можно внести свой вклад. И даже если в репозитории нет раздела для участников, вы можете просто протестировать код и оставить отзыв. Вы можете улучшить функциональность LLM, исправить ошибки или даже внедрить новые функции. Вы также можете провести тестирование и сообщить о проблемах или ошибках, и это поможет улучшить качество и надежность проекта в целом.

Еще одним важным, но иногда недооцениваемым вкладом является создание документации и модерация сообщества. Вы можете создавать и поддерживать документацию, координировать действия участников и помогать пользователям эффективно использовать модель. Вы также можете написать публикацию в блоге или создать пошаговое видеоруководство, которое может быть чрезвычайно полезным для сообщества. Помимо технической помощи, вы можете активно участвовать в дискуссиях и форумах, чтобы создать открытую среду для инноваций и решения проблем. Вовлечение в жизнь сообщества также является отличным способом дать возможность широкому кругу пользователей взаимодействовать с моделью, обеспечить доступность и поддержать демократизацию технологии. Мы надеемся, что эти разнообразные способы вовлечения помогут вам почувствовать свой потенциал, внести вклад в сообщество разработчиков свободного ПО и создать более открытую и инновационную экосистему LLM.