Темы этой главы

• Как происходит обучение LLM

• Знакомство с эмерджентными [29] свойствами LLM

• Какие уязвимые и слабые места остаются после обучения LLM

На протяжении десятилетий цифровая экономика опиралась на данные. Цифровая экономика, основанная на сборе и обмене информацией о том, кто мы такие и чем занимаемся в интернете, оценивается в триллионы долларов, и чем больше наших повседневных дел перемещается в онлайн, тем больше зерна попадает в ее жернова. Так появилось изобретение эпохи интернета – большие языковые модели, которые способны имитировать человеческий язык, поглощая терабайты [30]данных из интернета.

Этот процесс привел нас как к предсказуемым, так и к непредсказуемым результатам. В частности, возникли серьезные вопросы о том, что содержится в наборах данных, которые потребляют большие языковые модели (LLM) и как предотвратить воспроизведение ими нежелательного текста из обучающего набора. При сборе данных в таких масштабах в них неизбежно будет попадать личная информация, некачественный и оскорбительный контент или спам, но как с этим бороться – это еще одна проблема. LLM того масштаба, который мы сейчас наблюдаем, демонстрируют множество возможностей, которых нет у маленьких языковых моделей. Эти качества делают LLM более привлекательными для различного применения и гарантируют, что гонка за все большими объемами данных и все более крупными моделями не закончится в ближайшее время.

В этой главе мы более детально познакомимся с тем, как происходит обучение LLM, дабы понимать, что делает их уникальными по сравнению с предыдущими моделями и почему их характеристики создают как новые возможности, так и потенциальный вред и уязвимости.