Моделирование языка – это наиболее естественное применение языковых моделей. Одним из таких применений является продолжение текста – это задача прогнозирования следующего слова или символа в документе. Модель изучает особенности и характеристики естественного языка и генерирует следующее наиболее вероятное слово или символ. Эту технологию можно применять также для обучения больших языковых моделей, которые затем используются для широкого спектра задач на естественном языке, и некоторые из них мы обсудим в последующих разделах.

Выполнение задач моделирования языка часто оценивается по различным наборам данных. Это могут быть, например, задачи по моделированию отдаленных зависимостей, когда модель просят предсказать следующее слово в предложении, учитывая контекст всего предшествующего абзаца. Давайте рассмотрим пример задачи с отдаленной зависимостью¹³. Модели дается такой контекст:

«Он покачал головой, сделал шаг назад, поднял руки вверх и попытался улыбнуться. „Ты сможешь“, – ободряюще сказала Джулия. – „Я уже навела фокус на своего друга. Тебе нужно просто нажать кнопку затвора, вот здесь, сверху“».

А предложение, в котором модель должна предсказать последнее слово, звучит так: «Он с опаской кивнул и взял __________». Правильный ответ – слово «фотоаппарат».

Еще одной задачей, по которой можно оценить эффективность модели, является выбор наилучшего завершения рассказа, набора инструкций¹⁴ или выбор правильной финальной фразы в истории длиной в пару предложений. Давайте рассмотрим еще один пример со следующим рассказом¹⁵: «В комнату Карен заселили соседку-первокурсницу. Соседка пригласила ее поехать на концерт в соседний город. Карен с радостью согласилась. Шоу было поистине захватывающим». Наиболее вероятной концовкой и правильным ответом, ожидаемым от модели, было предложение: «Карен подружилась со своей соседкой по комнате», а наименее вероятной – «Карен ненавидела свою соседку по комнате».

Поскольку эти модели обучены создавать текст, напоминающий написанный человеком, они используются для генерации текста или генерации естественного языка (natural language generation, NLG). Они особенно полезны для диалоговых чат-ботов и автозаполнения [11], а также их можно тонко настроить для написания текстов в разных стилях и форматах, включая сообщения в социальных сетях, новостные статьи и даже программный код. Генерация текста выполнялась с использованием BERT, GPT и других моделей.