В некоторых отношениях большие языковые модели являются естественным развитием предшествующих моделей нейронных сетей. До того, как архитектура трансформера позволила эффективно создавать все более объемные модели, было уже хорошо известно о корреляции между размером модели и ее производительностью в разнообразных задачах NLP, и во многих случаях такое улучшение не вызывало удивления и вполне укладывалось в эмпирически известный «эффект масштаба». Однако LLM также показали поведение, которое никто не мог предсказать, исходя только из «эффекта масштаба», – так называемые эмерджентные свойства. В исследовании 2022 года, посвященном эмерджентным способностям LLM, авторы определяют эмерджентность как явление, «когда количественные изменения в системе приводят к качественным изменениям в поведении»¹. Другими словами, мы могли бы ожидать, что при решении конкретной задачи модель со 100 миллиардами параметров достигнет точности на 10 % большей, чем модель со 100 миллионами параметров. Но оказалось, что модель со 100 миллиардами параметров, то есть LLM, может выполнять задачи, которые не под силу маленьким моделям, причем неожиданным и непредсказуемым образом.

ЭМЕРДЖЕНТНЫЕ СВОЙСТВА – это способности, которые проявляются у LLM очень больших размеров, причем их поведение качественно отличается от поведения моделей меньшего размера.