В данном параграфе мы продемонстрируем возможности использования подхода, основанного на тематическом моделировании (topic modeling) для идентификации пропаганды в СМИ. Отметим, что, насколько нам известно, описанный подход для выявления столь семантически нечеткого явления, как пропаганда, предлагается впервые.

Данный инициативный исследовательский проект осуществлялся в апреле – июне 2020 г. международным коллективом, в который входили медиаэксперты О. Г. Филатова (Россия), Дж. М. Ионеску (Румыния) и группа исследователей из Казахстана под руководством профессора Р. И. Мухамедиева (основной исполнитель – К. О. Якунин). Опыт коллег из Казахстана, которые в течение последних лет выполнили серию проектов[154], ориентированных на применение систем искусственного интеллекта в различных прикладных областях исследований на стыке машинного обучения, обработки естественного языка и изучения социума, активно задействовался в рамках представленного ниже исследовательского проекта[155].

Как уже отмечалось, в данном проекте использовался подход по выявлению текстов с пропагандистским содержанием с применением тематической модели корпуса текстов.

Анализ больших объемов текстовой информации в настоящее время обеспечивается методами автоматической обработки естественных языков (natural language processing). Эти технологии позволяют пользователям собирать информацию из больших объемов текстовых данных[156], обеспечивают анализ контента[157], персонализированный доступ к новостям[158] и даже поддерживают их производство и распространение[159]. Впечатляющие результаты в области автоматической обработки естественных языков, согласно современным исследованиям[160], стали возможны благодаря достижениям в развитии методов машинного обучения, многократному увеличению вычислительной мощности, наличию большого объема лингвистических данных и развитию понимания структуры естественного языка в приложении к социальному контексту.

Проблема автоматической классификации текстов с пропагандистским содержанием рассматривается в ряде работ[161], однако количество публикаций по этой теме на порядок меньше, чем, например, количество исследований в области анализа тональности текстов (sentiment analysis). Объем размеченных по пропагандистскому содержанию корпусов (наборов данных для обучения моделей) также невелик. Так, в одной из публикаций[162] представлен подход, основанный на «мешке слов» (bag-of-words). Метод «мешка слов» учитывает лишь частоту встречаемости слов в документе вне зависимости от места расположения слова. Данный метод позволил классифицировать пропаганду на уровне отдельных предложений с показателем качества F1 Score – 0,6. F1 score, или гармоническая мера, объединяет ошибки первого и второго рода в процессе классификации. С некоторой долей условности можно считать, что метод правильно классифицирует пропаганду примерно в 60 % случаев.

Одним из методов, продуктивно применяемых в области обработки естественных языков, является тематический анализ, или тематическое моделирование. Тематическое моделирование – это метод, основанный на статистических характеристиках коллекций документов, который используется в задачах автоматического реферирования, извлечения информации, информационного поиска и классификации[163]. Смысл данного подхода заключается в интуитивном понимании того, что документы в коллекции образуют группы, в которых частота встречаемости слов или сочетаний слов различается. Основой современных тематических моделей является статистическая модель естественного языка. Вероятностные тематические модели описывают документы дискретным распределением на множестве тем, а темы – дискретным распределением на множестве терминов или слов[164]. Другими словами, тематическая модель определяет, к каким темам относится каждый документ и какие слова образуют каждую тему. Кластеры документов, относящихся к совокупности тем, формируемых в процессе тематического моделирования, в частности, позволяют решать задачи синонимии и полисемии терминов[165].

Предложенный нами подход отличается от существующих тем, что анализ происходит не на уровне отдельных предложений или слов, а на более высоком уровне абстракции – на уровне так называемых топиков (групп текстов, объединенных единой темой), к которым тексты могут иметь большее или меньшее отношение. При этом тексты, которые могут описывать и несколько тем, могут входить в несколько топиков одновременно с разным уровнем сопричастности. Однако данный подход требует корпуса текстов большого объема (как минимум сотни тысяч документов), а также явного свойства публикаций, по которому можно провести разделение корпуса (например, по источнику публикации).

Предложенная модель была разработана в связи с тем, что классический подход к классификации текстов предполагает наличие значительного объема размеченных вручную текстов из заданного корпуса, то есть в зависимости от подхода и корпуса может потребоваться от тысяч до сотен тысяч и даже миллионов размеченных вручную текстов. В то время как для анализа тональности и других более изученных задач используется большое количество размеченных корпусов достаточного объема из самых разных областей (посты в социальных сетях, отзывы и обзоры, комментарии и т. п.), существует также множество задач с явной нехваткой размеченных данных – к таким задачам как раз и относится идентификация пропаганды, а также, например, социальной значимости, резонансности (популярности) публикаций и т. д. Мы предложили модель, которая может успешно применяться даже при наличии минимального объема ручной разметки (в данном исследовании проводится разметка новостных источников) либо вообще без ручной разметки. Последний вариант возможен в случае, когда есть некое явное свойство публикаций, которое коррелирует с целевым (неявным) свойством. Например, если целевое свойство – это потенциальная популярность, то есть резонансность, публикации, его можно связать с объективными показателями вовлеченности пользователей: просмотры, комментарии, лайки, репосты.

Предложенная модель также может быть рассмотрена как альтернативный подход к использованию принципа transfer learning[166], поскольку она учитывает эффективное векторное представление (embedding), основываясь на большом объеме неразмеченных данных. Следовательно, даже те документы, которые невозможно отнести к определенному подкорпусу (или для которых явное свойство, например вовлеченность пользователей, неизвестно), все еще могут применяться на этапе тематического моделирования для получения более эффективных векторных представлений.

Предложенный метод состоит из четырех этапов:

1) формирование корпуса текстов и его разделение на подкорпусы с использованием некоего явного (объективного) свойства публикаций (для данной работы это новостной источник).

2) расчет тематической модели полного корпуса;

3) оценка меры межкорпусного тематического дисбаланса;

4) экстраполяция полученных оценок дисбаланса на все документы корпуса, включая те, для которых значение явного свойства (см. этап 1) неизвестно (например, когда уровень пропагандистского содержания новостного источника оценить затруднительно или он неизвестен).

Теперь остановимся на каждом этапе подробнее.

Этап 1. Формирование корпуса текстов. Мы сформировали корпус новостных публикаций из открытых русскоязычных новостных источников. Предложенный метод предполагает, что корпус должен быть разделен на два или более отдельных корпусов на основании некоего явного свойства (в данном случае новостной источник публикации) с целью выявить особенности, позволяющие определить некое неявное целевое свойство (в данном случае идентификации пропаганды в тексте публикации).

Для наиболее точного исследования мы решили проанализировать пропагандистские СМИ с явно субъективной риторикой и сравнить их с теми медиа, чья риторика является более объективной.

Русскоязычные СМИ в Российской Федерации на момент исследования были представлены государственными холдингами, контролирующими и курирующими деятельность данных СМИ, частными, или независимыми, СМИ (так называемыми оппозиционными, или либеральными, медиа) и иностранными СМИ публичной дипломатии, вещающими на русском языке, принадлежащими правительствам США, Великобритании, Германии и Франции, которые в России зарегистрированы в качестве иностранных агентов в соответствии с Федеральным законом от 02.12.2019 № 426-ФЗ «О внесении изменений в Закон Российской Федерации “О средствах массовой информации” и Федеральный закон “Об информации, информационных технологиях и о защите информации”». Существуют также два государственных средства массовой информации, Sputnik и RT, но из-за внутреннего регулирования их деятельности, их целевая аудитория – это не граждане России, а граждане стран СНГ.

Международные вещатели являются частью системы государственной публичной дипломатии, поэтому их риторика явно пропагандистская. Их цель – это продвижение имиджа и политических интересов государства в иностранном гражданском обществе. Поэтому мы решили проанализировать такие СМИ, как RT, Sputnik, «Радио Свобода»^*, «Телеканал Настоящее время»^* и Deutsche Welle^*.

В качестве СМИ, имеющих более объективную риторику, мы решили исследовать такие СМИ, которые менее вовлечены в политическую жизнь страны и которые концентрируются на освещении бизнес-среды или экономики. Мы проанализировали одно нейтральное информагентство (Interfax), три бизнес-ориентированных СМИ (РБК, «Ведомости», Business FM) и одну интернет-газету (Lenta.ru).

Таким образом, исходя из соображений, изложенных выше, мы разделили корпус, состоящий из 428 180 публикаций за 2018–2020 гг., на два корпуса в зависимости от их типа и источника:

1) Пропагандистские публикации (346 440 публикаций):

а) RT;

б) «Телеканал Настоящее время»^*;

в) «Радио Свобода»^*;

г) Deutsche Welle^*;

д) Sputnik;

2) Условно объективные публикации (81 740 публикаций):

а) «Ведомости»;

б) Interfax;

в) Lenta.ru;

г) Business FM;

д) РБК.

Этап 2. Тематическое моделирование. Для построения тематической модели корпуса документов применяют: вероятностный латентно-семантический анализ (probabilistic latent semantic analysis, PLSA), суммирующая регуляризация тематических моделей (additive regularization of topic models, ARTM)[167] и весьма популярное латентное размещение Дирихле (latent Dirichlet allocation, LDA)[168]. Последнее может быть выражено следующим равенством:

представляющим сумму смешанных условных распределений по всем темам множества T, где p(w|t) условное распределение слов в темах, p(t|m) условное распределение тем по новостям. Переход с условного распределения p(w|t,m) на p(w|t) осуществляется за счет гипотезы условной независимости, согласно которой появление слов в новостях m по теме t зависит от темы, но не зависит от новости m и есть общее для всех новостей. Данное соотношение справедливо, исходя из допущений об отсутствии необходимости сохранения порядка документов (новостей) в корпусе и порядка слов в новости; помимо этого, метод LDA предполагает, что компоненты φwt и θtm порождены непрерывным многомерным вероятностным распределением Дирихле. Целью алгоритма является поиск параметров φwt и θtm путем максимизации функции правдоподобия с соответствующей регуляризацией.

Для определения оптимального количества тематических кластеров Т часто применяется метод максимизации значения когерентности, рассчитанной с применением UMass-метрики[169].

Этап 3. Оценка межкорпусного дисбаланса. Следующий этап – определение межкорпусного дисбаланса в распределении новостных публикаций разных корпусов в рамках каждого отдельного топика. Эта мера дисбаланса рассматривается как оценка влияния принадлежности к данному топику на целевой показатель (пропаганду), поскольку изначальное разделение на корпусы мы провели на основании явного объективного свойства (новостной источник), исходя из предположения, что существует присущий этому разделению дисбаланс между данными двумя корпусами: между пропагандой и условно объективной информацией.

Формула меры дисбаланса:

В данной формуле D_ticj – мера дисбаланса представленности документов из корпуса c_j в топике t_i , а w_dktlcm – вес принадлежности документа d_k из корпуса c_m к топику t_l.

Этап 4. Экстраполяция результатов. Последним этапом предложенного метода является применение полученной тематической модели и оценок дисбаланса для получения классификации каждого отдельного документа. Для этого существует две основные причины:

1) несмотря на то что были выбраны пропагандистские и условно объективные источники, распределение пропагандистского содержания в новостях, безусловно, неравномерно, то есть пропагандистские публикации могут быть размещены в условно объективных источниках и наоборот;

2) как упоминалось выше, не все источники можно отнести к одному из двух корпусов: пропагандистское содержание определенных источников бывает сложно оценить однозначно, поскольку в разные периоды времени, в разных разделах и у разных авторов интенсивность пропагандистского содержания может сильно варьироваться.

Для агрегации оценок межкорпусного дисбаланса с весами отношения документов к каждому топику можно применить несколько подходов:

1) просто взвешенное среднее, которое было использовано для получения результатов, описываемых в данном параграфе;

2) байесовский подход к агрегации, рассматривающий субъективные вероятности отношения документа к заданному критерию[170];

3) полуобучаемый (semi-supervised) подход[171], дающий возможность предобучить модель на результатах, полученных путем применения описываемого подхода, а затем провести дообучение (fine _tuning) модели на вручную размеченном наборе текстовых данных, с тем чтобы увеличить качество ее работы.

Для проведения валидации предложенной модели была сформирована репрезентативная случайная выборка, включившая тысячу публикаций из оригинального корпуса, исключенных из процесса тематического моделирования и расчета мер межкорпусного дисбаланса. Эти публикации были вручную размечены экспертами по шкале Лайкерта от –2 до +2, где –2 – это условно объективная публикация, а +2 – пропагандистская.

Затем модель была применена к этой выборке для расчета метрик качества работы модели. Шкала Лайкерта была линейно нормализована в интервале от 0 до 1, экстраполированные оценки пропаганды также были нормализованы от 0 до 1. На основании полученных значений была рассчитана корреляция Пирсона. Коэффициент корреляции Пирсона показывает меру взаимосвязи между экспертной разметкой и результатами модели. Коэффициент может варьироваться от 0 до 1, где 0 – полное отсутствие взаимосвязи, а 1 – полная четкая связь между двумя показателями. При этом в гуманитарных исследованиях корреляция более высокая, чем 0,2–0,3, на выборке достаточного объема считается доказательством наличия слабой, но достоверной связи между показателями.

Затем объектам были присвоены классы: публикации с оценкой выше 0,5 были отнесены к классу «пропаганда», а с оценкой ниже 0,5 – к классу «объективные». Эти данные были использованы для расчета метрик качества классификации – точности (precision) и площадью под ROC-кривой (ROC AUC, receiver operating characteristic curve, area under curve)[172].

Под точностью здесь понимается доля корректно распознанных моделью примеров: то есть точность 0,83, например, означает, что 83 % размеченной выборки были распознаны моделью верно. ROC AUC является обобщенной метрикой оценки моделей машинного обучения, устойчивой к дисбалансу классов.

ROC AUC 0,5 свидетельствует о том, что модель не обладает предсказательной способностью (работает полностью случайно). ROC AUC больше 0,6 считается показателем слабой предсказательной способности, а ROC AUC выше 0,9 – показателем очень высокого качества распознавания. В исследованиях, связанных с медицинской диагностикой, модель обычно считают приемлемой для использования на практике при ROC AUC выше 0,9–0,95[173].

В табл. 1 порог классификации показывает, какие нормированные значения результатов работы модели рассматривались в качестве результатов с достаточной уверенностью. Например «< 0,4 или > 0,6» означает, что значения между 0,4 и 0,6 относились к классу «неизвестно/спорно», результаты меньше 0,4 – к классу «объективные», выше 0,6 – к классу «пропаганда». Это связано с тем, что при экспертной разметке выяснилось: многие документы затруднительно точно отнести к тому или иному классу. Соответственно, необходимо было проверить, что предложенная модель позволяет отличить не только пропаганду от непропаганды, но и пропаганду от спорных/трудных для классификации статей.

Таблица 1. Результаты верификации модели

Даже без такого порога модель демонстрирует достаточную предсказательную способность (ROC AUC 0,73, точность 64 %), тогда как с порогом «< 0,3 или > 0,7» предсказательная способность очень высокая (ROC AUC 0,95, точность 88 %). Это означает, что на предельных значениях модель работает значительно более точно, но она все равно позволяет отличить те новости, которые затруднительно отнести к классу «пропаганда».

Следует добавить также, что объективные новости распознаются чуть лучше, чем пропаганда, хотя и незначительно. Можно заметить, что полнота (recall) гораздо больше у объективного класса (0,83 против 0,58). Это значит, что модель из всех объективных новостей нашла 83 % таких новостей, а из всех пропагандистских – только 58 % таких новостей. Точность (precision) при этом примерно одинаковая (0,71 и 0,74). Следовательно, из тех новостей, которые модель назвала объективными, 71 % действительно таковыми являются, а из тех новостей, которые модель назвала пропагандистскими, таковых 74 %.

Таким образом, указанная модель позволяет получить высокую предсказательную способность при минимально возможном объеме ручной экспертной разметки. Мы предлагаем использовать высокоуровневую разметку корпуса по некоему явному свойству, которое должно иметь достаточную связь (корреляцию) с целевым неявным свойством. В данном случае разделение происходило по новостным источникам, однако можно применить и другие варианты разделения на корпусы, включая автоматические.

Резюмируем. Мы провели валидацию работы модели на случайной выборке из тысячи новостей, которая показала высокую предсказательную способность – точность от 64 до 88 % в зависимости от порога классификации. Проведенная работа ожидаемо подтвердила, что оценивать уровень пропаганды довольно сложно как для экспертов, так и для машины.

Конечно, встречаются очень яркие образцы пропагандистского контента, но тем не менее часто заведомо «пропагандистские» СМИ пишут не только пропагандистские статьи. И наоборот, не все условно объективные источники всегда объективны. К тому же уровень журналистского мастерства разный в разных СМИ, и нередко встречаются публикации низкого качества, что затрудняет понимание смысла. Поэтому в дальнейшем следует более тщательно подходить к отбору конкретных массмедиа, а также постепенно расширять перечень СМИ и уточнять, какие СМИ относятся к какому корпусу. Можно использовать для эксперимента такие медиа, например, где будет больше крайних, ярких вариантов пропаганды, или расширять базу, чтобы туда попадало больше таких крайних вариантов. И каждый текст должны распознавать хотя бы три эксперта, что повысит точность идентификации пропаганды. Экспертные оценки в первую очередь нужны для того, чтобы валидировать работу модели, но в перспективе такая экспертная разметка отдельных документов может использоваться для дообучения модели.

Конечно, машина пока не способна полностью заменить человека, но она может значительно сократить трудозатраты экспертов по выявлению пропагандистского контента. Использованный нами метод ограничен корпусом документов, текущим набором тематик и т. п. Но тем не менее при всех ограничениях был получен высокий результат. Возможности для дальнейшего исследования включают применение предложенной методики к другим задачам классификации текстов, таким как тональность, социальная значимость, резонансность, а также использование других методов агрегации оценок, в том числе байесовской агрегации и полуконтролируемого подхода к агрегации.