Говоря об особенностях стадий жизненного цикла для программного обеспечения, являющегося МИ, необходимо отметить, что за последние годы действующее законодательство существенно усовершенствовалось. При этом большая работа проведена отдельно для систем ИИ, что является крайне актуальным.
Так, в 2021–2022 гг. Росстандартом впервые утверждены и введены в действие национальные стандарты Российской Федерации серии «Системы искусственного интеллекта в клинической медицине»:
– Национальный стандарт РФ ГОСТ Р 59921.1-2022 «Системы искусственного интеллекта в клинической медицине. Часть 1. Клиническая оценка» [Национальный стандарт РФ ГОСТ Р 59921.1…];
– Национальный стандарт РФ ГОСТ Р 59921.2-2021 «Системы искусственного интеллекта в клинической медицине. Часть 2. Программа и методика технических испытаний» [Национальный стандарт РФ ГОСТ Р 59921.2…];
– Национальный стандарт РФ ГОСТ Р 59921.3-2021 «Системы искусственного интеллекта в клинической медицине. Часть 3. Управление изменениями в системах искусственного интеллекта с непрерывным обучением» [Национальный стандарт РФ ГОСТ Р 59921.3…];
– Национальный стандарт РФ ГОСТ Р 59921.4-2021 «Системы искусственного интеллекта в клинической медицине. Часть 4. Оценка и контроль эксплуатационных параметров» [Национальный стандарт РФ ГОСТ Р 59921.4…];
– Национальный стандарт РФ ГОСТ Р 59921.5-2022 «Системы искусственного интеллекта в клинической медицине. Часть 5. Требования к структуре и порядку применения набора данных для обучения и тестирования алгоритмов» [Национальный стандарт РФ ГОСТ Р 59921.5…];
– Национальный стандарт РФ ГОСТ Р 59921.6-2021 «Системы искусственного интеллекта в клинической медицине. Часть 6. Общие требования к эксплуатации» [Национальный стандарт РФ ГОСТ Р 59921.6…].
Новые национальные стандарты не имеют аналогов в мире и призваны регламентировать применение ИИ в клинической медицине, минимизировать вероятность причинения вреда пациентам вследствие некачественной работы системы ИИ, повысить уровень доверия к таким системам.
К 2027 г. планируется разработать 50 стандартов в области ИИ в здравоохранении. Кроме того, на сегодняшний день отдельные особенности регулирования МИ с технологиями ИИ уже включены в нормативные правовые акты в сфере обращения МИ или отражены в информационных письмах надзорного органа. Так, на подготовительном этапе разработчику программного обеспечения с технологией ИИ необходимо определить, будет ли его продукт относиться к МИ. Если программное обеспечение можно не считать МИ, то процесс разработки и внедрения, безусловно, облегчается. В том случае, если система ИИ может быть отнесена к МИ, перед использованием необходима ее регистрация.
В соответствии с Рекомендациями Коллегии Евразийской экономической комиссии от 12.11.2018 № 25 «О Критериях отнесения продукции к медицинским изделиям в рамках Евразийского экономического союза», Письмом Росздравнадзора от 13.02.2020 № 02И-297/20 «О программном обеспечении» программное обеспечение является МИ при условии соответствия его всем следующим критериям:
– представляет собой программу для электронно-вычислительной машины или ее модули вне зависимости от используемой аппаратной платформы, а также способов размещения программного обеспечения и предоставления доступа к нему (например, облачные сервисы, встраиваемые компоненты (плагины) и т. д.);
– не является составной частью другого МИ (должно быть универсальным, работать на любом оборудовании без подключения каких-то определенных медицинских устройств);
– предназначено производителем для оказания медицинской помощи (если ПО используется в медицинских организациях, но для других целей – работа бухгалтерии, медицинской статистики, администрирования, то оно не является МИ);
– результат действия программного обеспечения заключается в интерпретации в автоматическом режиме, в том числе с использованием технологий ИИ, или по заданным медицинским работником параметрам, влияющим на принятие клинических решений, набора данных.
Основную сложность при применении указанных критериев вызывает ответ на вопрос: какую обработку данных можно считать интерпретацией? Предлагается считать интерпретацией обработку клинических данных о пациенте, в результате которой формируется отсутствующая в исходных данных, содержательно новая, клинически значимая информация, необходимая и используемая при принятии клинического решения и (или) выполнении медицинского вмешательства [Столбов, 2019].
Не являются интерпретацией данных:
– отображение данных, полученных от МИ, в том числе в заданном формате;
– расчет по заданным формулам;
– перевод между единицами измерения;
– построение статистических отчетов и графиков;
– растровый или векторный редактор изображений;
– сигнализация отклонений в данных при наличии возможности отображения исходных данных и при условии задания параметров сигнализации отклонений пользователем;
– функции создания экранных форм, бизнес-процессов, отчетности и иных представлений, которые используются для автоматизации бизнес-процессов медицинской организации в процессе эксплуатации программного обеспечения.
Примеры программного обеспечения, которое не относится к МИ:
1. Программное обеспечение, предназначенное для автоматизации административно-хозяйственной деятельности медицинской организации.
2. Программное обеспечение, включая мобильные приложения, предназначенное производителем для целей содействия здоровому образу жизни и для формирования у людей ответственного отношения к сохранению и укреплению здоровья, поддержанию активного долголетия, которое измеряет/рассчитывает количество шагов, скорость ходьбы/бега, пульс, количество потраченных и/или потребленных калорий/жидкости, вес, индекс массы тела и т. п.
3. Медицинские информационные системы медицинской организации, лабораторные информационные системы, программное обеспечение для ведения электронных медицинских карт, системы архивирования и передачи изображений, если такое программное обеспечение не содержит функций интерпретации данных.
4. Программное обеспечение, включая его обновление, применяемое для управления МИ и контроля за его работоспособностью.
5. Программное обеспечение, которое использует данные, полученные от одного или нескольких МИ, но не предназначено для оказания медицинской помощи. Например, программное обеспечение, которое шифрует и (или) объединяет данные (в том числе данные пациентов), полученные от одного или нескольких МИ, для их дальнейшей передачи.
6. Программное обеспечение для обмена текстовыми и (или) голосовыми сообщениями, электронными документами, фотографическими изображениями, видео-, аудиозаписями / потоками и иными данными между медицинским работником и пациентом, их регистрации, хранения и предоставления к ним доступа при оказании медицинской помощи, в том числе с применением телемедицинских технологий, или для записи на прием.
7. Программное обеспечение для учета, планирования и контроля за выполнением мероприятий регламентного технического обслуживания и планового ремонта МИ.
8. Программное обеспечение для неограниченного круга пользователей в образовательных, научно-популярных, справочно-информационных целях, в том числе для выбора медицинского специалиста.
Если программное обеспечение просто принимает, хранит и передает «как есть» медицинскую информацию – пусть даже при оказании медицинской помощи, – такое программное обеспечение не является МИ (например, системы ведения электронных медицинских карт, системы обмена и хранения медицинских изображений и т. д.).
Указанные критерии позволяют не считать МИ многие распространенные в клиниках медицинские информационные системы, «электронные регистратуры», мобильные приложения для пациентов по здоровому образу жизни.
Примеры программного обеспечения, которое относится к МИ:
1. Программное обеспечение для просмотра врачом индивидуальной анатомической 3D-модели на основе изображений компьютерной томографии, соответствующее следующим критериям:
– функция интерпретации – вычисление дистанции между двумя точками анатомической 3D-модели;
– источник набора данных – компьютерный томограф;
– предназначение – использование врачами-рентгенологами, в том числе при оказании экстренной помощи;
– аппаратная платформа – смартфон или планшет;
– способ предоставления доступа – магазин приложений.
2. Программное обеспечение поддержки принятия врачебных решений при инсульте, соответствующее следующим критериям:
– функция интерпретации – дифференциация между ишемическим и геморрагическим инсультом на основе диагностических изображений;
– источник набора данных – компьютерный или магнитно-резонансный томограф;
– предназначение – использование врачами-реаниматологами, нейрохирургами и неврологами в нейрореанимациях и сосудистых центрах, в том числе при оказании экстренной помощи;
– аппаратная платформа – любая с поддержкой web-браузера;
– способ предоставления доступа – интернет-сайт по SaaS-модели лицензирования.
3. Программное обеспечение для помощи врачу в диагностике аритмии, соответствующее следующим критериям:
– функция интерпретации – анализ данных о сердечном ритме для диагностики аритмии;
– источник набора данных – пульсоксиметры с интерфейсом беспроводной передачи данных;
– предназначение – использование врачами любой специальности, в том числе при оказании экстренной помощи;
– аппаратная платформа – смартфон;
– способ предоставления доступа – магазин приложений.
4. Программное обеспечение для помощи врачу в диагностике злокачественных новообразований, соответствующее следующим критериям:
– функция интерпретации – построение карты патологических изменений поверхности кожи, вычисление их фрактальной размерности для оценки степени вероятности их злокачественности;
– источник набора данных – медицинские работники посредством фотографирования встроенной камерой смартфона;
– предназначение – использование врачами-дерматовенерологами на первичном приеме;
– аппаратная платформа – смартфон;
– способ предоставления доступа – сайт разработчика.
Таким образом, если будущая система ИИ относится к МИ, после разработки проводятся испытания для прохождения государственной регистрации.
Необходимо отметить особенности проведения технических испытаний МИ с технологией ИИ. Заявителем первоначально предоставляются в испытательную организацию:
– вместо фотографического изображения общего вида МИ цветные фотографические изображения электронного носителя и интерфейса программного обеспечения (размером не менее 18 × 24 см);
– копии протоколов предварительных испытаний МИ (для остальных МИ – при наличии), включая отчеты о тестировании, валидации и верификации программного обеспечения;
– ссылка на ресурс в информационно-телекоммуникационной сети Интернет, с которого может быть загружено программное обеспечение (в случае отсутствия электронного носителя), а также перечень предоставленных производителем (изготовителем) ключей, паролей доступа;
– документы производителя, содержащие сведения о жизненном цикле медицинского изделия;
– другие документы, предусмотренные для всех МИ.
В частности, должны быть представлены сведения об эксплуатационных параметрах системы ИИ (параметрах функционирования, характеризующих качественно и/или количественно технические возможности системы ИИ с точки зрения ее назначения).
Эксплуатационные параметры систем ИИ подразделяют на следующие категории:
– по точности;
– назначению;
– входным данным;
– принципу организации обучения;
– производительности;
– системной совместимости.
С точки зрения точности эксплуатационные параметры включают:
– долю ошибок 1-го (ложноположительный результат) и 2-го рода (ложноотрицательный результат) при принятии решений системой ИИ;
– показатели эффективности (чувствительность, специфичность, прогностическая ценность и др.).
Значение чувствительности предоставляет информацию о том, насколько четко система ИИ обнаруживает заболевание.
Пример. Тест, который положителен у 8 из 10 пациентов, при наличии заболевания имеет чувствительность 80 %.
Значение специфичности предоставляет информацию о том, насколько система ИИ правильно идентифицирует исследования пациентов при отсутствии заболевания.
Пример. Тест, который отрицателен у 9 из 10 пациентов, при отсутствии заболевания имеет специфичность 0,9 (или 90 %).
Положительная прогностическая ценность является долей пациентов с позитивным результатом, оцененным системой ИИ, у которых в действительности присутствует заболевание.
Пример. Если 9 из 10 положительных результатов тестов верны (истинно положительные результаты), то значение положительной прогностической ценности составляет 90 %.
Отрицательная прогностическая ценность является долей пациентов с отрицательным результатом, оцененным системой ИИ, у которых в действительности отсутствуют признаки наличия заболевания.
Пример. Если 8 из 10 отрицательных результатов теста корректны (истинно отрицательные), тогда отрицательная прогностическая ценность составляет 80 %.
Рабочие характеристики системы ИИ должны быть обеспечены изготовителем не ниже уровня, заявленного в технической документации, в течение всего срока эксплуатации.
Эксплуатационные параметры по назначению:
– тип принимаемого решения (бинарное, вероятностное и др.);
– количество заключений системы ИИ.
Эксплуатационные параметры по входным данным:
– разнородность входных данных (например, количество разных типов диагностических МИ, информацию с которых система ИИ способна обработать; диапазон разрешений изображений, способность обрабатывать зашумленные и искаженные данные (перевернутые снимки грудной клетки или наличие на снимке посторонних объектов));
– формат входных данных (тип входных данных для системы ИИ (например, изображение, текст, сигнал и др.));
– тип анализируемого объекта (статические и динамические медицинские изображения (фотографии, результаты компьютерной томографии, магнитно-резонансной томографии, ультразвукового исследования, рентгенографии) органов, костей, кожного покрова; результаты инструментальных (в том числе электрофизиологических), лабораторных исследований; медицинские документы, а также представленные вербально объекты – речь пациента или пользователя (врача) и др.).
Эксплуатационные параметры по принципу организации обучения систем ИИ:
– способ обучения в процессе эксплуатации (повторное обучение (обновление модели путем обучения на новых данных), непрерывное обучение (последовательное обучение, которое происходит на постоянной основе на всем этапе эксплуатации жизненного цикла));
– тип используемых во время обучения данных (обучение с учителем, без учителя, полуконтролируемое);
– адаптируемость к новым типам данных (например, возможность изменения модальности оборудования для системы ИИ, применяемой в лучевой диагностике, или расширение перечня детектируемых патологий).
Эксплуатационные параметры по производительности:
– режим обработки данных с точки зрения времени, прошедшего между формированием входных данных и их обработкой системой ИИ (условно реальное время, обработка с задержкой; обработка по запросу);
– производительность системы ИИ (количество принимаемых решений в единицу времени при заданных вычислительных ресурсах не зависит от свойств среды передачи данных и пропорциональна производительности вычислительных ресурсов, должна быть выше, чем у врача-специалиста);
– параметр вычислительных ресурсов (рекомендуемые изготовителем системные требования, достаточные для достижения минимального заявленного показателя производительности);
– параметр сетевых ресурсов (необходимая ширина канала, количество каналов с учетом допустимого времени задержки получения результата анализа системы ИИ конечным пользователем исходя из прогнозируемых размеров входных данных);
– масштабируемость системы (способность или неспособность системы ИИ оперативно увеличивать производительность за счет наращивания аппаратных мощностей и распределения нагрузки);
– вид сетевой архитектуры (тип организации связи узлов системы ИИ: распределенная, централизованная, локальная).
Эксплуатационные параметры по системной совместимости:
– требования к среде функционирования (условия, необходимые для функционирования системы ИИ в вычислительной системе (например, операционная система, программные компоненты));
– взаимодействие с техническими системами сбора данных (сторонними информационными системами (например, наличие программного интерфейса для взаимодействия с оборудованием различных изготовителей));
– программная совместимость (например, интеграция со сторонними информационными системами).
В случае принятия испытательной организацией решения о возможности проведения технических испытаний в испытательную организацию предоставляются образцы МИ, специальное оборудование для технических испытаний, ряд дополнительных документов. Заявителю МИ, являющегося программным обеспечением, в том числе с применением технологий ИИ, не нужно предоставлять предусмотренное для большинства других МИ разрешение Росздравнадзора на ввоз на территорию РФ (в случае ввоза) для целей государственной регистрации. Специальное оборудование и (или) программное обеспечение, тестовые базы данных, разработанные производителем для технических испытаний МИ, предоставляются при наличии.
Технические испытания систем ИИ проводятся для подтверждения и предоставления объективных доказательств того, что система:
– была правильно спроектирована;
– корректно обрабатывает входные данные и генерирует точно и надежно выходные данные;
– соответствует заявленным изготовителем характеристикам.
При проведении клинических испытаний МИ с применением технологий ИИ особым условием является отсутствие требования предоставить в медицинскую организацию разрешение Росздравнадзора на проведение клинических испытаний, необходимое для большинства других МИ.
Система ИИ не оказывает непосредственного воздействия на пациентов и медицинский персонал, она выполняет интерпретацию данных и предоставляет результаты пользователю, в том числе с целью поддержки принятия решений. Несмотря на это, все заявления изготовителя в отношении уровней эффективности и безопасности изделия (в том числе указанные в маркировке и сопроводительной документации) должны быть подтверждены данными, полученными в ходе проведения клинических испытаний (исследований).
Проведение испытаний программного обеспечения, являющегося МИ, в том числе программного обеспечения с применением технологий ИИ, осуществляется с использованием медицинских данных пациентов, верифицированных медицинской организацией, полученных в ходе диагностики, лечения, реабилитации.
Система ИИ должна получить клиническую оценку, включающую аналитическую и клиническую валидацию, а также установление клинической связи, при этом в процессе проведения клинической оценки выполняют анализ эффективности, безопасности и качества системы ИИ при ее использовании по назначению.
Аналитическая валидация подтверждает способность системы ИИ точно, воспроизводимо и надежно генерировать предполагаемые результаты вычислений из входных данных. Аналитическая валидация включает:
– подтверждение и предоставление объективных доказательств того, что программное обеспечение было правильно сконструировано, а именно правильно и надежно обрабатывает входные данные и генерирует выходные данные с надлежащим уровнем точности, а также повторяемостью и воспроизводимостью;
– подтверждение того, что система ИИ соответствует заявленным требованиям изготовителя, требования к ней соответствуют потребностям пользователя и предполагаемому использованию.
В рамках оценки клинической связи (подтверждение свойства генерировать выходные данные, которые коррелируют с клиническими факторами исследуемого объекта) необходимо обосновать соответствие выходных данных системы ИИ заявленному изготовителем ее функциональному назначению.
Определяют клиническую связь путем анализа имеющихся данных или получения новой информации, обосновывающей наличие связи между выходными данными системы ИИ и функциональным назначением. В имеющиеся данные включают данные из научной литературы, документацию, рекомендации профессионального сообщества, проведенные предварительные технические испытания. В новую информацию, обосновывающую наличие клинической связи, включают анализ выходных данных в ходе выполнения клинических испытаний.
В рамках клинической валидации следует подтвердить способность системы ИИ выдавать клинически значимые выходные данные, соответствующие целевому назначению, в том числе в ходе клинической практики. Клиническая валидация состоит в оценке эффективности (подтверждение достижения намеченной цели в целевой выборке при практическом применении и использовании выходных данных) применения системы ИИ в рамках установленного функционального назначения.
С целью проведения клинической валидации системы ИИ разрабатывают дизайн клинического исследования и в соответствии с ним формируют набор данных. Клиническую валидацию осуществляют на наборе данных, который не был использован для обучения, настройки и первичной оценки системы ИИ. Помимо расчета показателей клинической валидации (чувствительность, специфичность и др.), на этом этапе следует протестировать устойчивость модели к изменениям входных данных (например, данные из иной медицинской организации, которая не участвовала в процессе обучения). По результатам оценки клинической связи и клинической валидации оформляют отчетные документы, подтверждающие результаты клинических испытаний (исследований) системы ИИ.
Нужно отметить, что проведение полноценных продуктивных клинических испытаний систем ИИ в достаточной мере ограничено. Сравнение различных алгоритмов глубокого обучения с медицинскими работниками по эффективности и производительности обнаружения заболеваний с помощью медицинских изображений показало, что ИИ в целом эквивалентен человеческому медицинскому суждению в определенных областях и контекстах, но в настоящее время мало внешне подтвержденных результатов [Liu et al., 2019].
Для программных МИ с технологиями ИИ в РФ применяется ускоренная процедура регистрации (урегулировано Постановлением Правительства РФ от 31.05.2018 № 633). Она представляет собой одноэтапную экспертизу без предварительного одобрения на клинические испытания.
При проведении экспертизы качества, эффективности и безопасности экспертиза заявления о государственной регистрации МИ с применением технологий ИИ и прилагаемых документов осуществляется в ускоренном порядке (одновременно с экспертизой полноты и результатов испытаний и исследований). Экспертиза, оформление заключения по ее результатам и направление его в регистрирующий орган проводятся в сжатые сроки (не более 10 рабочих дней). Таким образом, можно отметить тенденцию к упрощению регистрационных процедур для программных МИ, в том числе с применением технологий ИИ, несмотря на то что данные технологии автоматически относят изделие к высокому классу риска. Достаточно остро стоит вопрос о необходимости и дальнейшего упрощения процедуры регистрации.
В то же время вопрос полной оценки, тестирования систем ИИ стоит довольно остро, в первую очередь при разработке и внедрении систем ИИ на основе глубокого обучения, которое широко используется, в частности, в лучевой диагностике. Точность, практическая ценность напрямую зависят от количества и качества данных для обучения, тонкой настройки и тестирования. При этом отличие медицинских данных от данных в других областях, в которых активно используется машинное обучение (банковская сфера, сфера услуг), заключается в исторически сложившейся культуре ведения медицинских карт, отсутствии или минимальном структурировании и ограниченном сопоставлении различных исследований одного пациента.
В связи c этим крайне важно формирование аннотированных медицинских датасетов для обучения и проверки систем ИИ. Датасет – структурированный набор информации (данных), объединенной по определенным логическим принципам, пригодный для машинной обработки компьютерными методами анализа данных. Датасет характеризуется наличием содержимого (наблюдения, значения, записи, файлы и др.), цели (например, база знаний, использование для определенной задачи), группировки (агрегация и организация содержимого в наборы, коллекции и др.), связанности (отношение к субъекту, интегрированность, логическая коллекция содержимого и т. д.) [Павлов и др., 2021]. Датасет отличается от простого сбора медицинских данных тем, что он наделен особыми свойствами:
– унификацией и структурированностью данных;
– отсутствием грубых неточностей, ошибочных исследований;
– наличием дополнительной информации (категории и значения признаков или характеристик элементов данных);
– наличием сопроводительной документации.
Аннотированные датасеты необходимы не только для обучения алгоритмов ИИ, но и для тестирования нейронных сетей, обученных на других данных.
В Российской Федерации датасет приравнивается к базе данных и подлежит добровольной государственной регистрации в качестве результата интеллектуальной деятельности. В зарубежной практике датасеты представляют собой зачастую не только доступные для скачивания наборы данных, но и научные журнальные публикации. Каждый датасет уникален и составом исследований, и способом их классификации, и подходами к разметке. Сам процесс создания датасета носит исследовательский характер. Даже при наличии структурированной методики формирования датасетов от нее возможны отхождения, допустимы исключения и изменение определенных этапов в зависимости от назначения формируемого датасета.
Таким образом, процедура разработки и регистрации МИ с технологиями ИИ не ограничивается созданием алгоритма, подачей заявления и комплекта документов, но связана с необходимостью прохождения качественного обучения и тестирования и нуждается в качественных датасетах и другой специальной «инфраструктуре».
Анализ деятельности 21 стартапа по развитию систем ИИ на территории Российской Федерации в сфере здравоохранения свидетельствует, что в 2021 г. ими получено всего семь регистрационных удостоверений на программное МИ с технологией ИИ, что препятствует применению остальных разработанных систем ИИ, являющихся МИ на законных основаниях [Комарь и др., 2021]. Важным нововведением стала возможность изменения или исключения большинства обязательных требований для проведения клинической апробации медицинской помощи с применением МИ, созданных с использованием технологий ИИ, в соответствии с программой экспериментального правового режима в сфере цифровых инноваций.
Медицинская организация, являясь субъектом обращения МИ, должна обеспечивать применение МИ, в том числе с использованием технологий ИИ, в соответствии с требованиями сопроводительной (эксплуатационной) документации. Кроме того, она должна обеспечивать соблюдение всех остальных требований в сфере обращения МИ. Не все из них актуальны для МИ с технологиями ИИ (поверка средств измерений, соблюдение санитарных правил). К основным требованиям для медицинских организаций, применяющих МИ с технологиями ИИ, можно отнести:
1) применение разрешенных и качественных МИ;
2) организацию проведения технического обслуживания МИ;
3) своевременное выявление признаков поломки или недоброкачественности МИ в процессе эксплуатации, принятие необходимых мер;
4) применение МИ в соответствии с эксплуатационной документацией;
5) соблюдение прав граждан в сфере здравоохранения при назначении и применении МИ;
6) информирование Росздравнадзора и производителя в случае наступления неблагоприятных событий при применении МИ;
7) проведение внутреннего контроля качества и безопасности медицинской деятельности в соответствии с установленным порядком.
Одно из направлений безопасности МИ – применение изделий, находящихся в обращении на законных основаниях. Важнейшим является этап приемки МИ, сотрудникам медицинских организаций необходимо быть крайне осторожными и внимательными к поступающим изделиям и сопроводительной документации.
Росздравнадзор ведет государственный реестр МИ и организаций (индивидуальных предпринимателей), осуществляющих производство и изготовление МИ, и размещает его на своем официальном сайте в сети Интернет (https://roszdravnadzor.gov.ru/services/misearch). Реестр – единственный ресурс, содержащий достоверную и актуальную информацию о МИ, находящихся в обращении. При этом информацию о наличии регистрационного удостоверения на официальном сайте Росздравнадзора целесообразно проверять до заказа конкретного изделия, уточняя у поставщика полное наименование или артикул для оптимизации поиска.
Государственный реестр МИ общедоступен, для работы не требуется авторизация. Предусмотрена возможность поиска регистрационного удостоверения в случае необходимости не только по наименованию МИ, но и по 16 дополнительным позициям. При нахождении необходимой реестровой записи доступны для скачивания регистрационное удостоверение, фотографические изображения, инструкция по применению конкретного МИ, информация о вносимых в регистрационные документы изменениях.
Можно выделить следующие признаки того, что МИ не зарегистрировано:
– отсутствует регистрационное удостоверение (нет сведений в государственном реестре МИ);
– МИ сопровождается регистрационным удостоверением, но наименование МИ, его состав и принадлежности не соответствуют сведениям, указанным в удостоверении;
– наименование производителя и (или) адрес места производства не соответствуют сведениям, указанным в регистрационном удостоверении.
При приемке следует обращать внимание на маркировку МИ. Важно отметить следующие базовые принципы маркировки:
– МИ, поступающие на рынок в Российской Федерации, должны обязательно содержать на упаковке сведения на русском языке;
– информация должна восприниматься покупателем однозначно и не допускать разночтений;
– в целях экономии полезной площади упаковки или самого МИ, а также достижения универсальной читаемости данных в пределах всего ЕАЭС допускается применение особых типов символов (простейшие графические картинки с четкими силуэтами и преимущественно прямыми линиями, выполненные в градациях черного и белого цветов);
– данные полные и достоверные;
– сведения не носят рекламного характера;
– маркировка нанесена на каждую единицу товара вне зависимости от объема партии, ввозимой в Российскую Федерацию.
В случае выявления незарегистрированных, а также других незаконно находящихся в обращении МИ (фальсифицированных, недоброкачественных) Росздравнадзор предлагает субъектам обращения провести проверку наличия в обращении конкретного МИ, его модели (варианта исполнения), партии или серии, находящихся в обращении с нарушением действующего законодательства, а также осуществить мероприятия по предотвращению обращения на территории Российской Федерации. О результатах таких мероприятий медицинской организации следует сообщить в территориальный орган Росздравнадзора по месту осуществления деятельности.
Актуальная информация доводится до субъектов обращения, в том числе посредством размещения на официальном сайте ведомства в информационно-телекоммуникационной сети Интернет. В ходе работы ответственному лицу – представителю медицинской организации необходимо регулярно отслеживать сообщения на сайте Росздравнадзора для исключения из обращения указанных в письмах МИ.
Реестр «Информационные письма о медицинских изделиях» (https://roszdravnadzor.gov.ru/services/unreg) также общедоступен, не требует авторизации, содержит все необходимые критерии для оптимизации поиска. Это позволяет ответственному лицу отслеживать все новые письма, опубликованные, например, за прошедшую неделю, и с заданной пользователем регулярностью получать актуальную информацию о законности нахождения в гражданском обороте используемых в клинике МИ.
При выявлении незаконно находящихся в обращении МИ на этапе приемки или после получения информации Росздравнадзора по хранящимся (применяемым) изделиям сотрудникам медицинской организации следует переместить МИ из зоны основного хранения в выделенную, обозначенную и изолированную зону карантинного хранения: в случае приостановления – до публикации информационного письма о возобновлении применения; в случае изъятия необходимо составить акт, указав причину изъятия, направить информацию в Росздравнадзор.
Определены требования к эксплуатации систем ИИ, являющихся МИ. Эксплуатационные документы прилагаются к МИ при поставке. Виды и содержание таких документов представлены в таблице.
Виды эксплуатационных документов для систем ИИ и их содержание
Изготовитель устанавливает требования к эксплуатации системы ИИ:
– условия и режим эксплуатации, в том числе периодичность контроля или допустимость работы без обслуживания;
– требования к локальным вычислительным сетям и информационно-телекоммуникационной сети Интернет (скорость передачи данных, задержка (время передачи в одну сторону) и др.);
– минимальные характеристики к электронно-вычислительным машинам пользователя (системные требования), а также требования по установке дополнительного программного обеспечения;
– требования к входным данным системы ИИ, например к качеству медицинских изображений, содержанию технических файлов исследований (наличие соответствующих записей в DICOM-тегах);
– максимальное количество пользователей, которые могут одновременно эксплуатировать систему ИИ;
– требования по защите данных и недопущению доступа к системе ИИ неустановленных пользователей (например, не имеющих доступа к работе с персональными данными);
– требования к пользователям системы ИИ (уверенное пользование операционной системой электронно-вычислительной машины, обучение и опыт работы в области применения систем ИИ (компьютерная томография, рентгеновская аппаратура, цифровая флюорография, цифровая маммография, электрокардиография, электронная медицинская карта), опыт работы с форматами обрабатываемых данных (видео-, аудиофайлы, пиксельное изображение, сигнальные данные, текстовые данные) и др.).
К результатам эксплуатации систем ИИ в клинической медицине предъявляются следующие требования [Национальный стандарт РФ ГОСТ Р 59921.6…]:
а) данные результаты относят к электронным медицинским записям;
б) в обязательном порядке необходимо фиксировать информацию о наименовании, изготовителе и версии систем ИИ. Обязательна пометка «требует подтверждения врача»;
в) результаты могут быть включены в электронную медицинскую карту пациента для возможного дальнейшего использования врачом.
Активное участие медицинских организаций в системе мониторинга безопасности МИ позволяет Росздравнадзору не только реагировать на отдельные инциденты, но и выявлять системные проблемы качества, эффективности и безопасности МИ, что неизбежно приводит к снижению вероятности повторения неблагоприятного события или смягчению последствия таких повторений, повышению качества оказания медицинской помощи в целом.
Приказом Минздрава России № 1113н от 19.10.2020 г. утвержден порядок сообщения субъектами обращения МИ о неблагоприятных событиях, связанных с применением МИ. Медицинские организации обязаны информировать о неблагоприятных событиях Росздравнадзор и производителя МИ (его уполномоченного представителя), должны предоставлять доступ к МИ. Существует несколько возможных путей направления сообщения о неблагоприятном событии:
– в электронной форме через размещенную на официальном сайте Росздравнадзора в сети Интернет автоматизированную информационную систему;
– через приложение Росздравнадзора для мобильных устройств;
– через федеральную государственную информационную систему «Единый портал государственных и муниципальных услуг (функций)»;
– на бумажном носителе.
В сообщении указываются данные о МИ, медицинской организации, поставщике, производителе, содержится подробное описание неблагоприятного события.
В медицинской организации назначается ответственное за мониторинг безопасности МИ должностное лицо, в обязанности которого входят:
– сбор и направление в Росздравнадзор информации о неблагоприятных событиях;
– мониторинг информационных писем Росздравнадзора, размещенных на официальном сайте в сети Интернет, проведение мероприятий, указанных в них в части МИ, находящихся в обращении в организации.
В ходе этой работы анализируются все обстоятельства для исключения неправильного использования МИ, повлекшего инцидент.
Крайне важным на пострегистрационном этапе является мониторинг систем ИИ с технологиями машинного обучения. Обучение большинства таких систем продолжается на протяжении всего жизненного цикла системы ИИ (непрерывное обучение). Вносятся изменения по результатам данных о практическом применении. Проведение указанной работы осуществляется изготовителем в тесном взаимодействии с медицинской организацией (пользователем). Для определения структуры изменений системы ИИ с непрерывным обучением изготовитель должен разработать план управления изменениями, который включается в техническую и эксплуатационную документацию на МИ. План описывает методы, которые использует изготовитель для надлежащего контроля рисков ожидаемых изменений, описанных в технической документации. План управления изменениями должен представлять детальное описание данных и процедур, которым необходимо следовать, чтобы изменение было успешно выполнено, а система ИИ оставалась безопасной и эффективной. Сведения о произошедших адаптациях или в случае изменений от изготовителя (смена версии/сборки) после получения данных практического применения должны быть открытыми и понятными. Для обеспечения этого следует уведомлять касательно всех изменений заинтересованные стороны, например пользователей (медицинские организации, врачей-специалистов), регулирующие органы, в том числе в автоматическом режиме.
Например, система ИИ на основе машинного обучения отделения реанимации и интенсивной терапии получает на вход результаты электрокардиографии, измерения артериального давления, пульсоксиметрии. Данные обрабатываются и анализируются для выявления закономерностей, возникающих в начале физиологической нестабильности. При обнаружении физиологической нестабильности подается звуковой сигнал тревоги, указывающий на то, что необходимы немедленные клинические действия для предотвращения потенциального вреда для пациента.
В технической документации изготовитель предлагает два возможных изменения системы ИИ:
А – изменение алгоритма, чтобы обеспечить однородную эффективность среди разных подгрупп пациентов;
Б – уменьшение количества ложных тревог при условии сохранения чувствительности к возникновению физиологической нестабильности.
Один из возможных сценариев изменений – повышение эффективности в соответствии с планом управления изменениями, согласно которому данные собраны и использованы для изменения с целью снижения частоты ложных срабатываний при сохранении чувствительности. Собран отдельный независимый набор данных для клинической валидации, по результатам которого обнаружено, что частота ложных срабатываний снизилась, а чувствительность осталась прежней. После успешной проверки изменений системы и смены адаптации проводят необходимые процедуры, пользователям системы ИИ предоставляют информацию об изменении и вносят обновления в текущую адаптацию системы.
Другой сценарий – повышение эффективности. При этом изменение, связанное с предполагаемым использованием, несовместимо с планом управления изменениями.
В соответствии с планом управления изменениями системы изготовитель повторно обучил свой алгоритм с использованием дополнительных наборов данных для повышения чувствительности. Клиническая валидация показала, что измененный алгоритм имеет такую же чувствительность и частоту ложных тревог, что и предыдущая версия. При этом изготовитель заметил, что измененный алгоритм может поддерживать ту же чувствительность за 15 мин до начала физиологической нестабильности, чего не могла делать предыдущая версия алгоритма.
Изготовитель хотел бы обновить свой алгоритм и документацию, чтобы указать, что состояние тревоги теперь отражает прогноз физиологической нестабильности на следующие 15 мин, что ранее не было отражено в плане управления изменениями. После указанных действий необходимо выполнить процедуры, предусмотренные действующим законодательством.
Изменения в системе ИИ с непрерывным обучением в рамках адаптации необходимо контролировать путем периодического мониторинга. Данный мониторинг проводят с целью отслеживания работы системы, изменений при возникновении ложноположительных/ложноотрицательных результатов в процессе непрерывного обучения, а также учета имеющихся клинических данных, специфических особенностей и факторов риска, связанных с МИ. Сбор данных о практическом применении системы ИИ позволит изготовителю понять, как используют продукт, и своевременно реагировать на проблемы в ходе работы в рамках практического применения. Для этого необходима обратная связь от пользователя (медицинской организации).
В качестве первоочередных мер по совершенствованию регулирования программных МИ с применением ИИ выделяются следующие направления деятельности [Гусев и др., 2021]:
– сокращение сроков клинических испытаний и экспертизы программных МИ с технологиями ИИ перед их государственной регистрацией за счет дальнейшего совершенствования процедур клинической оценки безопасности и эффективности;
– создание условий для проведения клинических испытаний на основе качественных размеченных наборов данных;
– изменение требований к системе менеджмента качества и установление государственного контроля ее наличия и уровня с целью повышения доверия к разработчикам, а также предоставление разработчикам упрощенных или ускоренных процедур вывода программных МИ на рынок;
– разрешение на выпуск новых версий продуктов через извещение регулятора, без необходимости проведения повторных клинических испытаний;
– развитие пострегистрационного мониторинга, в том числе через создание независимых сервисов автоматизированного контроля работы продуктов технологий ИИ и автоматической регистрации фактов неблагоприятных событий в информационной системе Росздравнадзора, например, в случае ухудшения указанных в технических условиях программных МИ метрик точности работы моделей ИИ.