Что такое «матрица зрелости» сервисов ИИ?
Матрица зрелости – это инструмент поддержки принятия управленческих решений в виде интерактивной информационной панели (дашборд). Позволяет не только оценивать решения на основе технологий искусственного интеллекта и сравнивать их между собой по величине диагностического и технического потенциала, но и отслеживать изменение этих параметров в динамике.
Матрица зрелости учитывает показатели технической стабильности — удельный вес технологических дефектов и диагностическую составляющую — площадь под характеристической кривой.
Матрица обновляется ежеквартально и доступна любому пользователю.
Кому интересен продукт?
Прежде всего, матрица зрелости представляет интерес для лиц и организаций, осуществляющих внедрение инновационных технологий в здравоохранение. Руководителям медицинских организаций, данный инструмент позволит осуществлять мониторинг работы программного обеспечения на основе технологии искусственный интеллект и принимать управленческие решения.
Центр диагностики и телемедицины ДЗМ готов внедрить зрелые ИИ-сервисы в работу медицинских учреждений регионов РФ.
На чем основано решение?
Методология оценки зрелости сервисов искусственного интеллекта была разработана по результатам мониторинга качества работы программных продуктов в московском эксперименте по использованию технологий компьютерного зрения в здравоохранении.
Эксперимент проходит в столице с 2020 года, нейросети помогают рентгенологам находить на медицинских изображениях признаки различных заболеваний.
Ученые Центра диагностики и телемедицины Департамента здравоохранения Москвы разработали оригинальную методологию, которая объединяет информацию о качестве и эффективности ИИ-сервисов в динамике на одной информационной панели, которая и является матрицей зрелости. Качественная составляющая матрицы зрелости основана на показателях технической стабильности и диагностической точности ИИ-сервисов. Эффективная составляющая матрицы учитывает клиническую оценку работы ИИ-сервисов, а также разброс данных относительно среднего числа по клинической оценке.
На данный момент в эксперименте работают более 50 сервисов ИИ.
Методология проведения оценки зрелости подробно изложена в методических рекомендациях: Оценка зрелости технологий искусственного интеллекта для здравоохранения: методические рекомендации/ сост. Ю. А. Васильев, А. В. Владзимирский, О. В. Омелянская [и др.] // Серия «Лучшие практики лучевой и инструментальной диагностики». – Вып. 123. – М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2023. – 28 с.
Что показала методология оценки зрелости сервисов?
Методология оценки зрелости ИИ-сервисов показала, что по состоянию на III квартал 2023 г. уже 24 ИИ-сервиса достигли зрелости (почти половина из них – еще в конце 2022 года).
По шести из двенадцати модальностям более половины работающих ИИ уже являются зрелыми.
Благодаря этому, мы можем уверенно утверждать, что наиболее зрелые ИИ-сервисы по этим модальностям обладают потенциалом для начала их применения в практическом здравоохранении в рамках медицинских услуг с использованием искусственного интеллекта.
Подробнее об эксперименте в монографии: Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента / А. В. Владзимирский, Ю. А. Васильев, К. М. Арзамасов [и др.]. – Москва : Общество с ограниченной ответственностью «Издательские решения», 2022. – 388 с. – ISBN 978-5-0059-3043-9.