Московские ученые разработали новый метод тестирования систем искусственного интеллекта (ИИ) в здравоохранении. Он позволит быстрее и точнее оценивать их надежность. Об этом сообщил главный рентгенолог Москвы Юрий Васильев.

«Москва уже много лет является лидером в применении искусственного интеллекта в медицине, и теперь мы сделали еще один важный шаг вперед. Ученые Центра диагностики и телемедицины провели масштабное исследование и нашли новый и надежный способ тестирования ИИ-систем в этой сфере. До сих пор не было четкого ответа на вопрос, сколько исследований необходимо для объективной проверки нейросети. Приходилось тестировать на огромных выборках, что требовало много времени и ресурсов. Теперь мы точно знаем, какое количество исследований нужно, чтобы оценить точность ИИ, и когда дальнейшее увеличение выборки не меняет результат. Это открытие позволит разработчикам быстрее адаптировать свои технологии, а врачам — эффективнее использовать их в работе», — рассказал Юрий Васильев.

Он добавил, что теперь столичные специалисты смогут еще быстрее внедрять ИИ-сервисы, будучи уверенными в их надежности. Методика уже доказала свою эффективность в лучевой диагностике, но ее можно применять и в других областях медицины. Такой подход поможет сделать искусственный интеллект еще более точным и безопасным инструментом для врачей и пациентов, а значит, повысит качество диагностики и ускорит выявление заболеваний на ранних стадиях.

Ученые проанализировали более двух миллионов вариантов тестов и доказали, что для объективной оценки точности алгоритмов с бинарной классификацией (например, выявления патологий на снимках) необходимо не менее 400 исследований. Из них хотя бы 10 процентов должно относиться к каждому из классов, то есть иметь отмеченные признаки патологий. Дальнейшее увеличение выборки не меняет результат, что делает подобную методику наиболее эффективной. Исследование проводили на примере лучевой диагностики, но этот подход можно применять и в других областях, где ИИ работает по принципу «да или нет» Это открытие позволит быстрее тестировать и внедрять искусственный интеллект в медицину, повышая его точность и надежность.

«Классические методы тестирования искусственного интеллекта не давали точного ответа на вопрос, сколько исследований необходимо для объективной проверки его точности. Сложность задач, которые решает ИИ в медицине, постоянно растет, поэтому ученые Центра диагностики и телемедицины предложили альтернативный подход. Они проанализировали более двух миллионов комбинаций параметров тестовых выборок и 25 тысяч изображений, изучили поведение диагностических метрик и доказали, что необходимо не менее 400 исследований для получения стабильного результата. Минимальная доля каждого класса должна составлять не менее 10 процентов, то есть 40 исследований, а дальнейшее увеличение выборки не влияет на итоговую точность. Полученные данные не зависят от типа изображений или конкретной нейросети, что делает методику универсальной. Исследование проводилось на примере лучевой диагностики, но этот подход можно масштабировать и на другие медицинские системы ИИ с бинарной классификацией, что станет следующим этапом научной работы», — добавил Юрий Васильев.

Статья «Эмпирический метод расчета размера выборки для тестирования алгоритмов искусственного интеллекта» уже получила положительную рецензию академиков Российской академии наук и других привлеченных лиц и стала победителем конкурса AI Journey.

С 2020 года в Центре диагностики и телемедицины выполняют крупнейшее в мире проспективное клиническое исследование — эксперимент по внедрению компьютерного зрения для анализа медицинских изображений. Ученые разработали уникальные методики комплексной оценки качества и зрелости технологий ИИ. Кроме того, они обосновали конкретные способы и сценарии применения таких технологий в работе службы лучевой диагностики.

Центр диагностики и телемедицины Департамента здравоохранения Москвы — ведущая научно-практическая организация в структуре комплекса социального развития Мэрии Москвы. Она основана в 1996 году. Центр специализируется на внедрении технологий искусственного интеллекта в медицину, развитии лучевой диагностики, организации работы отделений в медучреждениях, проведении научных исследований, образовании медработников.

Проект соответствует целям и задачам стратегии развития московской медицины до 2030 года и направлен на повышение качества и доступности оказания медпомощи жителям столицы.

Московские достижения: какие проекты российской столицы отмечены международными наградами

Оперативно узнавайте главные новости в официальном телеграм-канале города Москвы.