Шкала методологической оценки радиомики (METRICS): инструмент оценки качества исследований в области радиомики, одобренный EuSoMII

Цель: Предложить новый инструмент для балльной оценки качества — шкалу методологической оценки радиомики (METRICS), предназначенную для оценки и повышения качества исследований в области радиомики.

Методы: Проведено онлайн-исследование по модифицированному методу Дельфи с участием международной группы экспертов. Оно состояло из трёх последовательных этапов: на первом подготовили пункты шкалы; на втором члены аудиторской группы EuSoMII обсудили, какие пункты вынести на голосование; на третьем эксперты провели четыре раунда модифицированного опроса Дельфи, чтобы определить пункты METRICS и их весовые коэффициенты. Порог достижения консенсуса составлял 75%. Весовые коэффициенты категорий и пунктов рассчитывали на основе медианных рангов, полученных по результатам экспертной оценки, и преобразования сумм рангов в оценки значимости.

Результаты: В отборе и ранжировании пунктов и категорий участвовали 59 экспертов из 19 стран. Итоговая шкала METRICS включает 30 пунктов в 9 категориях. По убыванию значимости категории расположились следующим образом: дизайн исследования, данные визуализации, обработка изображений и извлечение признаков, показатели и сравнение, тестирование, обработка признаков, подготовка к моделированию, сегментация и открытая наука. Для упрощения расчёта балла METRICS разработаны веб-приложение и репозиторий, предназначенный для сбора отзывов сообщества специалистов по радиомике.

Выводы: В работе представлена шкала для оценки методологического качества исследований в области радиомики, разработанная большой международной группой экспертов с использованием модифицированного метода Дельфи. Условная структура шкалы учитывает разнообразие методологических подходов и обеспечивает продуманную основу для оценки ключевых методологических аспектов статей по радиомике.

Ключевая практическая значимость: Международная группа экспертов разработала и предоставила в открытый доступ инструмент оценки качества исследований — шкалу методологической оценки радиомики (METRICS). Прозрачная методология разработки инструмента призвана способствовать оценке и повышению качества исследований в области радиомики и машинного обучения.

Основные положения: • Для оценки качества исследований в области радиомики разработана шкала METRICS на основе мнения большой международной группы экспертов и модифицированного метода Дельфи. • Впервые предложены весовые коэффициенты категорий и пунктов шкалы, отражающие их значимость по мнению экспертов; методология разработки прозрачна. • METRICS подходит для разных задач: от радиомики с ручным выделением признаков до конвейеров, полностью основанных на глубоком обучении. • Для расчёта балла METRICS создано веб-приложение (https://metricsscore.github.io/metrics/METRICS.html), а для сбора отзывов сообщества специалистов по радиомике — репозиторий (https://github.com/metricsscore/metrics).