TransMed: трансформеры для мульти-модальной классификации медицинских изображений

За последнее десятилетие сверточные нейронные сети (СНС) показали очень высокую эффективность в задачах анализа медицинских изображений, таких как классификация заболеваний, сегментация опухолей и выявление очагов поражения. СНС хорошо извлекают локальные признаки изображений, однако из-за локальности свертки плохо справляются с дальними зависимостями. В последние годы трансформеры были применены в компьютерном зрении и достигли заметного успеха на больших наборах данных. По сравнению с естественными изображениями мульти-модальные медицинские изображения имеют явные и значимые дальние зависимости, а эффективные стратегии слияния модальностей могут существенно повысить качество глубоких моделей. Это побудило нас изучить структуры на основе трансформеров и применить их к мульти-модальным медицинским изображениям. Существующие архитектуры на основе трансформеров требуют больших наборов данных, чтобы достигать лучшей эффективности. Однако наборы данных в медицинской визуализации относительно малы, что затрудняет применение чистых трансформеров для анализа медицинских изображений. Поэтому мы предложили TransMed для мульти-модальной классификации медицинских изображений. TransMed сочетает преимущества СНС и трансформера, позволяя эффективно извлекать низкоуровневые признаки изображений и устанавливать дальние зависимости между модальностями. Мы оценили нашу модель на двух наборах данных: классификации опухолей околоушной железы и классификации повреждений коленного сустава. В совокупности наши наработки обеспечили улучшение средней точности на 10,1% и 1,9% соответственно, превзойдя другие современные СНС-модели. Результаты предложенного метода выглядят многообещающими и обладают большим потенциалом для применения в широком спектре задач анализа медицинских изображений. Насколько нам известно, это первая работа по применению трансформеров к мульти-модальной классификации медицинских изображений.