Классификация опухолей головного мозга по данным магнитно-резонансной томографии с использованием ансамбля трансформеров зрения

Автоматическая классификация опухолей головного мозга играет важную роль в поддержке принятия решений радиологами. В последние годы архитектуры глубоких нейронных сетей на основе трансформеров зрения (ViT) привлекли внимание в компьютерном зрении благодаря огромному успеху трансформерных моделей в обработке естественного языка. Поэтому в данном исследовании оценивали возможность использования ансамбля стандартных моделей ViT для диагностики опухолей головного мозга по Т1-взвешенной магнитно-резонансной томографии (МРТ). Для задачи классификации использовали предобученные и дообученные на ImageNet модели ViT (B/16, B/32, L/16 и L/32). Для перекрёстной проверки и оценки способности ансамбля ViT выполнять трёхклассовую классификацию использовали набор данных опухолей головного мозга с figshare, включающий 3064 контрастно-усиленных среза Т1-взвешенной МРТ с менингиомами, глиомами и опухолями гипофиза. Лучшая индивидуальная модель, L/32, показала общую точность на тестовой выборке 98,2% при разрешении 384 × 384. Ансамбль всех четырёх моделей ViT продемонстрировал общую точность на тестовой выборке 98,7% при том же разрешении, превзойдя отдельные модели при обоих разрешениях и их ансамблирование при разрешении 224 × 224. В заключение, ансамбль моделей ViT может быть использован для компьютерной помощи в диагностике опухолей головного мозга по контрастно-усиленной Т1-взвешенной МРТ, что может снизить нагрузку на радиологов.