Преимущества трансформера и его применение для сегментации медицинских изображений: обзор

Цель: За последнее десятилетие нейронные сети на основе свёрточных операторов продемонстрировали высокую эффективность в сегментации медицинских изображений. Одной из наиболее широко используемых моделей является сеть U-образной формы со структурой «кодировщик–декодировщик». Трансформер — технология, применяемая в обработке естественного языка, — способен учитывать зависимости между отдалёнными участками данных и был использован в архитектуре Vision Transformer, продемонстрировавшей наилучшие результаты на задачах классификации изображений. В последнее время исследователи распространили применение трансформеров на задачи сегментации медицинских изображений, что привело к созданию эффективных моделей.

Методы: В обзор включены публикации, отобранные по результатам поиска в базе данных Web of Science. Основное внимание уделено статьям, опубликованным начиная с 2018 года и посвящённым применению архитектуры трансформера для сегментации медицинских изображений. Проведён систематический анализ этих исследований и обобщены полученные результаты.

Результаты: Для более глубокого понимания преимуществ свёрточных нейронных сетей и трансформеров сначала рассмотрены принципы построения кодировочных и трансформерных модулей. Затем обобщены модели сегментации медицинских изображений на основе трансформеров. Далее перечислены наиболее часто используемые показатели оценки качества в задачах сегментации медицинских изображений. Наконец, описано большое количество наборов данных для медицинской сегментации.

Выводы: Несмотря на возможность создания полностью трансформерной модели без свёрточных операторов, ограниченный объём выборок для сегментации медицинских изображений по-прежнему сдерживает развитие трансформеров, хотя предварительное обучение может смягчить это ограничение. В большинстве случаев исследователи по-прежнему разрабатывают модели, сочетающие трансформерные и свёрточные операторы.