Многозадачные временные сверточные сети для совместного распознавания фаз и этапов операций желудочного шунтирования
Multi-task temporal convolutional networks for joint recognition of surgical phases and steps in gastric bypass procedures
Аннотация
Цель: Автоматическая сегментация и классификация хирургической деятельности необходимы для расширенной поддержки вмешательств с компьютерной поддержкой и реализации автономных функций в робот-ассистированной хирургии. В предыдущих работах распознавали либо крупные элементы хирургической деятельности, например фазы операции, либо более детальные, например хирургические жесты. Цель настоящей работы — непосредственно по видеозаписям совместно распознавать два взаимодополняющих уровня детализации: фазы и этапы операции.
Методы: Для лапароскопического желудочного шунтирования выделены два взаимосвязанных элемента хирургической деятельности: фазы и этапы. Для их совместного распознавания предложена многозадачная многоэтапная временная сверточная сеть (MTMS-TCN) и схема обучения многозадачной сверточной нейронной сети (CNN). Совместное предсказание фаз и этапов позволяет использовать их взаимодополняющую информацию для более точной оценки выполнения операции. Метод оценивали на большой видеобазе Bypass40, включающей 40 операций.
Результаты: Представлены результаты нескольких базовых моделей распознавания фаз и этапов на наборе Bypass40. Предложенная модель MTMS-TCN превосходит одноцелевые модели при распознавании как фаз, так и этапов на 1–2% по доле правильных классификаций, точности и полноте. При распознавании этапов MTMS-TCN также превосходит модели на основе LSTM на 3–6% по всем метрикам.
Выводы: Предложенная многозадачная многоэтапная временная сверточная сеть улучшает распознавание хирургической деятельности по сравнению с одноцелевыми моделями на наборе данных о желудочном шунтировании с разметкой нескольких уровней. Совместное моделирование фаз и этапов повышает качество распознавания каждого из этих элементов.
Переведем эту статью за 1 час
Загрузите PDF, а мы сделаем полный перевод, краткий конспект и красивую инфографику.
Попробовать бесплатно →Также в Подтеме: еженедельные литобзоры, база международных клинреков и конспекты свежих мед. статей и подкастов каждый день.