Интраоперационная семантическая сегментация в реальном времени с помощью глубокого обучения для поддержки хирургических вмешательств средствами 3D-дополненной реальности
Real-time deep learning semantic segmentation during intra-operative surgery for 3D augmented reality assistance
Аннотация
Цель: Разработать решение на основе глубокого обучения и дополненной реальности для робот-ассистированной радикальной простатэктомии in vivo, усовершенствовав ранее опубликованную работу нашей группы. Мы реализовали двухэтапную автоматическую систему совмещения индивидуальной 3D-модели органа пациента с его 2D-изображением, полученным при эндоскопии, для помощи хирургам во время операции.
Методы: Для семантической сегментации использовали сверточную нейронную сеть, а затем обрабатывали полученные результаты, чтобы определить параметры для размещения 3D-модели. Использовали набор данных из пяти эндоскопических видеозаписей (A, B, C, D, E), отобранных и размеченных специалистами нашей группы. Затем оценили наиболее эффективное сочетание архитектуры сегментации и нейронной сети и проверили качество наложения модели.
Результаты: Наиболее эффективной архитектурой сегментации оказалась U-Net. ResNet и MobileNet показали сходные результаты по коэффициенту пересечения по объединению (IoU), однако MobileNet позволяла выполнять почти вдвое больше операций в секунду. Эта методика сегментации превзошла результаты предыдущей работы: средний IoU для катетера составил 0,894 (σ = 0,076) против 0,339 (σ = 0,195). Благодаря этому улучшилось и наложение 3D-модели: евклидово расстояние между прогнозируемой и фактической опорными точками уменьшилось с 12,569 (σ = 4,456) до 4,160 (σ = 1,448), а геодезическое расстояние между прогнозируемым и фактическим поворотом модели — с 0,266 (σ = 0,131) до 0,169 (σ = 0,073).
Выводы: Эта работа — очередной шаг к внедрению глубокого обучения и дополненной реальности в хирургическую практику. В дальнейших исследованиях планируется преодолеть ограничения предложенного подхода и в конечном итоге усовершенствовать каждый этап хирургического вмешательства.
Переведем эту статью за 1 час
Загрузите PDF, а мы сделаем полный перевод, краткий конспект и красивую инфографику.
Попробовать бесплатно →Также в Подтеме: еженедельные литобзоры, база международных клинреков и конспекты свежих мед. статей и подкастов каждый день.