Научная статья

Интраоперационная семантическая сегментация в реальном времени с помощью глубокого обучения для поддержки хирургических вмешательств средствами 3D-дополненной реальности

Real-time deep learning semantic segmentation during intra-operative surgery for 3D augmented reality assistance

International Journal of Computer Assisted Radiology and Surgery
10.1007/s11548-021-02432-y
Полный текст Открыть в журнале PubMed PMC
FWCI: 3.91FWCI — Field-Weighted Citation Impact (индекс цитируемости с поправкой на область науки). 1.0 = среднее, > 1 = выше среднего · Процитировано: 97 · Ссылки: 35 · Лицензия: CC-BY
Цитирование по годам: 2026: 25 · 2025: 27 · 2024: 15 · 2023: 18 · 2022: 18

Аннотация

Цель: Разработать решение на основе глубокого обучения и дополненной реальности для робот-ассистированной радикальной простатэктомии in vivo, усовершенствовав ранее опубликованную работу нашей группы. Мы реализовали двухэтапную автоматическую систему совмещения индивидуальной 3D-модели органа пациента с его 2D-изображением, полученным при эндоскопии, для помощи хирургам во время операции.

Методы: Для семантической сегментации использовали сверточную нейронную сеть, а затем обрабатывали полученные результаты, чтобы определить параметры для размещения 3D-модели. Использовали набор данных из пяти эндоскопических видеозаписей (A, B, C, D, E), отобранных и размеченных специалистами нашей группы. Затем оценили наиболее эффективное сочетание архитектуры сегментации и нейронной сети и проверили качество наложения модели.

Результаты: Наиболее эффективной архитектурой сегментации оказалась U-Net. ResNet и MobileNet показали сходные результаты по коэффициенту пересечения по объединению (IoU), однако MobileNet позволяла выполнять почти вдвое больше операций в секунду. Эта методика сегментации превзошла результаты предыдущей работы: средний IoU для катетера составил 0,894 (σ = 0,076) против 0,339 (σ = 0,195). Благодаря этому улучшилось и наложение 3D-модели: евклидово расстояние между прогнозируемой и фактической опорными точками уменьшилось с 12,569 (σ = 4,456) до 4,160 (σ = 1,448), а геодезическое расстояние между прогнозируемым и фактическим поворотом модели — с 0,266 (σ = 0,131) до 0,169 (σ = 0,073).

Выводы: Эта работа — очередной шаг к внедрению глубокого обучения и дополненной реальности в хирургическую практику. В дальнейших исследованиях планируется преодолеть ограничения предложенного подхода и в конечном итоге усовершенствовать каждый этап хирургического вмешательства.

Переведем эту статью за 1 час

Загрузите PDF, а мы сделаем полный перевод, краткий конспект и красивую инфографику.

Попробовать бесплатно →

Также в Подтеме: еженедельные литобзоры, база международных клинреков и конспекты свежих мед. статей и подкастов каждый день.