Надёжность, валидность и практическая применимость шкалы Цвиша для оценки интраоперационной деятельности

Цель: Существующие методы оценки оперативных навыков ординаторов прерывают рабочий процесс хирурга, который руководит операцией, требуют значительных ресурсов и часто применяются спустя длительное время после её завершения. Это снижает готовность преподавателей проводить оценку и может приводить к существенному смещению, связанному с воспоминаниями. В этом исследовании для оценки работы ординаторов по шкале Цвиша использовали систему на основе смартфона — Procedural Autonomy and Supervisions System, которая минимально нарушала рабочий процесс. Целью было показать, что этот метод надёжен, валиден и применим для оценки самостоятельности ординаторов во время операций.

Методы: До внедрения системы ординаторы по общей хирургии и преподаватели прошли обучение, призванное обеспечить единый подход к оценке по шкале Цвиша. Сразу после каждой операции с участием ординатора система автоматически отправляла ответственному хирургу текстовое сообщение с просьбой оценить уровень самостоятельности ординатора по четырёхуровневой шкале Цвиша. Видеозаписи 8 операций независимо оценили ещё 2 хирурга. Оценки трёх специалистов сравнили с помощью коэффициента внутриклассовой корреляции. Видеозаписи также оценили по двум альтернативным инструментам оценки работы в операционной (OR): Operative Performance Rating System и Ottawa Surgical Competency OR Evaluation; затем рассчитали корреляции между отдельными пунктами этих инструментов и оценками по шкале Цвиша.

Результаты: С декабря 2012 года по июнь 2013 года 27 преподавателей использовали систему на смартфонах и провели 1490 оценок оперативной деятельности 31 ординатора. За этот период преподаватели оценили 92% всех операций с участием ординаторов по общей хирургии. Оценки по шкале Цвиша различались в зависимости от года ординатуры при последовательных попарных сравнениях с помощью критерия χ²: 1-й и 2-й годы (χ² = 106,9; df = 3; p < 0,001), 2-й и 3-й годы (χ² = 22,2; df = 3; p < 0,001), 3-й и 4-й годы (χ² = 56,4; df = 3; p < 0,001). Оценки на 4-м и 5-м годах значимо не различались (χ² = 4,5; df = 3; p = 0,21). Для 8 операций, оценённых с целью определения межэкспертной надёжности, коэффициент внутриклассовой корреляции составил 0,90 (95% ДИ 0,72–0,98; p < 0,01). Оценки Procedural Autonomy and Supervisions System тесно коррелировали как с пунктами Operative Performance Rating System (для каждого r > 0,90; все p < 0,01), так и с пунктами Ottawa Surgical Competency OR Evaluation (для каждого r > 0,86; все p < 0,01).

Выводы: Шкалу Цвиша можно использовать для надёжной и валидной оценки руководства со стороны преподавателя и самостоятельности ординатора. Полученные данные также позволяют предположить, что оценки по этой шкале отражают оперативные навыки ординатора. При использовании автоматизированной системы на основе смартфона можно без существенных затруднений регистрировать оценки большинства операций с участием ординаторов. Эти данные можно использовать для индивидуального консультирования ординаторов, изменения учебных программ и, возможно, разработки национальных рекомендаций по подготовке.