Возможность создания контрольного списка для оценки методологического качества рандомизированных и нерандомизированных исследований медицинских вмешательств

Цель: Оценить возможность создания валидного и надёжного контрольного списка со следующими характеристиками: пригодность для оценки как рандомизированных, так и нерандомизированных исследований; возможность рассчитывать не только общий балл качества исследования, но и профиль оценок качества представления результатов, внутренней валидности (систематических ошибок и смешения), статистической мощности и внешней валидности.

Дизайн: Сначала была разработана пилотная версия контрольного списка на основе эпидемиологических принципов, обзоров и существующих контрольных списков для рандомизированных исследований. Очевидную и содержательную валидность оценили три опытных рецензента, а надёжность определяли по результатам оценки 10 рандомизированных и 10 нерандомизированных исследований двумя оценщиками. С привлечением других оценщиков контрольный список пересмотрели и проверили его внутреннюю согласованность (коэффициент Кудера—Ричардсона 20), надёжность при повторном тестировании и межоценочную надёжность (коэффициент корреляции Спирмена и критерий знаковых рангов; статистика κ), критериальную валидность и нагрузку на оценщика.

Основные результаты: После пересмотра пилотной версии показатели контрольного списка существенно улучшились. Общий индекс качества характеризовался высокой внутренней согласованностью (KR-20: 0,89), как и отдельные шкалы, за исключением шкалы внешней валидности (KR-20: 0,54). Надёжность общего индекса качества при повторном тестировании (r = 0,88) и межоценочная надёжность (r = 0,75) были высокими. Надёжность отдельных шкал варьировала от высокой (систематические ошибки) до низкой (внешняя валидность). Общий индекс качества имел высокую корреляцию с существующим валидированным инструментом оценки рандомизированных исследований (r = 0,90). Существенных различий в его работе при оценке нерандомизированных и рандомизированных исследований не выявлено. На оценку каждой публикации у рецензентов уходило около 20 минут (от 10 до 45 минут).

Выводы: Это исследование показало, что возможно разработать контрольный список для оценки методологического качества не только рандомизированных контролируемых исследований, но и нерандомизированных исследований. Кроме того, контрольный список может формировать профиль публикации, обращая внимание рецензентов на конкретные методологические сильные и слабые стороны исследования. Необходима дальнейшая работа по совершенствованию контрольного списка и обучению оценщиков оценке внешней валидности.