Систематическая ошибка в метаанализе, выявленная с помощью простого графического теста

Цель: Воронкообразные диаграммы (графики оценок эффекта в зависимости от размера выборки) могут быть полезны для выявления систематической ошибки в метаанализах, выводы которых впоследствии были опровергнуты крупными исследованиями. Мы проверили, позволяет ли простой тест на асимметрию воронкообразной диаграммы предсказать расхождение результатов при сравнении метаанализов с крупными исследованиями, а также оценили распространённость систематической ошибки в опубликованных метаанализах.

Дизайн исследования: С помощью поиска в базе Medline выявляли пары, состоявшие из метаанализа и отдельного крупного исследования; результаты считали согласованными, если эффекты были направлены в одну сторону, а оценка по метаанализу отличалась от оценки в исследовании не более чем на 30%. Проанализированы воронкообразные диаграммы 37 метаанализов, выявленных при ручном поиске в четырёх ведущих общих медицинских журналах за 1993–1996 годы, и 38 метаанализов из второго выпуска Cochrane Database of Systematic Reviews за 1996 год.

Основной оцениваемый показатель: Степень асимметрии воронкообразной диаграммы, определяемая по свободному члену регрессии стандартизированных нормальных отклонений на точность оценки.

Результаты: Были выявлены восемь пар «метаанализ — крупное исследование» (пять в сердечно-сосудистой медицине, одна в диабетологии, одна в гериатрии и одна в перинатальной медицине); результаты в четырёх парах были согласованными, а в четырёх — расходились. Во всех случаях расхождение было обусловлено тем, что метаанализы демонстрировали более выраженный эффект. Асимметрия воронкообразной диаграммы присутствовала в трёх из четырёх пар с расхождением результатов и отсутствовала во всех парах с согласованными результатами. Асимметрия воронкообразной диаграммы указывала на наличие систематической ошибки в 14 (38%) метаанализах, опубликованных в журналах, и в 5 (13%) обзорах Cochrane.

Выводы: Простой анализ воронкообразных диаграмм позволяет выявлять вероятную систематическую ошибку в метаанализах, однако при небольшом числе малых исследований способность обнаруживать такую ошибку ограничена; поэтому результаты подобных анализов следует интерпретировать с большой осторожностью.