ROBINS-I и NOS обладали сходной надёжностью, но различались по применимости: случайная выборка наблюдательных исследований из систематических обзоров и метаанализов

Цель: Доказательств использования инструмента оценки качества — «Риск систематической ошибки в нерандомизированных исследованиях вмешательств» (ROBINS-I) — недостаточно. Целью исследования была оценка надёжности, критериальной валидности и практической применимости ROBINS-I и шкалы Ньюкасла—Оттавы (NOS).

Методы: Из базы данных Medline были отобраны систематические обзоры или метаанализы наблюдательных исследований, опубликованные в 2013–2017 годах. Два эксперта независимо оценили их с помощью ROBINS-I и NOS. Надёжность оценивали с использованием статистики коэффициента согласия первого порядка (AC1). Для изучения критериальной валидности ROBINS-I рассчитывали коэффициент корреляции. Практическую применимость ROBINS-I и NOS сравнивали по времени, необходимому для оценки, и числу случаев, когда проведение оценки вызывало затруднения.

Результаты: В окончательный анализ включили пять систематических обзоров, содержащих 41 когортное исследование. Межэкспертное согласие по отдельным доменам ROBINS-I и NOS было существенным: среднее значение AC1 составило 0,67 (95% ДИ 0,50–0,83) и 0,73 (95% ДИ 0,65–0,81) соответственно. Критериальная валидность ROBINS-I по сравнению с NOS была умеренной (K = 0,52). Первоначально оценка одного исследования с помощью ROBINS-I занимала 7 часов, затем это время сократилось до 3 часов, тогда как при использовании NOS оно составляло 30 минут. Оба эксперта сочли наиболее трудоёмким доменом ROBINS-I «систематическую ошибку вследствие отклонения от предполагаемого вмешательства»; отдельные пункты NOS требовали примерно одинакового времени.

Выводы: ROBINS-I и NOS, по-видимому, обеспечивают сопоставимую надёжность, но различаются по практической применимости. Чрезмерная сложность ROBINS-I может ограничивать его использование; необходима упрощённая версия.