Статистические тесты, p-значения, доверительные интервалы и статистическая мощность: руководство по ошибочным интерпретациям

Ошибочные интерпретации и неправильное применение статистических тестов, доверительных интервалов и статистической мощности подвергаются критике уже несколько десятилетий, однако по-прежнему широко распространены. Одна из ключевых проблем заключается в том, что не существует одновременно простых, интуитивно понятных, корректных и полностью защищённых от ошибок интерпретаций этих понятий. Поэтому правильное применение и толкование статистических показателей требует внимания к деталям, что, по-видимому, испытывает терпение практикующих исследователей. Высокая когнитивная нагрузка привела к эпидемии упрощённых определений и интерпретаций, которые попросту неверны, а иногда и катастрофически ошибочны, однако именно такие ошибочные толкования преобладают в значительной части научной литературы. В связи с этой проблемой мы приводим определения и обсуждение основных статистических понятий, более общие и критические, чем обычно содержится в традиционных вводных изложениях. Наша цель — предоставить ресурс для преподавателей, исследователей и пользователей статистики, чьи знания статистической теории и методики могут быть ограниченными, но которые стремятся избегать ошибочных интерпретаций и выявлять их. Мы подчёркиваем, что нарушение часто неформулируемых протоколов анализа, например выбор анализов для представления в зависимости от получаемых ими p-значений, может приводить к малым p-значениям даже при правильности заявленной проверяемой гипотезы и к большим p-значениям даже при её ошибочности. Затем мы приводим поясняющий перечень из 25 ошибочных интерпретаций p-значений, доверительных интервалов и статистической мощности. В заключение представлены рекомендации по улучшению интерпретации и представления статистических данных.