Преимущества коэффициента корреляции Мэтьюса (MCC) перед F1-м up and точностью при оценке бинарной классификации

Введение: Для оценки бинарной классификации и соответствующих матриц ошибок исследователи могут использовать различные статистические показатели в зависимости от цели эксперимента. Несмотря на принципиальную важность этого вопроса для машинного обучения, единого общепринятого показателя пока не существует. Точность и F1-мера, рассчитываемые по матрицам ошибок, были и остаются одними из наиболее популярных метрик в задачах бинарной классификации. Однако эти показатели могут опасно завышать результаты, особенно при несбалансированных наборах данных.1

Результаты: В отличие от них коэффициент корреляции Мэтьюса (MCC) представляет собой более надёжный статистический показатель: он принимает высокое значение только в том случае, если классификатор продемонстрировал хорошие результаты во всех четырёх категориях матрицы ошибок — для истинно положительных, ложно отрицательных, истинно отрицательных и ложно положительных результатов, — с учетом долей положительных и отрицательных объектов в наборе данных.

Выводы: В статье показано, что MCC даёт более информативную и достоверную оценку бинарной классификации, чем точность и F1-мера. Сначала объясняются математические свойства MCC, затем его преимущества демонстрируются на шести синтетических примерах и в реальном геномном исследовании. По мнению авторов, при оценке задач бинарной классификации во всех научных областях следует отдавать предпочтение коэффициенту корреляции Мэтьюса, а не точности и F1-мере.11