Вред коррекции дисбаланса классов в моделях прогнозирования риска: иллюстрация и моделирование с использованием логистической регрессии

Цель: Методы коррекции дисбаланса классов — различий в частоте исходов и их отсутствия — всё чаще применяются при разработке прогностических моделей. Мы оценили влияние такой коррекции на качество моделей логистической регрессии.

Методы: Прогностические модели строили с помощью стандартной логистической регрессии и логистической регрессии с ридж-регуляризацией, используя четыре подхода к коррекции дисбаланса классов: без коррекции, случайное уменьшение выборки, случайное увеличение выборки и SMOTE. Качество моделей оценивали по дискриминации, калибровке и классификации. В моделировании методом Монте-Карло изучали влияние размера обучающей выборки, числа предикторов и доли событий исхода. Также представлен пример построения модели для прогнозирования диагноза рака яичников.

Результаты: При случайном уменьшении или увеличении выборки, а также применении SMOTE модели были плохо откалиброваны: вероятность принадлежности к классу меньшинства значительно завышалась. Эти методы не повышали площадь под ROC-кривой по сравнению с моделями, построенными без коррекции дисбаланса классов. Хотя коррекция улучшала соотношение чувствительности и специфичности, аналогичных результатов можно было достичь, просто изменив порог вероятности.

Обсуждение: Коррекция дисбаланса приводила к значительной неточности калибровки, не улучшая способность различать пациентов с исходом и без него. Неточные оценки вероятности снижают клиническую полезность модели, поскольку решения о лечении принимаются на недостаточно надёжной основе.

Выводы: Сам по себе дисбаланс исходов не является проблемой; его коррекция может даже ухудшить качество модели.