Метод отбора переменных на основе взаимной информации и коэффициента инфляции дисперсии

Отбор признаков играет важную роль в количественном анализе данных высокой размерности, позволяя уменьшить размерность. В последнее время в этой области всё больше внимания привлекают методы отбора переменных на основе взаимной информации (MI): они максимизируют связь между кандидатной переменной и откликом и минимизируют избыточность отобранных переменных. Однако в линейных моделях серьёзной проблемой часто становится мультиколлинеарность. Она может приводить к нестабильным оценкам параметров, ненадёжности моделей и низкой прогностической способности. Для решения этой проблемы при отборе признаков был предложен коэффициент инфляции дисперсии (VIF). В настоящей работе предложен метод отбора переменных, объединяющий MI и VIF, — Mutual Information-Variance Inflation Factor (MI-VIF). Для максимизации связи независимой и зависимой переменных рассчитывали MI между ними и отбирали переменные с более высокими значениями MI. Мультиколлинеарность проверяли, рассчитывая VIF для независимых переменных. Переменные, вызывающие мультиколлинеарность модели, исключали, чтобы уменьшить коллинеарность между независимыми переменными. Метод проверили на двух спектральных наборах данных высокой размерности. Для сравнения прогностической точности моделей строили регрессионные модели PLSR и MLR на основе отбора признаков методами MI-VIF и MI (MIFS, MMIFS). Результаты показали, что на обоих наборах данных MI-VIF обеспечивал хорошие прогностические показатели. Для набора данных по чаю модель MI-VIF-MLR показала Rp = 0,8612 и RMSEP = 0,4096, а модель MI-VIF-PLSR — Rp = 0,8614 и RMSEP = 0,4092. Для набора данных по дизельному топливу модель MI-VIF-MLR показала Rp = 0,9707 и RMSEP = 0,6568, а модель MI-VIF-PLSR — Rp = 0,9431 и RMSEP = 0,9675. Кроме того, MI-VIF сравнили с алгоритмом последовательных проекций (SPA), применяемым для уменьшения коллинеарности переменных при выборе длин волн в спектроскопии ближнего инфракрасного диапазона. Сравнение показало, что MI-VIF также обеспечивает хорошие прогностические результаты. Полученные данные свидетельствуют об эффективности MI-VIF как метода отбора переменных. 2222