Оценивание взаимной информации

Представлены два класса усовершенствованных оценок взаимной информации M(X,Y), вычисляемых по выборкам случайных точек из совместной плотности вероятности μ(x,y). В отличие от традиционных оценок, основанных на разбиении данных на интервалы, эти методы используют оценки энтропии по расстояниям до k ближайших соседей. Благодаря этому они эффективно используют данные, адаптивны — разрешение выше в областях с большей плотностью точек — и характеризуются минимальным смещением. Смещение оценок энтропии обусловлено главным образом неоднородностью плотности на минимальном разрешаемом масштабе; типичные систематические ошибки зависят от k/N при выборке из N точек. По результатам численного моделирования обе группы оценок дают точное значение для независимых распределений: M(X,Y) равна нулю с точностью до статистических флуктуаций, если μ(x,y)=μ(x)μ(y). Это справедливо для всех проверенных маргинальных распределений и размерностей x и y. Кроме того, предложены оценки избыточности между более чем двумя случайными переменными. Алгоритмы подробно сопоставлены с существующими методами. Наконец, показана применимость предложенных оценок для проверки фактической независимости компонент, полученных с помощью анализа независимых компонент (ICA), совершенствования ICA и оценки надёжности слепого разделения источников.