«Независимые компоненты» естественных сцен — это фильтры, выделяющие границы

Ранее высказывалось предположение, что нейроны первичной зрительной коры кошек и обезьян, избирательные к линиям и границам, формируют разреженное распределённое представление естественных сцен. Считалось, что такие ответы должны возникать при обучении без учителя, если алгоритм стремится найти факторизованное кодирование независимых зрительных признаков. Мы показываем, что новый алгоритм обучения без учителя, основанный на максимизации информации, — нелинейная сеть «инфомакс», — при обработке набора естественных сцен формирует локализованные ориентированные фильтры. Некоторые из них напоминают фильтры Габора и сходны с фильтрами, полученными с помощью сети, максимизирующей разреженность. Кроме того, выходные сигналы этих фильтров максимально независимы, поскольку сеть «инфомакс» выполняет анализ независимых компонент (ICA) для разреженных компонент со сверхгауссовым распределением. Мы сравниваем полученные фильтры ICA и соответствующие им базисные функции с другими декоррелирующими фильтрами, полученными методом главных компонент (PCA) и с помощью фильтров отбеливания с нулевой фазой (ZCA). При обработке естественных сцен выходные сигналы фильтров ICA имеют более разреженное распределение и более высокий эксцесс. Эти фильтры также напоминают рецептивные поля простых клеток зрительной коры, что позволяет предположить, что такие нейроны образуют естественную информационно-теоретическую систему координат для естественных изображений.