DeepGaze III: моделирование траекторий взгляда человека при свободном просмотре с помощью глубокого обучения

Обычно люди перемещают глаза по траекториям взгляда, состоящим из фиксаций, связанных саккадами. Здесь мы представляем DeepGaze III — новую модель, предсказывающую пространственное положение последовательных фиксаций при свободном просмотре статичных изображений. Эта модель на основе глубокого обучения объединяет информацию об изображении с данными о предшествующих фиксациях, чтобы предсказать, куда участник может посмотреть следующим. Благодаря высокой вычислительной мощности и гибкости DeepGaze III улавливает множество значимых закономерностей в данных о траекториях взгляда человека и устанавливает новый лучший результат на наборе MIT300. Это позволяет оценить, сколько информации о траекториях взгляда разных наблюдателей в принципе доступно. На основе этого мы оцениваем важность механизмов выбора фиксации, реализованных в более простых интерпретируемых моделях. Архитектура DeepGaze III позволяет разделить влияние нескольких факторов, важных для выбора фиксации, например взаимодействие содержания сцены и предшествующей траектории взгляда. Модульная структура модели позволяет проводить абляционные исследования. Они показывают, что в основном наборе данных содержание сцены влияет на выбор фиксации сильнее, чем предшествующая история траектории взгляда. Кроме того, с помощью модели можно выявлять сцены, в которых относительная значимость этих источников информации различается наиболее сильно. Такие выводы на основе данных было бы трудно получить с помощью более простых моделей, которым не хватает вычислительных возможностей для выявления подобных закономерностей. Это пример того, как достижения глубокого обучения могут способствовать научному пониманию.