Глубокие сверточные и рекуррентные нейронные сети с LSTM-блоками для распознавания активности по данным мультимодальных носимых датчиков

Задачи распознавания активности человека традиционно решали с использованием признаков, сконструированных эвристическими методами. Современные исследования показывают, что глубокие сверточные нейронные сети подходят для автоматического извлечения признаков из исходных данных датчиков. Однако действия человека состоят из сложных последовательностей двигательных движений, поэтому учет этой временной динамики имеет принципиальное значение для успешного распознавания активности. С учетом недавних успехов рекуррентных нейронных сетей в задачах анализа временных рядов мы предлагаем универсальную глубокую архитектуру для распознавания активности на основе сверточных и рекуррентных блоков LSTM, которая: (i) подходит для мультимодальных носимых датчиков; (ii) обеспечивает естественное объединение данных с разных датчиков; (iii) не требует экспертных знаний для конструирования признаков; (iv) явно моделирует временную динамику активации признаков. Архитектуру оценивали на двух наборах данных, один из которых использовался в открытом конкурсе по распознаванию активности. На наборе данных конкурса предложенная архитектура в среднем на 4% превзошла конкурирующие глубокие нерекуррентные сети, а некоторые ранее опубликованные результаты — до 9%. Полученные результаты показывают, что архитектуру можно применять как к однородным типам датчиков, так и для объединения данных мультимодальных датчиков с целью повышения эффективности. Мы также охарактеризовали влияние ключевых гиперпараметров архитектуры на эффективность, чтобы уточнить подходы к их оптимизации.