Гибридная событийно-кадровая регистрация для визуализации, воспринимаемой человеком, и машинного зрения

Кадровые RGB-сенсоры изображения и событийные сенсоры зрения обеспечивают взаимодополняющие возможности для визуализации, воспринимаемой человеком, и машинного зрения. RGB-сенсоры изображения регистрируют плотную пространственную, цветовую и текстурную информацию, необходимую для визуализации, доступной восприятию человека, семантического распознавания и традиционных конвейеров обработки изображений. В отличие от них датчики динамического зрения (DVS) и событийные сенсоры зрения (EVS) асинхронно выявляют локальные изменения яркости и обеспечивают разреженную временную информацию с малой задержкой, высоким временным разрешением и сокращённым объёмом избыточных данных. Поскольку ни одна из этих технологий по отдельности не отвечает всем требованиям перспективных систем технического зрения, гибридная событийно-кадровая регистрация стала важным направлением разработки компактных, быстродействующих и энергоэффективных сенсорных систем. В этом обзоре предложена ориентированная на сенсоры классификация архитектур и систем гибридной событийно-кадровой регистрации, включающая системы с двумя камерами для событийной и кадровой регистрации, оптически согласованные событийно-кадровые системы, гибридные сенсоры изображения с совместным использованием пикселей, многослойные гибридные сенсоры изображения CIS-DVS, системы регистрации с однородными пикселями и системы реконструкции только по событиям. Проанализированы ключевые характеристики сенсоров, включая задержку, пространственное разрешение, точность цветопередачи, энергопотребление и форм-фактор, а также рассмотрено, как эти характеристики определяют конфигурацию и конструкцию сенсора. Многослойные сенсоры CIS-DVS названы одной из наиболее сбалансированных и конкурентоспособных архитектур, поскольку они обеспечивают компактную интеграцию, синхронную событийно-кадровую регистрацию и обработку на кристалле. Однако сохраняются важные проблемы, включая точность цветопередачи, демозаицирование, оптимизацию доли событийных пикселей, калибровку, стандартизацию сравнительной оценки и внедрение ИИ на периферии. Наконец, подчёркивается, что перспективные гибридные событийно-кадровые системы следует разрабатывать на основе совместного проектирования сенсора, алгоритмов, ISP и ИИ. Обзор содержит практические рекомендации по разработке гибридных событийно-кадровых систем нового поколения для визуализации, воспринимаемой человеком, и машинного зрения.