BENDR: применение трансформеров и контрастивного обучения с самоконтролем для работы с большими массивами данных ЭЭГ

При классификации данных для интерфейсов «мозг—компьютер» (ИМК) с помощью глубоких нейронных сетей обычно предполагается, что обучение на данных из разных контекстов позволяет выявить общие признаки, которые затем можно адаптировать к конкретным условиям. Хотя этот подход в некоторых случаях эффективен, мы считаем такую интерпретацию ограниченной и предлагаем альтернативу, позволяющую лучше использовать недавно ставшие общедоступными обширные наборы данных электроэнцефалографии (ЭЭГ). Мы изучаем, как адаптировать методы и архитектуры моделирования языка, способные обрабатывать огромные объёмы данных, для моделирования ЭЭГ с помощью глубоких нейронных сетей. В частности, мы адаптируем подход, успешно применяемый в автоматическом распознавании речи: как и при моделировании языка, в нём используется цель обучения с самоконтролем, чтобы получать сжатые представления исходных сигналов. После адаптации к ЭЭГ одна предварительно обученная модель смогла обрабатывать совершенно новые необработанные последовательности ЭЭГ, записанные с помощью другого оборудования, у других испытуемых и при выполнении ими других задач. Кроме того, внутренние представления модели и вся архитектура могут быть дообучены для последующих задач классификации данных ИМК и ЭЭГ; модель превосходит предыдущие методы, в том числе при классификации стадий сна и использовании самоконтроля для решения конкретных задач.