Интеллектуальные мультимодальные интерфейсы для обработки биомедицинских сигналов

Министерство науки и высшего образования 
Российской Федерации

Уральский федеральный университет
имени первого Президента России Б. Н. Ельцина

А. М. Сысков, В. И. Борисов

Интеллектуальные 

мультимодальные интерфейсы 
для обработки биомедицинских 

сигналов

Практикум

Рекомендовано методическим советом
Уральского федерального университета
для студентов вуза, обучающихся
по направлению подготовки
09.04.02 — Информационные системы и технологии

Екатеринбург
Издательство Уральского университета
2021

УДК 004.51:616-71(076.5)
ББК 32.973+53.6я73
          С95
Рецензенты:
д-р техн. наук А. Н. Алфимцев (кафедра «Информационные системы и телекоммуникации» Московского государственного технического университета имени Н. Э. Баумана (национального исследовательского университета)
главный конструктор медицинских изделий А. А. Чупов (АО «Производственное объединение “Уральский оптико-механический завод” имени 
Э. С. Яламова»)

Научный редактор — д-р техн. наук, проф. В. С. Кубланов

Рисунок на обложке выполнен С. А. Сысковым

 
Сысков, А. М.
С95    Интеллектуальные мультимодальные интерфейсы для обработки биомедицинских сигналов : практикум / А. М. Сысков, В. И. Борисов ; М-во науки 
и высш. образования РФ. — Екатеринбург : Изд-во Урал. ун-та, 2021. — 78 с.

ISBN 978-5-7996-3308-0

Рассматривается использование биомедицинских сигналов при реализации 
интеллектуальных мультимодальных интерфейсов. Информационные характеристики биомедицинских сигналов, модулирующихся функциональными процессами 
организма, могут быть использованы в приложениях, с помощью которых требуется получать данные о психофизическом состоянии человека и производить количественную оценку изменения состояния человека.
Разработка интеллектуальных мультимодальных интерфейсов рассматривается на примере интерфейсов мозг-компьютер. В качестве входных модальностей 
интерфейса используется сигнал ЭЭГ и данные с 3-осевого акселерометра, размещенного на голове человека.
В работе представлены материалы и методы, связанные с архитектурой мультимодальных интерфейсов, применением методов обработки сигналов и методов 
машинного обучения для формирования метрик изменения функционального состояния человека, а также спецификации для работы с облачным сервисом Google 
Fit для хранения данных приложений. Отдельное внимание уделено проектированию интерфейсов мозг-компьютер с применением открытых программных продуктов BCI2000 и Open Vibe.

Рис. 50.

УДК 004.51:616-71(076.5)
ББК 32.973+53.6я73

ISBN 978-5-7996-3308-0 
© Уральский федеральный

 
     университет, 2021

Содержание

Список терминов и определений ............................................................... 4

Предисловие ............................................................................................. 5

Подходы к анализу мультимодальных данных ......................................... 6
Архитектура мультимодального интрефейса .................................... 9

ЛАБОРАТОРНАЯ РАБОТА 1. Изучение сигналов двигательной  
активности сеанса BCI для mu-ритма .................................................... 16
Краткие теоретические сведения .................................................... 16
Рекомендации для выполнения работы .......................................... 22
Задание ............................................................................................. 30

ЛАБОРАТОРНАЯ РАБОТА 2. Изучение связанных  
с событиями мозговых потенциалов (ERP P300) .................................... 31
Краткие теоретические сведения .................................................... 31
Рекомендации для выполнения работы .......................................... 33
Задание ............................................................................................. 38

ЛАБОРАТОРНАЯ РАБОТА 3. Знакомство с REST  
API GOOGLE FIT .................................................................................. 39
Краткие теоретические данные ....................................................... 39
Рекомендации для выполнения работы .......................................... 40
Задание ............................................................................................. 45

ЛАБОРАТОРНАЯ РАБОТА 4. Cопряжение электроэнцефалографарегистратора «Энцефалан-ЭЭГР-19/26» и OpenVibe ............................ 46
Краткие теоретические сведения .................................................... 46
Рекомендации для выполнения работы .......................................... 55
Задание ............................................................................................. 63

ЛАБОРАТОРНАЯ РАБОТА 5. Обработка данных проекта  
BCI2000 в EEGLAB ................................................................................ 64
Краткие теоретические сведения .................................................... 64
Рекомендации для выполнения работы .......................................... 65
Задание ............................................................................................. 73

Список библиографических ссылок........................................................ 75

Список терминов и определений

БОС
— биологическая обратная связь

Open Vibe
— международный проект по разработке программного обеспечения 
для интерфейсов мозг–компьютер (http://openvibe.inria.fr/)

BCI2000
— международный проект по разработке программного обеспечения 
для интерфейсов мозг–компьютер (https://www.bci2000.org) 

BCI (Brain Computer Interface) — интерфейс мозг–компьютер

Google Fit
— облачный сервис компании  
Google для приложений, связанных со здоровьем и физической 
культурой

ЭЭГ
— электроэнцефалограмма

ERP (event-related potential)
— связанный с событием мозговой 
потенциал

Emotiv Epoc+ 
— беспроводная нейрогарнитура 
c 14 каналами ЭЭГ (https://www.
emotiv.com/epoc/)

Предисловие

П

рактикум содержит результаты работ коллектива исследователей и студентов магистрантов Научно-исследовательского 
медико-биологического инженерного центра высоких технологий ИРИТ-РТФ УрФУ, а также материалы курса «Интерфейсы 
мозг–компьютер», который читался в рамках программы магистратуры «Интеллектуальные информационные системы функциональной 
диагностики и нейрореабилитации» в 2017–2021 гг.
Работа включает следующие материалы:
• материалы и методы, связанные с построением интеллектуальных мультимодальных интерфейсов;
• описание лабораторной работы по проектированию компонента хранения данных на примере Google Fit для сигналов ЭЭГ 
и акселерометра;
• описание лабораторной работы по построению и исследованию метрики функционального состояния с использованием 
модальности акселерометра и модальности ЭЭГ;
• описание лабораторной работы по изучению сигналов двигательной активности сеанса BCI для mu-ритма с использованием комплекса программ BCI2000;
• описание лабораторной работы по изучению связанных с событиями мозговых потенциалов (ERP P300);
• описание лабораторной работы по сопряжению программного комплекса Open Vibe с энцефалографом «ЭНЦЕФАЛАН»;
• описание лабораторной работы по обработке данных проекта 

BCI2000 в EEGLAB;
• описание лабораторной работы по построению мультимодальной метрики.

Подходы к анализу мультимодальных данных

Ч

еловеку в традиционной среде обитания свойственно мультимодальное взаимодействие с окружающим миром. Интеллектуальные мультимодальные интерфейсы обеспечивают 
взаимодействие человека и компьютера с использованием привычных для него способов или модальностей: речи, мимики, движения [1]. 
При этом учитываются различные условия среды, модель поведения 
человека и его индивидуальные особенности, определяются отношения на пространстве признаков различных модальностей [2], [3].
Данные биомедицинских сигналов, которые модулируются функциональными процессами внутри организма человека, несут в себе 
информацию о психофизическом состоянии человека и могут быть 
использованы при реализации интеллектуальных мультимодальных 
интерфейсов [4]. Исследование и построение интеллектуального мультимодального интерфейса с использованием сигналов ЭЭГ и акселерометра рассматриваются в работах [5], [6].
Измерение электрической активности головного мозга позволяет 
измерять и распознавать определенные состояния центральной нервной системы. Сигнал ЭЭГ может быть использован для оценки изменения когнитивного, эмоционального состояния человека, определения намерений человека, например, связанных с двигательной 
активностью, диагностики заболеваний центральной нервной системы и головного мозга.
Именно с электрической активностью головного мозга, как правило, связывают интерфейсы мозг-компьютер. Один из первых интерфейсов мозг–компьютер с использованием сигнала ЭЭГ в 1964 г. 
реализован американским кибернетиком и нейрофизиологом Греем 
Уолтером [7].
Позднее, в 1970-х гг. Жак Видал ввел более широкое определение 
интерфейса мозг–компьютер как системы, которая позволяет получать детальную информацию о функциях головного мозга. Функции 

Подходы к анализу мультимодальных данных

головного мозга — специфические механизмы в головном мозге, направленные на перестройку и адаптацию систем организма и на достижение постоянных и временных целей [8].
Определение Ж. Видала позволяет дополнительно отнести к интерфейсам мозг–компьютер системы, которые используют самые 
различные физические способы регистрации процессов головного 
мозга: магнитно-резонансная томография; позитронно-эмиссионная томография; методы биоимпеданса; методы измерения скорости кровотока в артериях; методы радиотермометрии и радиотермографии [9] и др.
Одновременная регистрация сигналов различной физической природы позволяет получить более полную информацию о функциях головного мозга, состоянии центральной нервной системы и психофизическом состоянии человека.
В данной работе рассматривается применение сигналов ЭЭГ и акселерометра для создания мультимодального интеллектуального интерфейса контроля состояния человека и развития функций головного мозга, необходимых для формирования выбранных человеком 
психофизических и эмоциональных состояний, с использованием механизма БОС:
• БОС с использованием модальности ЭЭГ основывается на пространственной и частотной фильтрации электрических потенциалов на поверхности головного мозга [10], [11];
• БОС с использованием сигнала акселерометра основывается 

на анализе параметров движения головы человека, которые 
определяются работой вестибулярного аппарата и его психофизическим состоянием [12].
Для реализации интерфейса с использованием модальности сигнала ЭЭГ и сигнала акселерометра использовалась нейрогарнитура 
Emotiv Epoc+ (рис. I).
Представим, что имеется некое приложение, которое предназначено для тренировки способностей достигать определенного уровня 
психофизических состояний, например расслабления, фокуса, стресса. Приложение для своей работы использует разрабатываемый интеллектуальный мультимодальный интерфейс для контроля состояния 
пользователя и обратной связи. На рис. II. представлена диаграмма 
вариантов использования такого приложения.

Интеллектуальные мультИмодальные Интерфейсы для обработкИ бИомедИцИнскИх сИгналов

ЭЭГ 

Акселерометр

ЭЭГ 

Рис. I. Размещение нейрогарнитуры на голове человека

Пользователь

Профиль

Управление метриками

Калибровка метрик

Активности

Выбор тренировки

БОС

Обращение к доктору

Рис. II. Диаграмма вариантов использования приложения

Профиль пользователя содержит информацию о метриках психофизического состояния человека и типах активности пользователя. Метрики в нашем случае — это вычисляемые значения уровня фокуса, стресса 
и т. п. Типы активности пользователя — это то, что характеризует поведение человека во внешней среде, например функциональный покой, 
обычная деятельность, напряженная работа и т. д. Для каждой метрики 
выполняется калибровка уровней: низкий, средний, высокий.
Пользователь имеет возможность выбрать тренировку из списка. 
Тренировка включает в себя набор этапов с целевыми значениями 
уровней метрик. После начала тренировки осуществляется контроль 
уровней метрик в режиме реального времени через биологическую обратную связь.