Многокритериальные нейроэволюционные системы в задачах машинного обучения и человеко-машинного взаимодействия

    Рассмотрены методы и модели машинного 
обучения для построения автоматизированных 
систем человеко-машинного взаимодействия. 

Е. А. Сопов, И. А. Иванов
МНОГОКРИТЕРИАЛЬНЫЕ 
НЕЙРОЭВОЛЮЦИОННЫЕ СИСТЕМЫ  
В ЗАДАЧАХ МАШИННОГО ОБУЧЕНИЯ  
И ЧЕЛОВЕКО-МАШИННОГО ВЗАИМОДЕЙСТВИЯ

Министерство науки и высшего образования Российской Федерации 
Сибирский федеральный университет 
 
 
 
 
 
 
 
 
 
 
Е. А. Сопов, И. А. Иванов 
 
МНОГОКРИТЕРИАЛЬНЫЕ 
НЕЙРОЭВОЛЮЦИОННЫЕ СИСТЕМЫ  
В ЗАДАЧАХ МАШИННОГО ОБУЧЕНИЯ  
И ЧЕЛОВЕКО-МАШИННОГО 
ВЗАИМОДЕЙСТВИЯ 
 
Монография 
 
 
 
 
 
 
 
 
 
 
 
 
 
Красноярск 
СФУ 
2019 

УДК 004.032.26:378.147+004.5 
ББК 32.818.1 
С645 
 
 
Р е ц е н з е н т ы: 
Е. С. Семенкин, доктор технических наук, профессор кафедры 
системного анализа и исследования операций СибГУ имени академика М. Ф. Решетнева; 
В. А. Терсков, доктор технических наук, профессор кафедры 
управления персоналом Красноярского института Железнодорожного транспорта – филиала ФГБОУ ВО ИрГУПС 
 
 
Сопов, Е. А. 
С645 
 
Многокритериальные нейроэволюционные системы в задачах машинного обучения и человеко-машинного взаимодействия : монография / Е. А. Сопов, И. А. Иванов. – Красноярск : 
Сиб. федер. ун-т, 2019. – 160 с. 
 
ISBN 978-5-7638-3969-2 
 
Рассмотрены методы и модели машинного обучения для построения 
автоматизированных систем человеко-машинного взаимодействия.  
Предназначена для студентов, аспирантов и научных работников, интересующихся проблемами проектирования методов и моделей машинного и глубинного обучения. 
 
 
 
 
 
Электронный вариант издания см.: 
УДК 004.032.26:378.147+004.5 
http://catalog.sfu-kras.ru 
ББК 32.818.1 
 
 
 
 
 
 
ISBN 978-5-7638-3969-2                         © Сибирский федеральный университет, 2019

– 3 – 

ОГЛАВЛЕНИЕ 

 
 
ВВЕДЕНИЕ ..................................................................................................... 6 
 
Глава 1. СИСТЕМНЫЙ АНАЛИЗ ПРОБЛЕМЫ ПРИМЕНЕНИЯ 
МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ И ОПТИМИЗАЦИИ  
В ЗАДАЧАХ ЧЕЛОВЕКО-МАШИННОГО ВЗАИМОДЕЙСТВИЯ ......... 9 
 
1.1. Обзор современных методов машинного обучения,  
классификации и оптимизации ................................................... 9 
1.2. Задача человеко-машинного взаимодействия и обзор 
существующих подходов к ее решению .................................. 29 
1.3. Проблема распознавания эмоций при разработке  
человеко-машинных интерфейсов ............................................ 36 
Выводы по главе 1 ............................................................................. 40 

 
Глава 2. КОЛЛЕКТИВНЫЙ САМОКОНФИГУРИРУЕМЫЙ 
ЭВОЛЮЦИОННЫЙ АЛГОРИТМ МНОГОКРИТЕРИАЛЬНОЙ 
ОПТИМИЗАЦИИ ......................................................................................... 42 
 

2.1. Эволюционные алгоритмы однокритериальной  
и многокритериальной оптимизации ....................................... 42 
2.2. Разработка и реализация самоконфигурируемого 
эволюционного алгоритма многокритериальной  
оптимизации ................................................................................ 54 
2.3. Исследование эффективности самоконфигурируемого 
алгоритма на репрезентативном наборе тестовых задач 
оптимизации ................................................................................ 58 
Выводы по главе 2 ............................................................................. 66 

 
Глава 3. МНОГОКРИТЕРИАЛЬНЫЙ ПОДХОД  
К ПРОЕКТИРОВАНИЮ АНСАМБЛЯ КЛАССИФИКАТОРОВ  
И ОТБОРУ ИНФОРМАТИВНЫХ ПРИЗНАКОВ ..................................... 68 

 
3.1. Настройка параметров и проектирование ансамблей  
алгоритмов машинного обучения ............................................. 68 
3.2. Разработка и реализация многокритериального подхода  
к отбору информативных признаков ........................................ 74 
3.3. Разработка и реализация многокритериального подхода  
к проектированию ансамбля нейросетевых  
классификаторов ......................................................................... 81 

– 4 – 

3.4. Исследование эффективности многокритериального  
подхода к отбору информативных признаков  
и проектированию ансамбля нейросетевых  
классификаторов ......................................................................... 86 
Выводы по главе 3 ............................................................................. 97 

 
Глава 4. ГИБРИДНЫЙ АЛГОРИТМ ОБУЧЕНИЯ  
КОНВОЛЮЦИОННОЙ НЕЙРОННОЙ СЕТИ С ПРИМЕНЕНИЕМ 
ЭВОЛЮЦИОННОГО АЛГОРИТМА ОПТИМИЗАЦИИ ......................... 99 

 
4.1. Конволюционная нейронная сеть и суть методов  
глубинного обучения ................................................................. 99 
4.2. Достоинства и недостатки алгоритмов обратного 
распространения ошибки и эволюционного алгоритма  
для настройки искусственных нейронных сетей .................. 104 
алгоритм обратного распространения ошибки ............................ 104 
4.3. Гибридный алгоритм обучения конволюционной  
нейронной сети ......................................................................... 108 
4.4. Исследование эффективности  гибридного алгоритма 
обучения конволюционной нейронной сети на задачах 
анализа изображений ............................................................... 112 
Выводы по главе 4 ........................................................................... 117 

 
Глава 5. ОБОБЩЕННЫЙ МЕТОД ДЛЯ РЕШЕНИЯ ЗАДАЧ  
АНАЛИЗА ГЕТЕРОГЕННЫХ ДАННЫХ ................................................ 119 

 
5.1. Метод слияния аудио-, видеоинформации на уровне  
данных и на уровне классификаторов в рамках задачи 
распознавания эмоций ............................................................. 119 
5.2. Разработка обобщенного метода для решения задач  
анализа гетерогенных данных на основе слияния данных, 
многокритериального отбора признаков и оптимизации 
алгоритмов машинного обучения и конволюционных 
нейронных сетей ....................................................................... 124 
5.3. Исследование эффективности обобщенного метода   
на задаче распознавания эмоций ............................................ 127 
Выводы по главе 5 ........................................................................... 128 

 
ЗАКЛЮЧЕНИЕ ........................................................................................... 129 
 
СПИСОК ЛИТЕРАТУРЫ .......................................................................... 131 
 

– 5 – 

Приложение А. СРАВНЕНИЕ РАЗРАБОТАННОГО АЛГОРИТМА 
SELFCOMOGA С АЛГОРИТМАМИ-ПОБЕДИТЕЛЯМИ 
СОРЕВНОВАНИЯ CEC ПО МЕТРИКЕ IGD .......................................... 143 
 
Приложение Б. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ  
ПО ИССЛЕДОВАНИЮ ЭФФЕКТИВНОСТИ 
МНОГОКРИТЕРИАЛЬНОГО ПОДХОДА К ОТБОРУ 
ИНФОРМАТИВНЫХ ПРИЗНАКОВ И ПРОЕКТИРОВАНИЮ 
АНСАМБЛЯ  НЕЙРОСЕТЕВЫХ КЛАССИФИКАТОРОВ ................... 146 
 
Приложение В. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ  
ПО ИССЛЕДОВАНИЮ ЭФФЕКТИВНОСТИ ГИБРИДНОГО  
АЛГОРИТМА ОБУЧЕНИЯ КОНВОЛЮЦИОННОЙ НЕЙРОННОЙ 
СЕТИ НА ЗАДАЧЕ РАСПОЗНАВАНИЯ ЭМОЦИЙ ............................. 153 
 
Приложение Г. РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ  
ПО ИССЛЕДОВАНИЮ ЭФФЕКТИВНОСТИ ОБОБЩЕННОГО 
МЕТОДА АНАЛИЗА ГЕТЕРОГЕННЫХ ДАННЫХ  
НА ЗАДАЧЕ РАСПОЗНАВАНИЯ ЭМОЦИЙ ......................................... 155 
 

– 6 – 

ВВЕДЕНИЕ 

 
 
 
Одна из задач машинного обучения заключается в построении 
модели по имеющейся базе данных в соответствии с некоторым алгоритмом. В общем случае алгоритмы машинного обучения не позволяют добиться высокой точности решения задачи без предварительной 
настройки параметров. Настройка параметров алгоритмов вручную 
может оказаться очень затратной по времени. Кроме того, эксперт  
в области машинного обучения должен обладать необходимыми знаниями о настраиваемом алгоритме и свойствах процесса обучения 
данного алгоритма. 
Данная монография посвящена проблеме проектирования 
нейросетевых систем машинного обучения эволюционными алгоритмами при решении задач человеко-машинного взаимодействия. 
Задача автоматизации проектирования методов и моделей машинного обучения не является новой, исследованиям в этой области посвящено множество научных и научно-практических работ. Тем не менее  
на текущий момент универсального и достаточно эффективного решения пока не предложено.  
Простейшее улучшение ручной настройки алгоритмов – поиск 
по сетке. Дальнейшее улучшение – использование алгоритмов однокритериальной и многокритериальной оптимизации, где параметры 
метода машинного обучения являются объектными переменными,  
а в качестве целевой функции рассматривается эффективность применения метода машинного обучения. Tušar в своей работе использует дифференциальную эволюцию для многокритериальной оптимизации совместно с алгоритмом машинного обучения. Kohavi  
и John вели поиск подходящих параметров алгоритма C4.5 для построения деревьев решений. Согласно результатам, оптимизированные значения параметров алгоритма в большинстве случаев обеспечивают лучшую либо неуступающую точность решения задач  
(в частности, задач классификации и регрессии). Похожие эксперименты проводились Младеничем для поиска параметров при решении 
задачи пост-пруннинга дерева решений. Оптимизируемым критерием выступала точность классификации дерева решений, вычисленная по 10-кратной кросс-валидации. Bohanec и Bratko представили 

– 7 – 

алгоритм OPT, который на каждой итерации искал дерево решений, 
обеспечивающее наибольшую точность классификации среди всех 
деревьев того же размера. Bergstra использовал случайный поиск  
и алгоритм «Древовидная оценка Парзена» для поиска параметров 
нейронных сетей. 
Работы некоторых авторов посвящены оптимизации параметров 
метода опорных векторов (support vector machine, SVM). Rossi  
и Carvalho провели сравнение четырех алгоритмов оптимизации параметров данного метода: генетический алгоритм, алгоритм клонируемой селекции, муравьиный алгоритм, алгоритм роя частиц. В некоторых случаях алгоритм SVM с параметрами по умолчанию оказался 
более эффективен, чем с оптимизированными параметрами. Lessmann, 
Stahlbock и Crone оптимизировали параметры алгоритма SVM с помощью генетического алгоритма. В сравнении с поиском по решетке 
генетический алгоритм обеспечил лучшие и более стабильные результаты. В работах Almeida и Leung использовались эволюционные 
алгоритмы для инициализации параметров нейронных сетей.  
В последние годы активно развивается Красноярская научная 
школа. Наиболее известные и значимые результаты в области разработки эволюционных алгоритмов получены научной школой  
Е. С. Семенкина. В частности, Ш. А. К. Ахмедовой был разработан 
коллективный алгоритм оптимизации, комбинирующий в себе различные бионические алгоритмы. Р. Б. Сергиенко предложил коэволюционный алгоритм многокритериальной оптимизации. Разрабатываемые данной научной школой эволюционные алгоритмы многокритериальной оптимизации используются для оптимизации  
параметров алгоритмов машинного обучения, таких как нейронные 
сети (Ш. А. К. Ахмедова, К. Ю. Брестер), нечеткая логика (Р. Б. Сергиенко), генетическое программирование (Е. А. Сопов) и др. Эти алгоритмы используются для решения различных практических задач: 
распознавание эмоций человека по аудиозаписи и видеозаписи лица 
(М. Ю. Сидоров), выбор эффективных вариантов системы управления 
космическим аппаратом (М. Е. Семенкина) и мн. др. 
Несмотря на то, что тема исследована большим количеством 
ученых и специалистов, исчерпывающего решения проблемы не предложено. Более того, появляются новые задачи, методы и модели  
машинного обучения, для которых также требуется разработка методов автоматизированного проектирования. Следовательно, разработка методов автоматизированной настройки алгоритмов машинного 

– 8 – 

обучения в целом и нейронных сетей в частности является актуальной научно-технической задачей. 
Монография – результат научно-исследовательской работы авторов. Некоторые ее положения и частные результаты представлялись на различных всероссийских и международных научных конференциях и опубликованы в научных изданиях из списка ВАК РФ, 
включая индексируемые в базах Scopus и Web of Science. Программные реализации описанных алгоритмов имеют государственную регистрацию в Роспатенте, а сами подходы использовались при решении практических задач в рамках научных грантов, государственных 
заданий, проектов ФЦП и РФФИ и др. И. А. Ивановым в 2017 году по 
данной теме защищена диссертация на соискание ученой степени 
кандидата технических наук. 
В данной монографии представлен анализ основных подходов  
к решению задачи распознавания эмоций, алгоритмов оптимизации  
и машинного обучения, включая методы глубинного обучения,  
а также предложен оригинальный коэволюционный алгоритм многокритериальной оптимизации. Даны результаты исследования эффективности коэволюционного алгоритма и его применения для решения 
задачи проектирования ансамбля классификаторов и отбора информативных признаков в задачах машинного обучения. Для распознавания изображений в рамках решения задачи человеко-машинного взаимодействия представлены конволюционная нейронная сеть с гибридным алгоритмом обучения на основе эволюционного алгоритма 
оптимизации и обобщенный метод решения задач классификации, 
включающих использование гетерогенных аудио-, видеоданных. 
 

– 9 – 

Глава 1 
СИСТЕМНЫЙ АНАЛИЗ ПРОБЛЕМЫ  
ПРИМЕНЕНИЯ МЕТОДОВ МАШИННОГО ОБУЧЕНИЯ 
И ОПТИМИЗАЦИИ В ЗАДАЧАХ  
ЧЕЛОВЕКО-МАШИННОГО ВЗАИМОДЕЙСТВИЯ 

 
 
 
В первой главе рассмотрены известные методы и модели  
машинного и глубинного обучения, представлена задача человекомашинного взаимодействия и обзор подходов к ее решению. 
 
 
 
1.1. ОБЗОР СОВРЕМЕННЫХ МЕТОДОВ  
МАШИННОГО ОБУЧЕНИЯ, КЛАССИФИКАЦИИ  
И ОПТИМИЗАЦИИ 
 
 
Машинное обучение – обширный раздел искусственного интеллекта, посвященный разработке алгоритмов для обучения машин 
(алгоритмов, программных систем или аппаратно-программных комплексов) решению практических задач [4, 26]. Машинное обучение 
находится на стыке дисциплин, таких как математическая статистика, 
методы оптимизации, информатика. Кроме того, практическая 
направленность машинного обучения связывает его со многими другими областями человеческих знаний, на первый взгляд никак  
не связанными с математикой и вычислениями. К примеру, медицинская информационная система, способная автоматически ставить 
диагноз пациента по входным симптомам, относится к приложениям 
машинного обучения, но для создания такой системы, наряду со 
знаниями в области математических алгоритмов, требуются также 
знания в предметной области решаемой задачи – медицине. На сегодняшний день сфера применения алгоритмов машинного обучения 
стала столь широка, что данная дисциплина стала связана с большим 
количеством технических и гуманитарных отраслей человеческой 
деятельности.