Метаобучение

Павел Браздил, Ян ван Рейн,  
Карлос Соарес, Хоакин Ваншорен
Ме-та-обуче-ние

Pavel Brazdil, Jan N. van Rijn, 
Carlos Soares, Joaquin Vanschoren
Metalearning
Applications to Automated -
Machine Learning and Data Mining
Second Edition

Павел Браздил, Ян ван Рейн,  
Карлос Соарес, Хоакин Ваншорен
Ме-та-обуче-ние
Применение в AutoML -
и науке о данных
Москва, 2023

УДК	 004.021
ББК 32.372
Б87
Браздил П., ван Рейн Я., Соарес К., Ваншорен Х.
Б87 	 Ме-та-обуче-ние / пер. с англ. В. С. Яценкова. – М.: ДМК Пресс, 2023. – 430 с.: 
ил. 
ISBN 978-5-93700-200-6
Эта книга предлагает всестороннее подробное введение практически во все 
аспекты метаобучения и автоматизированного машинного обучения (AutoML), 
включая основные концепции и архитектуру, методы оценки, наборы данных, 
оптимизацию гиперпараметров, ансамбли и рабочие процессы. Рассматриваются 
способы применения этих знаний для выбора, комбинирования, адаптации и настройки как алгоритмов, так и моделей, чтобы быстрее и лучше решать задачи 
интеллектуального анализа данных и науки о данных.
Книга будет полезна исследователям и аспирантам в области машинного 
обуче-ния, интеллектуального анализа данных, науки о данных и искусственного 
интеллекта.
УДК  004.021
ББК  32.372
This book is licensed under the terms of the Creative Commons Attribution 4.0 International 
License (http://creativecommons.org/licenses/by/4.0/), which permits use, sharing, adaptation, 
distribution and reproduction in any medium or format, as long as you give appropriate credit 
to the original author(s) and the source, provide a link to the Creative Commons license and 
indicate if changes were made.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
ISBN 978-3-030-67023-8 (англ.) 	
©  Pavel Brazdil, Jan N. van Rijn, Carlos 
Soares, Joaquin Vanschoren, 2022.  
This book is an open access publication.
ISBN 978-5-93700-200-6 (рус.) 	
©  Перевод, оформление, издание,  
ДМК Пресс, 2023

Моей спутнице жизни Фатиме, 
а также Оливеру и Якубу.
Павел
Нико и Леунтье ван Рейн за то,  
что научили меня тому, что важно в жизни.
Ян
Моим родителям, а также Мануэле,  
Кике, Манель и Артуру.
Карлос
Аде, Элиасу, Кобе и Вирле за то,  
что напомнили мне, как прекрасен мир.
Хоакин

Содержание
От издательства.....................................................................................................21
Предисловие...........................................................................................................22
Часть I. ОСНОВНЫЕ КОНЦЕПЦИИ И АРХИТЕКТУРА................26
Глава 1. Введение.................................................................................................27
1.1. Структура книги...................................................................................................27
1.2. Основные концепции и архитектура (часть I).................................................28
1.2.1. Основные понятия........................................................................................28
Роль машинного обучения................................................................................28
Роль метаобучения.............................................................................................29
Определение метаобучения.............................................................................29
Метаобучение или автоматизированное машинное обучение?.................30
Происхождение термина «метаобучение».....................................................30
1.2.2. Основные типы задач..................................................................................31
1.2.3. Базовая архитектура систем метаобучения и AutoML............................32
1.2.4. Выбор алгоритма с использованием метаданных из предыдущих 
задач (главы 2,5)......................................................................................................34
1.2.5. Оценка и сравнение различных систем (глава 3)....................................34
1.2.6. Роль характеристик/метапризнаков набора данных (глава 4)..............35
1.2.7. Различные типы моделей метауровня (глава 5).......................................36
1.2.8. Оптимизация гиперпараметров (глава 6).................................................37
1.2.9. Автоматические методы формирования конвейера (глава 7)...............37
1.3. Передовые технологии и методы (часть II)......................................................38
1.3.1. Настройка пространств конфигураций и экспериментов (глава 8)......38
1.3.2. Автоматические методы для ансамблей и потоков ...............................39
Объединение базовых учеников в ансамбли (глава 9).................................39
Метаобучение ансамблевыми методами (глава 10)......................................39
Рекомендации по выбору алгоритма для потоковых данных (глава 11)....39
1.3.3. Перенос метамоделей между задачами (глава 12)..................................40
1.3.4. Метаобучение глубоких нейронных сетей (глава 13)..............................41

Содержание    7
1.3.5. Автоматизация обработки данных и проектирование сложных  
систем.......................................................................................................................42
Автоматизация науки о данных (глава 14).....................................................42
Автоматизация проектирования сложных систем (глава 15)......................43
1.4. Хранилища результатов экспериментов (часть III)........................................44
1.4.1. Хранилища метаданных (глава 16)............................................................44
1.4.2. Обучение на метаданных в репозиториях (глава 17)..............................45
1.4.3. Заключительные замечания (глава 18)......................................................45
1.5. Литература............................................................................................................46
Глава 2. Применение метаобучения к выбору алгоритма 
(рейтинг)...................................................................................................................47
2.1. Введение................................................................................................................47
2.1.2. Структура этой главы...................................................................................48
2.2. Различные типы рекомендаций........................................................................48
2.2.1. Лучший алгоритм в наборе.........................................................................50
2.2.2. Подмножество лучших алгоритмов...........................................................50
Определение алгоритмов с сопоставимой производительностью............50
Объединение подмножеств..............................................................................51
2.2.3. Линейное ранжирование.............................................................................52
2.2.4. Квазилинейное (слабое) ранжирование....................................................52
2.2.5. Неполный рейтинг.......................................................................................52
2.2.6. Поиск лучшего алгоритма в рамках заданного бюджета.......................53
2.3. Ранжирование моделей для выбора алгоритма..............................................53
2.3.1. Создание метамодели в виде ранжированного списка..........................54
Получение оценок производительности........................................................54
Объединение результатов производительности в единый рейтинг..........56
Пример: нахождение среднего рейтинга.......................................................57
2.3.2. Использование метамодели ранжирования для прогнозов  
(стратегия top-n).....................................................................................................57
Пример.................................................................................................................59
2.3.3. Оценка рекомендуемых рейтингов...........................................................60
2.4. Использование комбинированного показателя точности и времени 
выполнения..................................................................................................................60
2.5. Расширения и другие подходы..........................................................................62
2.5.1. Использование метода ранжирования по среднему  
для рекомендации конвейеров............................................................................62
2.5.2. Ранжирование может занизить рейтинг алгоритмов.............................63
2.5.3. Подходы, основанные на многокритериальном анализе с DEA...........64
2.5.4. Использование схожести наборов данных для определения 
соответствующих частей метаданных................................................................64
2.5.5. Работа с неполным ранжированием..........................................................65
Агрегирование неполных рейтингов..............................................................65
2.6. Литература............................................................................................................66

8    Содержание
Глава 3. Оценка рекомендаций систем метаобучения -
и AutoML...................................................................................................................69
3.1. Введение................................................................................................................69
3.2. Методика оценки алгоритмов базового уровня..............................................70
3.2.1. Ошибка обобщения......................................................................................70
3.2.2. Стратегии оценки.........................................................................................71
3.2.3. Потеря и функция потери............................................................................72
3.3. Нормализация производительности для алгоритмов базового уровня......72
Подстановка значений производительности по рангам..............................73
Масштабирование к интервалу 0–1.................................................................73
Преобразование значений в нормальное распределение...........................73
Преобразование в квантильные значения.....................................................74
Нормализация с учетом погрешности............................................................74
3.4. Методика оценки метаобучения и систем AutoML........................................74
3.4.1. Однопроходная оценка с откладыванием................................................74
Цель систем метаобучения/AutoML................................................................75
Выполнение внутренней оценки системами метаобучения/AutoML........75
Избегайте предвзятой оценки..........................................................................76
3.4.2. Оценка на метауровне с перекрестной проверкой.................................76
Оценка на метауровне с поиском в таблице..................................................77
3.5. Оценка рекомендаций путем измерения корреляции..................................77
Ранговая корреляция Спирмена......................................................................78
Взвешенная мера ранговой корреляции........................................................79
3.6. Оценка влияния рекомендаций........................................................................79
3.6.1. Потери производительности и кривые потерь........................................80
3.6.2. Характеризация кривых потерь по AUC...................................................81
3.6.3. Агрегирование кривых потерь после нескольких проходов CV............81
3.6.4. Статистические тесты при заданном бюджете времени........................82
3.7. Некоторые полезные меры.................................................................................83
3.7.1. Низкая точность............................................................................................83
3.7.2. Нормализованный дисконтированный совокупный прирост...............83
3.8. Литература............................................................................................................84
Глава 4. Характеристики набора данных (метапризнаки)..............86
4.1. Введение................................................................................................................86
4.1.1. Что такое хорошие признаки набора данных?........................................87
4.1.2. Характеристики, зависящие от задач и данных......................................87
4.1.3. Характеристики алгоритмов.......................................................................88
4.1.4. Разработка метапризнаков.........................................................................88
4.2. Характеризация данных в задачах классификации.......................................88
4.2.1. Простые, статистические и теоретико-информационные 
метапризнаки..........................................................................................................89
Простые метапризнаки.....................................................................................89
Статистические метапризнаки........................................................................89
Теоретико-информационные метапризнаки................................................90

Содержание    9
4.2.2. Метапризнаки на основе модели...............................................................91
4.2.3. Метапризнаки на основе производительности.......................................91
Ориентиры..........................................................................................................91
Относительные ориентиры..............................................................................92
Ориентиры подвыборки и частичные кривые обучения.............................92
Вектор ориентиров производительности.......................................................92
4.2.4. Метапризнаки, основанные на концепции и сложности.......................93
Вариативность/неровность выходного пространства..................................93
Перекрытие отдельных признаков..................................................................94
Разделимость классов........................................................................................94
Связь некоторых мер сложности с другими типами.....................................94
4.3. Характеризация данных, используемая в задачах регрессии.......................95
4.3.1. Простые и статистические метапризнаки................................................95
Метапризнаки на основе корреляции.............................................................96
4.3.2. Меры на основе сложности задачи............................................................96
4.3.3. Меры на основе сложности/модели...........................................................96
4.3.4. Меры гладкости.............................................................................................97
4.3.5. Меры нелинейности.....................................................................................97
4.4. Характеризация данных, используемых в задачах временных рядов........98
4.4.1. Общая статистика (описательная статистика).........................................98
4.4.2. Характеристики в частотной области........................................................98
4.4.3. Характеристики на основе автокорреляции............................................99
4.5. Характеризация данных, используемых в задачах кластеризации.............99
4.5.1. Простые, статистические и теоретико-информационные 
метапризнаки..........................................................................................................99
4.5.2. Метапризнаки на основе модели.............................................................100
4.5.3. Метапризнаки на основе производительности.....................................100
4.5.4. Метаобучение или оптимизация на целевом наборе данных?...........100
4.6. Получение новых признаков из базового набора.........................................101
4.6.1. Генерация новых признаков путем агрегации......................................101
4.6.2. Генерация полного набора метапризнаков............................................101
4.6.3. Создание новых признаков с помощью PCA..........................................102
4.6.4. Преобразование признаков путем отбора и проекции........................102
4.6.5. Построение новых скрытых признаков с помощью матричного 
разложения............................................................................................................102
4.6.6. Создание новых признаков в виде встраиваний...................................103
4.7. Отбор метапризнаков........................................................................................104
4.7.1. Статический отбор метапризнаков..........................................................104
4.7.2. Динамическая (итеративная) характеризация данных........................105
4.8. Специфичные для алгоритма характеристики и проблемы  
представления...........................................................................................................106
4.8.1. Характеристика данных, зависящая от алгоритма...............................106
Характеристика данных полезна для ранжирования пар алгоритмов....106
4.8.2. Проблемы представления.........................................................................107
4.9. Установление сходства между наборами данных.........................................107
4.9.1. Сходство на основе метапризнаков.........................................................107
4.9.2. Сходство, основанное на результатах работы алгоритмов..................108

10    Содержание
Косинусное подобие результатов производительности............................108
Корреляционное подобие результатов производительности...................109
4.10. Литература........................................................................................................109
Глава 5. Применение метаобучения к выбору алгоритма 
(продолжение).....................................................................................................116
5.1. Введение..............................................................................................................116
5.2. Использование регрессионных моделей в системах метаобучения..........118
5.2.1. Эмпирические модели производительности.........................................118
Использование метаданных из текущего набора данных.........................118
Подходы, использующие метаданные из других наборов данных...........119
5.2.2. Нормализация производительности.......................................................120
5.2.3. Модели производительности....................................................................120
5.2.4. Деревья кластеризации..............................................................................121
5.2.5. Преобразование прогнозов производительности в рейтинги............122
5.2.6. Прогнозирование производительности для каждого экземпляра.....122
5.2.7. Преимущества и недостатки прогнозирования  
производительности............................................................................................123
Преимущества...................................................................................................123
Недостатки........................................................................................................123
5.3. Использование классификации на метауровне для прогнозирования 
применимости...........................................................................................................124
5.3.1. Алгоритмы классификации, используемые на метауровне................125
5.4. Методы, основанные на попарных сравнениях............................................125
5.4.1. Парные тесты, использующие ориентиры..............................................126
5.4.2. Парный метод, основанный на частичных кривых обучения.............126
Представление частичных кривых обучения..............................................128
Проведение тестов на целевом наборе данных...........................................128
Поиск наиболее похожих кривых обучения.................................................128
Адаптация полученных кривых.....................................................................129
Выполнение прогнозов для k ближайших наборов данных......................129
Основные результаты......................................................................................130
5.5. Парный метод для набора алгоритмов...........................................................130
Подробности приведены в следующих разделах........................................130
Повтор сравнения для всех пар и создание частичного рейтинга...........131
Определение лучшего алгоритма(ов)............................................................131
Оценка................................................................................................................132
Недостатки этого подхода...............................................................................132
Использование частичного ранжирования для выполнения top-n 
алгоритмов........................................................................................................133
Расширение метода среднего ранжирования до частичного 
ранжирования...................................................................................................133
5.6. Итеративный подход к проведению парных тестов.....................................133
Инициализация текущего лучшего алгоритма............................................134
Поиск лучшего парного теста.........................................................................134