Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных
Машинное обучение: искусство извлечения знаний из данных
Машинное обучение (МО) – это область искусственного интеллекта, изучающая методы построения алгоритмов, способных извлекать знания из данных. Книга Петера Флаха "Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных" представляет собой введение в эту сложную, но увлекательную дисциплину. Автор подчеркивает единство и разнообразие МО, разделяя задачи и признаки, а также рассматривая широкий спектр логических, геометрических и вероятностных моделей.
Основные компоненты машинного обучения
Ключевыми элементами МО являются задачи, модели и признаки. Задачи – это проблемы, решаемые методами МО, такие как классификация (бинарная и многоклассовая), регрессия, кластеризация и дескриптивное моделирование. Модели – это результат обучения алгоритмов, которые отображают входные данные в результаты. Автор выделяет три основных типа моделей: геометрические (основанные на геометрических понятиях), вероятностные (основанные на вероятностных распределениях) и логические (основанные на логических правилах). Признаки – это измерения, описывающие объекты предметной области, определяющие "язык", на котором описываются объекты.
Типы моделей и их применение
Геометрические модели используют геометрические понятия, такие как прямые, плоскости и расстояния. Примером является линейный классификатор, который разделяет классы с помощью гиперплоскости. Вероятностные модели основаны на вероятностных распределениях. Наивный байесовский классификатор является примером, использующим теорему Байеса для классификации на основе вероятностей. Логические модели выражаются на языке правил, например, решающие деревья, которые разбивают пространство объектов на сегменты.
Оценка качества и переобучение
Оценка качества моделей является критическим аспектом МО. Для оценки прогностических моделей используется верность, точность, полнота и другие показатели, вычисляемые на тестовых данных. Важно избегать переобучения, когда модель слишком хорошо подстраивается под обучающие данные, но плохо обобщает на новые данные.
Классификация, ранжирование и оценивание вероятностей
Книга подробно рассматривает задачи классификации, ранжирования и оценивания вероятностей. В классификации объекты относятся к одному из нескольких классов. Ранжирование предполагает упорядочение объектов на основе их оценок. Оценивание вероятностей классов позволяет предсказать вероятность принадлежности объекта к определенному классу.
За пределами бинарной классификации
Книга расширяет область рассмотрения за пределы бинарной классификации, охватывая многоклассовую классификацию, регрессию, кластеризацию и дескриптивное моделирование. Рассматриваются методы обучения без учителя, когда обучающие данные не размечены, и методы обучения с учителем.
Преобразования признаков и ансамбли моделей
Важную роль играют преобразования признаков, которые позволяют улучшить качество модели. Также рассматриваются ансамбли моделей, объединяющие несколько моделей для повышения точности и устойчивости. Баггинг и случайные леса являются примерами таких методов.
Эксперименты в машинном обучении
В заключительной главе обсуждаются эксперименты в МО, включая выбор показателей качества, методы измерения и интерпретацию результатов.
В целом, книга Флаха предоставляет всестороннее введение в машинное обучение, охватывая основные концепции, методы и задачи. Она будет полезна как студентам, так и специалистам, желающим получить глубокое понимание этой динамично развивающейся области.
Текст подготовлен языковой моделью и может содержать неточности.
- Полная коллекция по информатике и вычислительной технике
- ДМК Пресс. Информационные системы и технологии
- ДМК Пресс. ИТ-технологии для обучающихся
- Интермедиатор. Информационные системы и технологии (сводная)
- Интермедиатор. ИТ-технологии для обучающихся (сводная)
- Искусственный интеллект и машинное обучение
- Модуль "Системы искусственного интеллекта"
- Программирование и алгоритмизация
- 004: Информационные технологии. Вычислительная техника...
- 007: Деятельность и организация. Общая теория информации связи и управления (кибернетика)
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.03: Прикладная информатика
- 09.03.04: Программная инженерия
Машинное обучение Наука и искусство построения алгоритмов, которые извлекают знания из данных Петер Флах
Machine Learning The Art and Science of Algorithms that Make Sense of Data Peter Flach
Москва, 2023 Машинное обучение Наука и искусство построения алгоритмов, которые извлекают знания из данных Петер Флах 2е издание, электронное
УДК 004.4 ББК 32.972 Ф70 Ф70 Флах, Петер. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных / П. Флах ; пер. с англ. А. А. Слинкина. — 2-е изд., эл. — 1 файл pdf : 401 с. — Москва : ДМК Пресс, 2023. — Систем. требования: Adobe Reader XI либо Adobe Digital Editions 4.5 ; экран 10". — Текст : электронный. ISBN 978-5-89818-300-4 Перед вами один из самых интересных учебников по машинному обучению — разделу искусственного интеллекта, изучающего методы построения моделей, способных обучаться, и алгоритмов для их построения и обучения. Автор воздал должное невероятному богатству предмета и не упустил из виду объединяющих принципов. Читатель с первых страниц видит машинное обучение в действии, но без не нужных на первых порах технических деталей. По мере изучения предмета тщательно подобранные примеры, сопровождаемые иллюстрациями, постепенно усложняются. В книге описан широкий круг логических, геометрических и статистических моделей, затрагиваются и такие находящиеся на переднем крае науки темы, как матричная факторизация и анализ РХП. Особое внимание уделено важнейшей роли признаков. Устоявшаяся терминология дополняется введением в рассмотрение новых полезных концепций. В конце каждой главы приводятся ссылки на дополнительную литературу с авторскими комментариями. Благодаря всему этому книга задает новый стандарт изучения такой сложной дисциплины как машинное обучение. УДК 004.4 ББК 32.972 Электронное издание на основе печатного издания: Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных / П. Флах ; пер. с англ. А. А. Слинкина. — Москва : ДМК Пресс, 2015. — 400 с. — ISBN 978-5-97060-273-7. — Текст : непосредственный. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность технических ошибок все равно существует, издательство не может гарантировать абсолютную точность и правильность приводимых сведений. В связи с этим издательство не несет ответственности за возможные ошибки, связанные с использованием книги. В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений, установленных техническими средствами защиты авторских прав, правообладатель вправе требовать от нарушителя возмещения убытков или выплаты компенсации. ISBN 978-5-89818-300-4 © Peter Flach 2012 © Издание, перевод, ДМК Пресс, 2015
Посвящается Хэссел Флах (1923–2006)
Содержание Предисловие ......................................................................... 11 Как читать эту книгу ...................................................................................................11 Благодарности ...............................................................................................................12 Пролог: пример машинного обучения ...................................... 14 1 Ингредиенты машинного обучения ..................................... 25 1.1 Задачи: проблемы, решаемые методами машинного обучения ...................25 В поисках структуры ..................................................................................................27 Оценка качества решения задачи ...........................................................................30 1.2 Модели: результат машинного обучения ............................................................32 Геометрические модели..............................................................................................33 Вероятностные модели ..............................................................................................37 Логические модели ......................................................................................................44 Группировка и ранжирование .................................................................................49 1.3 Признаки: рабочая лошадка машинного обучения ..........................................50 Два способа использования признаков ................................................................52 Отбор и преобразование признаков ......................................................................54 Взаимодействие между признаками .....................................................................56 1.4 Итоги и перспективы ..................................................................................................59 Что будет в книге дальше ..........................................................................................61 2 Бинарная классификация и родственные задачи ................. 62 2.1 Классификация ............................................................................................................65 Оценка качества классификации ...........................................................................66 Наглядное представление качества классификации .......................................70 2.2 Оценивание и ранжирование ..................................................................................75 Оценка и визуализация качества ранжирования .............................................78
Содержание Преобразование ранжировщика в классификатор ..........................................84 2.3. Оценивание вероятностей классов .........................................................................87 Качество оценивания вероятностей классов......................................................88 Преобразование ранжировщиков в оценки вероятностей классов ............91 2.4 Бинарная классификация и родственные задачи: итоги и дополнительная литература .................................................................................93 3 За пределами бинарной классификации ............................. 96 3.1 Когда классов больше двух ......................................................................................96 Многоклассовая классификация ...........................................................................96 Многоклассовые оценки и вероятности ........................................................... 101 3.2 Регрессия ..................................................................................................................... 105 3.3 Обучение без учителя и дескриптивные модели ........................................... 108 Прогностическая и дескриптивная кластеризация ...................................... 109 Другие дескриптивные модели ............................................................................ 114 3.4 За пределами бинарной классификации: итоги и литература для дальнейшего чтения ......................................................................................... 116 4 Концептуальное обучение ................................................118 4.1 Пространство гипотез ............................................................................................. 119 Наименьшее обобщение ......................................................................................... 120 Внутренняя дизъюнкция........................................................................................ 122 4.2 Пути в пространстве гипотез ................................................................................ 124 Наиболее общие непротиворечивые гипотезы ............................................... 128 Замкнутые концепты ............................................................................................... 130 4.3 За пределами конъюнктивных концептов ....................................................... 130 Применение логики первого порядка ................................................................ 135 4.4 Обучаемость ............................................................................................................... 136 4.5 Концептуальное обучение: итоги и литература для дальнейшего чтения ............................................................................................................................ 139 5 Древовидные модели ........................................................142 5.1 Решающие деревья ................................................................................................... 146 5.2 Деревья ранжирования и оценивания вероятностей ................................... 151 Чувствительность к асимметричному распределению по классам ......... 156 5.3 Обучение деревьев как уменьшение дисперсии ............................................ 161 Деревья регрессии .................................................................................................... 161 Кластеризующие деревья ....................................................................................... 165
Содержание 5.4 Древовидные модели: итоги и литература для дальнейшего чтения ..... 168 6 Модели на основе правил ..................................................170 6.1 Обучение упорядоченных списков правил...................................................... 170 Списки правил для ранжирования и оценивания вероятностей ............. 176 6.2 Обучение неупорядоченных множеств правил .............................................. 179 Применение множеств правил для ранжирования и оценивания вероятностей ............................................................................................................... 183 Более пристальный взгляд на перекрытие правил ....................................... 187 6.3 Обучение дескриптивных моделей на основе правил ................................. 189 Обучение правил для выявления подгрупп .................................................... 190 Добыча ассоциативных правил ............................................................................ 194 6.4 Обучение правил первого порядка ..................................................................... 199 6.5 Модели на основе правил: итоги и литература для дальнейшего чтения ............................................................................................................................ 203 7 Линейные модели .............................................................206 7.1 Метод наименьших квадратов ............................................................................. 208 Многомерная линейная регрессия ..................................................................... 212 Регуляризованная регрессия ................................................................................ 216 Применение регрессии по методу наименьших квадратов к задаче классификации .......................................................................................................... 217 7.2 Перцептрон ................................................................................................................. 218 7.3 Метод опорных векторов ....................................................................................... 223 Метод опорных векторов с мягким зазором .................................................... 228 7.4 Получение вероятностей от линейных классификаторов .......................... 231 7.5 За пределами линейности – ядерные методы ................................................. 236 7.6 Линейные модели: итоги и литература для дальнейшего чтения ............ 239 8 Метрические модели ........................................................242 8.1 Так много дорог... ....................................................................................................... 242 8.2 Соседи и эталоны ...................................................................................................... 248 8.3 Классификация по ближайшему соседу ........................................................... 253 8.4 Метрическая кластеризация ................................................................................. 256 Алгоритм K средних ................................................................................................ 259 Кластеризация вокруг медоидов ......................................................................... 261 Силуэты ........................................................................................................................ 262 8.5 Иерархическая кластеризация ............................................................................. 264
Содержание 8.6 От ядер к расстояниям ............................................................................................ 269 8.7 Метрические модели: итоги и литература для дальнейшего чтения ...... 270 9 Вероятностные модели .....................................................273 9.1 Нормальное распределение и его геометрические интерпретации......... 277 9.2 Вероятностные модели для категориальных данных .................................. 284 Использование наивной байесовской модели для классификации........ 286 Обучение наивной байесовской модели ........................................................... 289 9.3 Дискриминантное обучение путем оптимизации условного правдоподобия ........................................................................................................... 293 9.4 Вероятностные модели со скрытыми переменными .................................... 297 EM-алгоритм .............................................................................................................. 299 Гауссовы смесовые модели .................................................................................... 300 9.5 Модели на основе сжатия ...................................................................................... 304 9.6 Вероятностные модели: итоги и литература для дальнейшего чтения ............................................................................................................................ 306 10 Признаки .........................................................................310 10.1 Виды признаков ........................................................................................................ 310 Вычисления с признаками ..................................................................................... 311 Категориальные, порядковые и количественные признаки ...................... 315 Структурированные признаки ............................................................................. 317 10.2 Преобразования признаков ................................................................................... 318 Задание порога и дискретизация......................................................................... 319 Нормировка и калибровка ..................................................................................... 325 Неполные признаки ................................................................................................. 333 10.3 Конструирование и отбор признаков ................................................................ 334 Преобразование и разложение матриц ............................................................. 336 10.4 Признак: итоги и литература для дальнейшего чтения .............................. 339 11 Ансамбли моделей ...........................................................342 11.1 Баггинг и случайные леса ...................................................................................... 343 11.2 Усиление....................................................................................................................... 345 Обучение усиленных правил ................................................................................ 349 11.3 Карта ансамблевого ландшафта .......................................................................... 350 Смещение, дисперсия и зазоры ............................................................................ 350 Другие ансамблевые методы ................................................................................. 352 Метаобучение ............................................................................................................. 352
Содержание 11.4 Ансамбли моделей: итоги и литература для дальнейшего чтения .......... 353 12 Эксперименты в машинном обучении ................................355 12.1 Что измерять .............................................................................................................. 356 12.2 Как измерять .............................................................................................................. 360 12.3 Как интерпретировать ............................................................................................. 362 Интерпретация результатов, полученных на нескольких наборах данных ........................................................................................................................... 365 12.4 Эксперименты в машинном обучении: итоги и литература для дальнейшего чтения ......................................................................................... 368 Эпилог: что дальше? .............................................................371 Что нужно запомнить ............................................................373 Библиография ......................................................................376 Предметный указатель ..........................................................387