Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Основы машинного обучения

Покупка
Основная коллекция
Артикул: 872568.01.99
Доступ онлайн
416 ₽
В корзину
Настоящее учебное пособие предназначено для студентов бакалавриата, обучающихся по направлению 09.03.03 - прикладная информатика. Пособие содержит теоретический и практический материал по следующим разделам машинного обучения: предварительная обработка данных, классификация, регрессия, кластеризация и ансамблевые методы. Материал структурирован на введение и семь глав. Каждая глава включает необходимый теоретический минимум, примеры программного кода и наглядные иллюстрации. Пособие отражает опыт преподавания автором курса «Основы машинного обучения» в Институте высоких технологий и пьезотехники ЮФУ.
Ефимов, А. И. Основы машинного обучения : учебное пособие / А. И. Ефимов ; Южный федеральный университет. – Ростов-на-Дону ; Таганрог : Издательство Южного федерального университета, 2025. - 279 с. – ISBN 978-5-9275-5105-7. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2239854 (дата обращения: 18.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ
РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное
учреждение высшего образования
«ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ»
А. И. Ефимов
Основы машинного обучения
Учебное пособие
Ростов-на-Дону – Таганрог
Издательство Южного федерального университета


УДК 004.85(075.8)
ББК 32.973 я73
   Е91
Печатается по решению кафедры прикладной информатики и
инноватики Института высоких технологий и пьезотехники Южного
федерального университета (протокол No 10 от 13 мая 2025 г.)
Рецензенты:
кан. физ.-мат. наук, доцент кафедры прикладной информатики 
и инноватики Института высоких технологий 
и пьезотехники ЮФУ А. А. Бычков;
кан. тех. наук, доцент, преподаватель первой категории Донского 
технико-технологического техникума Азово-черноморского инженерного 
института ФГБОУ ВО Донской ГАУ А. А. Емелин
 Ефимов, А. И.
Е91          Основы машинного обучения : учебное пособие / А. И. Ефимов ; 
Южный федеральный университет. – Ростов-на-Дону ; Таганрог : 
Издательство Южного федерального университета, 2025. – 277 с.
ISBN 978-5-9275-5105-7
Настоящее учебное пособие предназначено для студентов бакалавриата, 
обучающихся по направлению 09.03.03 - прикладная информатика. Пособие 
содержит теоретический и практический материал по следующим разделам 
машинного обучения: предварительная обработка данных, классификация, 
регрессия, кластеризация и ансамблевые методы.
Материал  структурирован  на  введение  и  семь  глав.  Каждая  глава 
включает необходимый теоретический минимум, примеры программного 
кода  и  наглядные  иллюстрации.  Пособие  отражает  опыт  преподавания 
автором  курса  «Основы  машинного  обучения»  в  Институте  высоких 
технологий и пьезотехники ЮФУ.
УДК 004.85(075.8)
ББК 32.973 я73
ISBN 978-5-9275-5105-7
© Ефимов А. И., 2025
© Южный федеральный университет, 2025


Оглавление
Введение
7
Методологические заметки . . . . . . . . . . . . . . . . . . . . .
7
Основные понятия машинного обучения . . . . . . . . . . . . . .
8
1
Предварительная обработка данных.
11
1.1
Неполные данные. . . . . . . . . . . . . . . . . . . . . . . .
11
1.1.1
Использование Pandas. . . . . . . . . . . . . . . . . .
11
1.1.2
SimpleImputer.
. . . . . . . . . . . . . . . . . . . . .
13
1.1.3
IterativeImputer.
. . . . . . . . . . . . . . . . . . . .
17
1.2
Кодирование категориальных признаков. . . . . . . . . . .
20
1.2.1
LabelEncoder. . . . . . . . . . . . . . . . . . . . . . .
21
1.2.2
OneHotEncoder . . . . . . . . . . . . . . . . . . . . .
23
1.3
Качество данных. . . . . . . . . . . . . . . . . . . . . . . . .
25
1.4
Нормализация данных.
. . . . . . . . . . . . . . . . . . . .
30
1.4.1
Минимаксная нормализация. . . . . . . . . . . . . .
32
1.4.2
Стандартизация. . . . . . . . . . . . . . . . . . . . .
35
1.5
Понижение размерности данных. . . . . . . . . . . . . . . .
36
1.5.1
Метод главных компонент.
. . . . . . . . . . . . . .
40
2
Методы классификации.
43
2.1
Метод k ближайших соседей. . . . . . . . . . . . . . . . . .
43
2.1.1
KNeighborsClassiҥer
. . . . . . . . . . . . . . . . . .
44
2.1.2
RadiusNeighborsClassiҥer . . . . . . . . . . . . . . . .
57
2.2
Линейно разделимые классы. . . . . . . . . . . . . . . . . .


Метод опорных векторов. . . . . . . . . . . . . . . .
64
Модернизация метода опорных векторов для случая,
когда классы не являются линейно разделимыми. .
71
2.3
Метод логистической регрессии.
. . . . . . . . . . . . . . .
80
2.4
Решающие деревья.
. . . . . . . . . . . . . . . . . . . . . .
86
2.5
Наивный Байесовский алгоритм. . . . . . . . . . . . . . . .
95
2.5.1
CategoricalNB . . . . . . . . . . . . . . . . . . . . . .
99
2.5.2
GaussianNB . . . . . . . . . . . . . . . . . . . . . . .
100
3
Оценка качества работы классификаторов.
105
3.1
Основные метрики качества.
. . . . . . . . . . . . . . . . .
105
3.1.1
Accuracy . . . . . . . . . . . . . . . . . . . . . . . . .
106
3.1.2
Precision . . . . . . . . . . . . . . . . . . . . . . . . .
106
3.1.3
Recall
. . . . . . . . . . . . . . . . . . . . . . . . . .
106
3.1.4
F1-Score . . . . . . . . . . . . . . . . . . . . . . . . .
107
3.2
ROC-кривая.
. . . . . . . . . . . . . . . . . . . . . . . . . .
107
4
Регрессия.
117
4.1
Алгоритм ближайших соседей в регрессии. . . . . . . . . .
120
4.2
Алгоритм решающих деревьев в задачах регрессии. . . . .
126
4.3
Линейная регрессия. . . . . . . . . . . . . . . . . . . . . . .
127
4.4
Метод опорных векторов в задачах регрессии.
. . . . . . .
130
4.4.1
Классы LinearSVR и SVR. . . . . . . . . . . . . . . .
135
4.5
Метод наименьших квадратов. . . . . . . . . . . . . . . . .
141
4.5.1
Аналитический метод решения. . . . . . . . . . . . .
144
4.5.2
Метод градиентного спуска. . . . . . . . . . . . . . .
152
4.6
Регуляризация линейной регрессии.
. . . . . . . . . . . . .
159
4.6.1
Ridge.
. . . . . . . . . . . . . . . . . . . . . . . . . .
160
4.6.2
Lasso.
. . . . . . . . . . . . . . . . . . . . . . . . . .
164
4.6.3
Elastic-Net.
. . . . . . . . . . . . . . . . . . . . . . .
167
4.7
Построение регрессионных моделей при наличии выбросов.


RANSAC. . . . . . . . . . . . . . . . . . . . . . . . .
179
Регрессия Тейла-Сена. . . . . . . . . . . . . . . . . .
190
4.7.3
Регрессия Хьюбера.
. . . . . . . . . . . . . . . . . .
193
4.8
Полиномиальная регрессия. . . . . . . . . . . . . . . . . . .
197
5
Ансамблевые методы машинного обучения.
203
5.1
Бэггинг. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
203
5.2
Алгоритм случайного леса. . . . . . . . . . . . . . . . . . .
210
5.3
Стекинг. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
215
5.4
Бустинг. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
225
5.4.1
AdaBoost. . . . . . . . . . . . . . . . . . . . . . . . .
225
5.4.2
Градиентный бустинг. . . . . . . . . . . . . . . . . .
228
6
Кластеризация.
235
6.1
Метод k-средних. . . . . . . . . . . . . . . . . . . . . . . . .
235
6.2
Метод среднего сдвига.
. . . . . . . . . . . . . . . . . . . .
236
6.3
Алгоритм DBSCAN. . . . . . . . . . . . . . . . . . . . . . .
238
6.4
Алгоритм HDBSCAN. . . . . . . . . . . . . . . . . . . . . .
238
7
Дополнительные методы настройки модели.
251
7.1
Перекрёстная проверка. . . . . . . . . . . . . . . . . . . . .
251
7.1.1
Функция cross_val_score. . . . . . . . . . . . . . . .
254
7.1.2
Функция cross_validate. . . . . . . . . . . . . . . . .
256
7.2
Итераторы прекрёстной проверки. . . . . . . . . . . . . . .
256
7.2.1
KFold. . . . . . . . . . . . . . . . . . . . . . . . . . .
256
7.2.2
RepeatedKFold. . . . . . . . . . . . . . . . . . . . . .
260
7.2.3
LeaveOneOut. . . . . . . . . . . . . . . . . . . . . . .
263
7.2.4
LeavePOut.
. . . . . . . . . . . . . . . . . . . . . . .
263
7.2.5
StratiҥedKFold. . . . . . . . . . . . . . . . . . . . . .
264
7.2.6
RepeatedStratiҥedKFold. . . . . . . . . . . . . . . . .
264
7.2.7
GroupKFold. . . . . . . . . . . . . . . . . . . . . . . .
265
7.2.8
LeaveOneGroupOut. . . . . . . . . . . . . . . . . . . .


LeavePGroupsOut.
. . . . . . . . . . . . . . . . . . .
265
7.2.10 ShuffleSplit.
. . . . . . . . . . . . . . . . . . . . . . .
266
7.2.11 StratiҥedShuffleSplit. . . . . . . . . . . . . . . . . . .
267
7.2.12 GroupShuffleSplit. . . . . . . . . . . . . . . . . . . . .
267
7.3
Оптимизация модели.
. . . . . . . . . . . . . . . . . . . . .
268
7.3.1
GridSearchCV . . . . . . . . . . . . . . . . . . . . . .
269
7.3.2
RandomizedSearchCV . . . . . . . . . . . . . . . . . .
271
Литература
272
Предметный указатель


Введение.
Методологические заметки.
Данная книга посвящена ключевым разделам машинного обучения: классификации, регрессии, кластеризации и некоторым методам преобразования данных. При этом я сознательно исключил тему нейронных сетей,
поскольку убеждён, что её полноценное освещение требует отдельной работы.
Для глубокого усвоения материала желательно владение основами математического анализа, линейной алгебры, аналитической геометрии, а
также теории вероятностей и математической статистики. Однако отсутствие углублённой подготовки по этим дисциплинам не служит непреодолимым барьером: часть материала будет доступна и читателям с более
скромными математическими знаниями.
Для работы с примерами кода, приведёнными в книге, потребуется знание языка Python и библиотек NumPy, Pandas и Matplotlib. В результате
изучения материалов читатель получит практические навыки работы с
библиотекой scikit-learn.
Все примеры в книге были протестированы в среде Google Colab с
использованием Python 3.12.12 и следующих версий библиотек: NumPy
2.0.2, Pandas 2.2.2, Matplotlib 3.10.0 и scikit-learn 1.6.1.
Далее в тексте библиотека scikit-learn будет упоминаться под своим
общепринятым названием — sklearn.
Эта книга не претендует на исчерпывающее освещение всех аспектов
машинного обучения и в ряде случаев обращает читателя к официальной документации scikit-learn. В электронной версии издания все ссылки
интерактивны и ведут на соответствующие страницы в веб-браузере.
Официальная документация библиотеки scikit-learn расположена на
сайте https://scikit-learn.org. Также доступна русскоязычная версия документации по адресу https://scikit-learn.ru.


Весь изложенный материал можно разделить на три основные категории:
1. Теоретический материал, содержащий математические выкладки, а
также описание алгоритмов и методов.
2. Фрагменты программного кода, демонстрирующие практическую реализацию рассмотренных алгоритмов.
3. Наглядные иллюстрации, которые обеспечивают визуальное представление о работе методов машинного обучения, где цвет элементов
изображения играет важную информативную роль.
Кроме того, в материалах представлены несколько фрагментов программного кода, выполнение которых позволяет получить видеофайлы,
наглядно демонстрирующие работу алгоритмов в динамике.
Материал учебного пособия организован в виде последовательности
взаимосвязанных, но при этом концептуально завершённых глав. Несмотря на смысловую автономность каждого раздела, в тексте присутствуют
ссылки на смежные темы, что формирует целостную картину. Для глубокого усвоения курса рекомендуется изучать главы в предложенном порядке. В то же время пособие позволяет выборочно обращаться к нужным
разделам — например, для повторения или углублённого изучения конкретного вопроса — без существенной потери понимания материала.
Основные понятия машинного обучения.
Приведем основные понятия, которыми будем пользоваться в дальнейшем.
Следуя книге [1, стр. 18], определим машинное обучение следующим
образом:
«Машинное обучение — это раздел информатики, посвященный созданию алгоритмов, опирающихся на набор данных о каком-либо явлении.
Эти данные могут быть получены из естественной среды, созданы вручную или сгенерированы другим алгоритмом. Машинное обучение также
можно определить как процесс решения практической задачи путем 1)
формирования набора данных и 2) алгоритмического построения статистической модели на его основе. Предполагается, что эта статистическая


модель будет каким-то образом использоваться для решения практической задачия».
Набором данных (или датасетом) будем называть совокупность объектов, характеризующихся одинаковым набором свойств, которые называются признаками. Набор данных удобно представлять в виде таблицы,
где каждой строке соответствует один объект, а каждое поле в строке —
значение одного из его признаков.
Признаки объекта подразделяются на два основных вида:
1. Количественный признак — это числовое значение, отражающее меру
проявления данного свойства у объекта.
2. Качественный (категориальный) признак — это значение, которое
описывает свойство объекта, относя его к одной из возможных категорий. Такие признаки не являются числовыми по своей природе,
но могут быть закодированы числами.
Количество объектов в наборе данных называется объёмом выборки
(объёмом данных).
Если набор данных содержит только количественные признаки, то каждый объект можно интерпретировать как точку в многомерном пространстве, где каждый признак соответствует одной координате. Это представление является основой для многих методов машинного обучения.
В машинном обучении часто употребляются такие понятия, как метод
машинного обучения и алгоритм машинного обучения. Теоретическое отличие между методом и алгоритмом заключается в том, что алгоритм
— это пошаговая инструкция, а метод — общий подход к решению задачи. При этом сформировались устойчивые названия методов и алгоритмов, которые не всегда строго соответствуют формальным определениям
этих слов. Так, нередко «алгоритмом» называют то, что по сути является
именно общим методом, а не конкретной пошаговой процедурой.
В дальнейшем мы будем придерживаться уже устоявшейся в сообществе терминологии.
Результатом работы алгоритма является модель машинного обучения.
Она создаётся в процессе настройки, когда её параметры подстраиваются
на предоставленном наборе данных. Впоследствии эта обученная модель
используется для решения практических задач, как правило — для прогнозирования значений целевой переменной на новых данных.


Целевая переменная (также называемая зависимой переменной или откликом) — это признак в наборе данных, значение которого требуется
предсказать на основе значений остальных признаков (независимых переменных).
Одной из основных проблем при обучении моделей машинного обучения является переобучение. Приведем его определение, следуя книге
[3, стр. 36]: «Если тренировочные данные используются для того, чтобы
обучить алгоритм машинного обучения чрезмерно сложной функции, то
он может плохо работать на примерах, которые ему еще не предоставлялись, скажем, на примерах из наборов, зарезервированных в качестве
валидационных или тестовых. В этом случае в результате извлечения чересчур большого объема информации из шума, содержащегося в данных,
велика вероятность проявления эффектов переобучения (overҥtting), приводящих к значительному ухудшению обобщающей способности модели.
Иными словами, алгоритм запоминает обучающие данные, а не учится
тому, как обобщать приобретенные знания на другие случаи».


Доступ онлайн
416 ₽
В корзину