Введение в статистическое обучение с примерами на языке Python
Покупка
Новинка
Тематика:
Программирование и алгоритмизация
Издательство:
ДМК Пресс
Перевод:
Гинько Александр Юрьевич
Год издания: 2024
Кол-во страниц: 848
Дополнительно
Вид издания:
Учебное пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-217-4
Артикул: 890596.01.99
В этой книге доступным языком описывается все разнообразие форм статистического обучения. Рассматриваются линейная регрессия, классификация, методы повторной выборки, отбор и регуляризация, полиномиальная регрессия, сплайны, локальная регрессия, обобщенные аддитивные модели, деревья решений, метод опорных векторов, кластеризация, а также нейронные сети, анализ выживаемости и множественная проверка гипотез. Теоретическая часть дополнена примерами из реальной практики и разборами решений на языке Python.
Издание предназначено не только для опытных специалистов в области статистики, но и для тех, кто желает попробовать применить продвинутые техники статистического обучения при анализе своих данных.
Тематика:
ББК:
УДК:
- 004: Информационные технологии. Вычислительная техника...
- 519: Комбинатор. анализ. Теория графов. Теория вер. и мат. стат. Вычисл. мат., числ. анализ. Мат. кибер..
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Гарет Джеймс, Даниела Уиттен, Тревор Хасти, Роберт Тибширани, Джонатан Тейлор в статистическое обучение с примерами на языке Python
Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani, Jonathan Taylor An Introduction to Statistical Learning with Applications in Python
Гарет Джеймс, Даниела Уиттен, Тревор Хасти, Роберт Тибширани, Джонатан Тейлор в статистическое обучение с примерами на языке Python Москва, 2024
УДК 519.25/.6:004.434Python ББК 22.17с5 Д40 Джеймс Г., Уиттен Д., Хасти Т., Тибширани Р., Тейлор Дж. Д40 Введение в статистическое обучение с примерами на языке Python / пер. с англ. А. Ю. Гинько. – М.: ДМК Пресс, 2024. – 846 с.: ил. ISBN 978-5-93700-217-4 В этой книге доступным языком описывается все разнообразие форм статистического обучения. Рассматриваются линейная регрессия, классификация, методы повторной выборки, отбор и регуляризация, полиномиальная регрессия, сплайны, локальная регрессия, обобщенные аддитивные модели, деревья решений, метод опорных векторов, кластеризация, а также нейронные сети, анализ выживаемости и множественная проверка гипотез. Теоретическая часть дополнена примерами из реальной практики и разборами решений на языке Python. Издание предназначено не только для опытных специалистов в области статистики, но и для тех, кто желает попробовать применить продвинутые техники статистического обучения при анализе своих данных. УДК 519.25/.6:004.434Python ББК 22.17с5 First published in English under the title. An Introduction to Statistical Learning; with Applications in Python by Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani and Jonathan Taylor, edition: 1. This edition has been translated and published under licence from Springer Nature Switzerland AG. Springer Nature Switzerland AG takes no responsibility and shall not be made liable for the accuracy of the translation. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-3-031-38746-3 (англ.) © Springer Nature Switzerland AG 2023 ISBN 978-5-93700-217-4 (рус.) © Перевод, оформление, издание, ДМК Пресс, 2023
Нашим родителям: Элисон и Майклу Джеймсам, Кьяре Наппи и Эдварду Уиттену, Валери и Патрику Хасти, Вере и Сами Тибширани, Джону и Бренде Тейлор И нашим семьям: Майклу, Дэниелу и Катрин, Тессе, Тео, Отто и Ари, Саманте, Тимоти и Линде, Чарли, Райану, Джули и Шерил, Ли-Энн и Исобел
Содержание От издательства.......................................................................................................14 Предисловие.............................................................................................................15 О переводчике.........................................................................................................18 Глава 1. Введение....................................................................................................19 Общий обзор статистического обучения................................................................19 Данные о зарплатах.............................................................................................19 Данные по рынку акций......................................................................................21 Данные об экспрессии генов..............................................................................22 Краткая история статистического обучения..........................................................24 О книге.........................................................................................................................25 Для кого предназначена эта книга?.........................................................................28 Обозначения и матричная алгебра по-простому..................................................29 Структура книги..........................................................................................................32 Используемые в лабораторных работах и упражнениях наборы данных.........33 Сайт книги...................................................................................................................35 Источники....................................................................................................................35 Глава 2. Статистическое обучение.....................................................................36 2.1 Что такое статистическое обучение?...........................................................36 2.1.1 Зачем нужно оценивать f ?................................................................38 2.1.2 Как оценивать f ?................................................................................42 2.1.3 Компромисс между точностью предсказаний и интерпретируемостью модели.....................................................46 2.1.4 Обучение с учителем и без учителя................................................49 2.1.5 Регрессия против классификации...................................................51 2.2 Оценка точности модели...............................................................................52 2.2.1 Оценка качества подгонки...............................................................52 2.2.2 Компромисс между смещением и дисперсией.............................58 2.2.3 Задачи классификации.....................................................................61 2.3 Лабораторная работа: введение в Python...................................................68 2.3.1 Подготовка..........................................................................................68 2.3.2 Основные команды............................................................................69 2.3.3 Введение в числовой Python............................................................70 2.3.4 Графика................................................................................................80 2.3.5 Последовательности и срезы............................................................87 2.3.6 Индексирование данных..................................................................89
Содержание 2.3.7 Загрузка данных.................................................................................93 2.3.8 Циклы for...........................................................................................100 2.3.9 Дополнение про графики и числа.................................................102 2.4 Упражнения...................................................................................................109 Теоретические...............................................................................................109 Практические................................................................................................111 Глава 3. Линейная регрессия.............................................................................115 3.1 Простая линейная регрессия.......................................................................116 3.1.1 Оценка коэффициентов..................................................................117 3.1.2 Определение точности оценки коэффициентов.........................120 3.1.3 Определение точности оценки модели........................................126 3.2 Множественная линейная регрессия.........................................................129 3.2.1 Оценка регрессионных коэффициентов......................................130 3.2.2 Важные вопросы..............................................................................133 3.3 Прочие факторы регрессионного моделирования..................................142 3.3.1 Качественные предикторы.............................................................142 3.3.2 Расширения линейной модели......................................................147 3.3.3 Возможные проблемы.....................................................................154 3.4 Маркетинговый план...................................................................................166 3.5 Сравнение линейной регрессии и классификатора k-ближайших соседей............................................................................................................168 3.6 Лабораторная работа: линейная регрессия..............................................174 3.6.1 Импорт библиотек...........................................................................174 3.6.2 Простая линейная регрессия..........................................................176 3.6.3 Множественная линейная регрессия............................................185 3.6.4 Прелести многомерной подгонки.................................................186 3.6.5 Эффекты взаимодействия..............................................................188 3.6.6 Нелинейные преобразования предикторов................................188 3.6.7 Качественные предикторы.............................................................190 3.7 Упражнения...................................................................................................192 Теоретические...............................................................................................192 Практические................................................................................................194 Глава 4. Классификация......................................................................................201 4.1 Введение в классификацию.........................................................................202 4.2 Почему не линейная регрессия?.................................................................203 4.3 Логистическая регрессия.............................................................................205 4.3.1 Логистическая модель.....................................................................206 4.3.2 Оценивание регрессионных коэффициентов.............................208 4.3.3 Предсказание....................................................................................210 4.3.4 Множественная логистическая регрессия...................................211 4.3.5 Мультиномиальная логистическая регрессия.............................214 4.4 Обобщенные модели для классификации................................................215 4.4.1 Линейный дискриминантный анализ для p = 1..........................217 4.4.2 Линейный дискриминантный анализ для p > 1..........................220
Содержание 4.4.3 Квадратичный дискриминантный анализ...................................229 4.4.4 Наивный байесовский классификатор.........................................231 4.5 Сравнение методов классификации..........................................................236 4.5.1 Аналитическое сравнение..............................................................236 4.5.2 Практическое сравнение................................................................240 4.6 Обобщенные линейные модели.................................................................244 4.6.1 Применение линейной регрессии к набору данных Bikeshare............................................................................................244 4.6.2 Пуассоновская регрессия на наборе данных Bikeshare..............247 4.6.3 Применимость обобщенных линейных моделей.......................251 4.7 Лабораторная работа: логистическая регрессия, LDA, QDA и KNN.......252 4.7.1 Набор данных Smarket.....................................................................252 4.7.2 Логистическая регрессия................................................................254 4.7.3 Линейный дискриминантный анализ..........................................261 4.7.4 Квадратичный дискриминантный анализ...................................264 4.7.5 Наивный байесовский классификатор.........................................266 4.7.6 Классификатор k-ближайших соседей..........................................268 4.7.7 Линейная и пуассоновская регрессия с набором данных Bikeshare............................................................................................276 4.8 Упражнения...................................................................................................283 Теоретические...............................................................................................283 Практические................................................................................................287 Глава 5. Методы повторной выборки............................................................291 5.1 Перекрестная проверка...............................................................................292 5.1.1 Метод проверочной выборки.........................................................292 5.1.2 Перекрестная проверка по отдельным наблюдениям...............295 5.1.3 k-кратная перекрестная проверка.................................................297 5.1.4 Компромисс между смещением и дисперсией применительно к k-кратной перекрестной проверке................300 5.1.5 Перекрестная проверка при решении задач классификации.................................................................................301 5.2 Бутстреп.........................................................................................................304 5.3 Лабораторная работа: перекрестная проверка и бутстреп....................308 5.3.1 Метод проверочной выборки.........................................................309 5.3.2 Перекрестная проверка...................................................................312 5.3.3 Бутстреп.............................................................................................315 5.4 Упражнения...................................................................................................321 Теоретические...............................................................................................321 Практические................................................................................................322 Глава 6. Отбор и регуляризация линейных моделей...............................327 6.1 Отбор подмножества переменных.............................................................329 6.1.1 Отбор оптимального подмножества переменных......................329 6.1.2 Пошаговый отбор.............................................................................332 6.1.3 Выбор оптимальной модели..........................................................336
Содержание Методы сжатия..............................................................................................342 6.2.1 Гребневая регрессия........................................................................342 6.2.2 Лассо...................................................................................................347 6.2.3 Выбор гиперпараметра...................................................................357 6.3 Методы снижения размерности.................................................................359 6.3.1 Метод главных компонент.............................................................360 6.3.2 Метод частных наименьших квадратов.......................................368 6.4 Размышляя о большой размерности.........................................................370 6.4.1 Данные большой размерности......................................................370 6.4.2 Что не так с данными большой размерности?............................371 6.4.3 Регрессия в условиях большой размерности...............................374 6.4.4 Интерпретация результатов в задачах большой размерности......................................................................................375 6.5 Лабораторная работа: линейные модели и методы регуляризации...............................................................................................377 6.5.1 Методы отбора подмножеств переменных..................................378 6.5.2 Гребневая регрессия и лассо...........................................................387 6.5.3 Регрессия PCR и PLS.........................................................................400 6.6 Упражнения...................................................................................................404 Теоретические...............................................................................................404 Практические................................................................................................408 Глава 7. Выходим за рамки линейности........................................................411 7.1 Полиномиальная регрессия........................................................................412 7.2 Ступенчатые функции.................................................................................414 7.3 Базисные функции........................................................................................417 7.4 Регрессионные сплайны..............................................................................417 7.4.1 Кусочно-полиномиальная регрессия............................................417 7.4.2 Ограничения и сплайны.................................................................418 7.4.3 Представление сплайнов с помощью базисных функций.........420 7.4.4 Выбор количества и расположения узлов....................................422 7.4.5 Сравнение с полиномиальной регрессией..................................424 7.5 Сглаживающие сплайны..............................................................................425 7.5.1 Введение в сглаживающие сплайны.............................................425 7.5.2 Выбор сглаживающего параметра λ..............................................427 7.6 Локальная регрессия....................................................................................429 7.7 Обобщенные аддитивные модели.............................................................432 7.7.1 GAM для регрессионных задач......................................................432 7.7.2 GAM для задач классификации......................................................436 7.8 Лабораторная работа: нелинейные модели..............................................438 7.8.1 Полиномиальная регрессия и ступенчатые функции................438 7.8.2 Сплайны............................................................................................446 7.8.3 Сглаживающие сплайны и GAM....................................................450 7.8.4 Локальная регрессия.......................................................................466 Упражнения...................................................................................................467 Теоретические...............................................................................................467
Содержание Практические................................................................................................469 Глава 8. Методы на основе деревьев решений.........................................473 8.1 Основы деревьев решений..........................................................................473 8.1.1 Регрессионные деревья...................................................................474 8.1.2 Деревья классификации..................................................................482 8.1.3 Деревья против линейных моделей..............................................485 8.1.4 Преимущества и недостатки деревьев.........................................487 8.2 Бэггинг, случайные леса, бустинг и байесовские аддитивные регрессионные деревья................................................................................487 8.2.1 Бэггинг...............................................................................................488 8.2.2 Случайные леса................................................................................492 8.2.3 Бустинг...............................................................................................494 8.2.4 Байесовские аддитивные регрессионные деревья.....................497 8.2.5 Краткий вывод по ансамблевым методам, основанным на деревьях........................................................................................501 8.3 Лабораторная работа: методы на основе деревьев.................................502 8.3.1 Построение деревьев классификации..........................................502 8.3.2 Построение регрессионных деревьев...........................................509 8.3.3 Бэггинг и случайный лес.................................................................511 8.3.4 Бустинг...............................................................................................514 8.3.5 Байесовские аддитивные регрессионные деревья.....................516 8.4 Упражнения...................................................................................................517 Теоретические...............................................................................................517 Практические................................................................................................519 Глава 9. Метод опорных векторов..................................................................522 9.1 Классификатор с максимальным зазором................................................523 9.1.1 Что такое гиперплоскость?.............................................................523 9.1.2 Классификация с использованием разделяющей гиперплоскости................................................................................524 9.1.3 Классификатор с максимальным зазором...................................526 9.1.4 Построение классификатора с максимальным зазором............528 9.1.5 Случай с несуществующей разделяющей гиперплоскостью....529 9.2 Классификаторы на опорных векторах.....................................................530 9.2.1 Введение в классификаторы на опорных векторах....................530 9.2.2 Детали работы классификатора на опорных векторах..............532 9.3 Метод опорных векторов.............................................................................535 9.3.1 Классификация с использованием нелинейных решающих границ................................................................................................535 9.3.2 Метод опорных векторов................................................................537 9.3.3 Применение к данным о сердечных заболеваниях....................541 9.4 SVM для случаев с несколькими классами................................................543 9.4.1 Классификация «один против одного».........................................543 9.4.2 Классификация «один против всех»..............................................543 Связь с логистической регрессией.............................................................544