Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Инженерия данных в Python. Основы анализа данных с помощью Pandas, NumPy и Scikit-learn

Покупка
Новинка
Артикул: 890836.01.99
Доступ онлайн
2 749 ₽
В корзину
Цель этой книги — научить вас подготавливать и преобразовывать сырые данные, конструировать новые признаки и придавать исходным данным форму, пригодную для будущего интеллектуального анализа при помощи методов машинного и глубокого обучения. Предложенные в книге эффективные техники и приемы будут полезны для обработки любого объема данных. Примеры кода опираются на наиболее популярные библиотеки Python для работы с данными, такие как Pandas, NumPy и Scikit-learn. Издание предназначено как делающим первые шаги в освоении науки о данных, так и практикующим специалистам, желающим улучшить свои навыки.
14
21
22
82
145
202
250
291
331
371
372
477
Инженерия данных в Python. Основы анализа данных с помощью Pandas, NumPy и Scikit-learn : практическое руководство / А. Ю. Гинько. – Москва : ДМК Пресс, 2025. - 530 с. – ISBN 978-5-93700-381-2. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2275245 (дата обращения: 18.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Инженерия данных  
в Python


Data Engineering 
Foundations
Core Techniques for Data Analysis  
with Pandas, NumPy, and Scikit-Learn


Инженерия данных 
в Python
Основы анализа данных  
с помощью Pandas, NumPy и Scikit-learn
Москва, 2025


УДК	 004.6:004.438Python
ББК 16.35+32.973.2
И62
И62 	 Инженерия данных в Python: Основы анализа данных с помощью Pandas, 
NumPy и Scikit-learn / пер. с англ. А. Ю. Гинько. – М.: ДМК Пресс, 2025. – 
528 с.: ил. 
ISBN 978-5-93700-381-2
Цель этой книги – научить вас подготавливать и преобразовывать сырые 
данные, конструировать новые признаки и придавать исходным данным форму, пригодную для будущего интеллектуального анализа при помощи методов 
машинного и глубокого обучения. Предложенные в книге эффективные техники 
и приемы будут полезны для обработки любого объема данных. Примеры кода 
опираются на наиболее популярные библиотеки Python для работы с данными, 
такие как Pandas, NumPy и Scikit-learn.
Издание предназначено как делающим первые шаги в освоении науки о данных, 
так и практикующим специалистам, желающим улучшить свои навыки.
УДК  004.6:004.438Python
ББК  16.35+32.973.2
All rights reserved. No part of this book may be reproduced, stored in a retrieval system, or 
transmitted in any form or by any means, without the prior written permission of the publisher, 
except in the case of brief quotations embedded in critical articles or reviews.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
©  2024 Cuantum Technologies
	
©  Перевод, оформление, издание, 
ДМК Пресс, 2025


«Искусственный интеллект – это новое электричество».
– Эндрю Ын (Andrew Ng), сооснователь Coursera, 
профессор и внештатный преподаватель  
Стэнфордского университета


Содержание
От издательства.......................................................................................................13
Кто мы?.......................................................................................................................14
О переводчике.........................................................................................................16
Введение....................................................................................................................17
Часть I. ПОДГОТОВКА К РАСШИРЕННОМУ АНАЛИЗУ  
ДАННЫХ...................................................................................................................21
Глава 1. Введение. Основы и не только..........................................................22
1.1. Введение в промежуточный анализ данных.......................................................23
1.1.1. Ключевые концепции промежуточного анализа данных...........................26
1.1.2. Пример: промежуточный анализ данных с помощью Pandas и NumPy....32
1.1.3. Заполнение пропущенных значений............................................................36
1.1.4. Вычисление скользящих средних.................................................................40
1.1.5. Оптимизация типов данных..........................................................................42
1.1.6. Ключевые выводы..........................................................................................46
1.2. Путь от простого к сложному................................................................................47
1.2.1. От простых техник манипулирования данными к более сложным............47
1.2.2. Промежуточный уровень манипулирования данными...............................49
1.2.3. Построение эффективных рабочих процессов.............................................50
1.2.4. Использование библиотеки NumPy для повышения 
производительности................................................................................................53
1.3. Pandas, NumPy и Scikit-learn в действии..............................................................55
1.3.1. Pandas: манипулирование табличными данными на экспертном  
уровне.......................................................................................................................56
1.3.2. NumPy: высокоэффективные числовые вычисления..................................60
1.3.3. Использование инструментов NumPy для преобразований.......................64
1.3.4. Scikit-learn: эксперт в области машинного обучения..................................66
1.3.5. Почему Scikit-learn?........................................................................................68
1.3.6. Собираем все вместе: полный рабочий процесс..........................................69
1.3.7. Ключевые выводы...........................................................................................71
1.4. Практические упражнения...................................................................................72
1.5. Возможные проблемы...........................................................................................76
1.5.1. Неэффективное манипулирование данными в Pandas...............................76


Содержание    7
1.5.2. Неправильная обработка пропущенных значений.....................................77
1.5.3. Неправильное применение масштабирования и преобразования 
признаков.................................................................................................................78
1.5.4. Неправильное использование конвейеров Scikit-learn...............................78
1.5.5. Неправильная интерпретация результатов модели в Scikit-learn..............79
1.5.6. Узкие места в операциях NumPy...................................................................79
1.5.7. Избыточное конструирование признаков....................................................80
Заключение...................................................................................................................80
Глава 2. Оптимизация потоков данных...........................................................82
2.1. Расширенное манипулирование данными с Pandas...........................................82
2.1.1. Сложная фильтрация и извлечение подмножеств.......................................85
2.1.2. Многоуровневая группировка с агрегацией.................................................93
2.1.3. Сводные таблицы и изменение структуры данных.....................................96
2.1.4. Эффективный анализ временных рядов....................................................101
2.1.5. Оптимизация производительности и использования памяти.................105
2.2. Повышение производительности при помощи массивов NumPy...................109
2.2.1. Работа с массивами в NumPy.......................................................................109
2.2.2. Векторизованные операции: скорость и простота....................................113
2.2.3. Транслирование: гибкие операции с массивами.......................................114
2.2.4. Работа с памятью: типы данных в NumPy..................................................116
2.2.5. Многомерные массивы: работа со сложными структурами данных...........118
2.3. Комбинирование инструментов для выполнения эффективного анализа 
данных........................................................................................................................121
2.3.1. Шаг 1: предварительная обработка данных с помощью Pandas 
и NumPy..................................................................................................................121
2.3.2. Шаг 2: конструирование признаков с помощью Pandas и NumPy............125
2.3.3. Шаг 3: построение модели машинного обучения с помощью  
Scikit-learn..............................................................................................................127
2.3.4. Шаг 4: оптимизация рабочих процессов с помощью конвейеров 
Scikit-learn..............................................................................................................129
2.4. Практические упражнения.................................................................................132
2.5. Возможные проблемы.........................................................................................137
2.5.1. Большие накладные расходы при работе с большими наборами 
данных в Pandas.....................................................................................................137
2.5.2. Игнорирование или неправильное использование векторизации 
в NumPy..................................................................................................................138
2.5.3. Утечка информации в конвейерах Scikit-learn...........................................138
2.5.4. Чрезмерная надежда на значения гиперпараметров модели 
по умолчанию.........................................................................................................139
2.5.5. Излишняя сложность конвейеров...............................................................139
Заключение.................................................................................................................140
Контрольный опрос. Часть I. Подготовка данных  
для дальнейшего анализа.................................................................................141


8    Содержание
Часть II. КОНСТРУИРОВАНИЕ ПРИЗНАКОВ  
ДЛЯ МОДЕЛЕЙ МАШИННОГО ОБУЧЕНИЯ..........................................145
Проект 1. Предсказание стоимости домов с помощью 
конструирования признаков.............................................................................146
Исследование переменных и очистка данных.........................................................146
Конструирование признаков.....................................................................................151
Построение и оценка предсказательной модели.....................................................157
Итоги проекта.............................................................................................................161
Дальнейшие улучшения.............................................................................................162
Глава 3. Роль конструирования признаков в машинном обучении....163
3.1. Почему так важно конструировать признаки?..................................................163
3.1.1. Области влияния признаков на качество моделей....................................164
3.2. Примеры эффективного конструирования признаков.....................................172
3.2.1. Создание переменных взаимодействия.....................................................173
3.2.2. Создание признаков на основе временных рядов.....................................176
3.2.3. Разбиение числовых переменных на интервалы.......................................185
3.2.4. Кодирование на основе целевой переменной............................................189
3.3. Практические упражнения.................................................................................193
3.4. Возможные проблемы.........................................................................................197
3.4.1. Переобучение из-за слишком большого количества признаков..............197
3.4.2. Мультиколлинеарность................................................................................198
3.4.3. Утечка информации.....................................................................................198
3.4.4. Неправильная интерпретация признаков на основе времени.................199
3.4.5. Неподобающее масштабирование признаков...........................................199
3.4.6. Недооценка знаний о предметной области................................................200
Заключение.................................................................................................................201
Глава 4. Сложные техники заполнения пропусков в данных................202
4.1. Использование продвинутых техник заполнения пропущенных значений..202
4.1.1. Подстановка с помощью метода k-ближайших соседей............................203
4.1.2. Метод множественной подстановки с помощью цепных уравнений 
(MICE)......................................................................................................................208
4.1.3. Использование моделей машинного обучения для подстановки............212
4.2. Обработка пропущенных значений в больших наборах данных.....................216
4.2.1. Оптимизация техник подстановки с целью обеспечения 
масштабируемости................................................................................................217
4.2.2. Обработка столбцов с большим количеством пропущенных значений.....224
4.2.3. Использование распределенных вычислительных систем для 
заполнения пропусков...........................................................................................229
4.2.4. Ключевые выводы........................................................................................238
4.3. Практические упражнения.................................................................................240
4.4. Возможные проблемы.........................................................................................245
4.4.1. Погрешность модели при неправильной подстановке пропусков...........245
4.4.2. Переобучение модели вследствие замены пропусков в тестовой 
выборке...................................................................................................................246


Содержание    9
4.4.3. Удаление слишком большого количества данных.....................................246
4.4.4. Неправильное интерпретирование данных о временных рядах.............247
4.4.5. Вычислительная сложность при работе с большими наборами данных.....247
4.4.6. Сложности с нахождением шаблонов в пропущенных значениях...........248
Заключение.................................................................................................................248
Глава 5. Преобразование и масштабирование признаков.....................250
5.1. Масштабирование и нормализация: оптимальное применение.....................250
5.1.1. Почему так важны масштабирование и нормализация............................251
5.1.2. Масштабирование и нормализация: в чем разница?................................252
5.1.3. Минимаксное масштабирование (нормализация)....................................253
5.1.4. Стандартизация (z-нормализация).............................................................256
5.1.5. Когда использовать минимаксное масштабирование, а когда 
стандартизацию.....................................................................................................259
5.1.6. Робастное масштабирование, устойчивое к выбросам.............................260
5.1.7. Винсоризация................................................................................................264
5.2. Логарифм, квадратный корень и другие нелинейные преобразования 
признаков...................................................................................................................267
5.2.1. Логарифмическое преобразование.............................................................268
5.2.2. Преобразование квадратного корня...........................................................270
5.2.3. Преобразование кубического корня...........................................................273
5.2.4. Преобразования Бокса−Кокса и Йео−Джонсона.........................................276
5.3. Практические упражнения.................................................................................282
5.4. Возможные проблемы.........................................................................................286
5.4.1. Неправильный выбор метода преобразования..........................................286
5.4.2. Неправильное масштабирование тестовых данных..................................287
5.4.3. Излишнее преобразование признаков.......................................................288
5.4.4. Неправильная интерпретация результатов логарифмического 
преобразования.....................................................................................................288
5.4.5. Игнорирование природы нелинейных зависимостей...............................289
5.4.6. Неправильное обращение с выбросами.....................................................289
Заключение.................................................................................................................290
Глава 6. Кодирование категориальных переменных..............................291
6.1. Кодирование с одним активным состоянием: углубленное изучение............291
6.1.1. Совет 1: избегайте ловушки, связанной с фиктивными переменными.....294
6.1.2. Совет 2: правильно кодируйте значения в столбцах с высокой 
кардинальностью...................................................................................................296
6.1.3. Совет 3: используйте разреженные матрицы для повышения 
эффективности.......................................................................................................305
6.1.4. Выводы и рекомендации.............................................................................308
6.2. Более сложные примеры применения кодирования на основе целевой 
переменной , частоты и порядкового кодирования.................................................309
6.2.1. Кодирование на основе целевой переменной с регуляризацией и без....310
6.2.2. Пример использования кодирования на основе частоты.........................315
6.2.3. Порядковое кодирование.............................................................................318
6.2.4. Выводы и рекомендации.............................................................................322


10    Содержание
6.3. Практические упражнения.................................................................................323
6.4. Возможные проблемы.........................................................................................326
6.4.1. Переобучение при использовании кодирования на основе целевой 
переменной............................................................................................................327
6.4.2. Неправильное использование порядкового кодирования........................327
6.4.3. Использование кодирования с одним активным состоянием  
для столбцов с высокой кардинальностью..........................................................328
6.4.4. Пренебрежение разреженностью матрицы при кодировании 
с одним активным состоянием.............................................................................328
6.4.5. Утечка информации при использовании кодирования на основе 
целевой переменной.............................................................................................329
6.4.6. Ошибочная интерпретация результатов кодирования на основе 
частоты...................................................................................................................329
Заключение.................................................................................................................330
Глава 7. Конструирование признаков и переменных  
взаимодействия.....................................................................................................331
7.1. Создание признаков на основе существующих переменных...........................331
7.1.1. Математические преобразования переменных.........................................331
7.1.2. Извлечение компонентов из дат.................................................................337
7.1.3. Комбинирование признаков........................................................................340
7.2. Переменные взаимодействия и значимость признаков для моделей.............342
7.2.1. Полиномиальные признаки.........................................................................343
7.2.2. Перекрестные признаки...............................................................................345
7.2.3. Переменные взаимодействия и нелинейные зависимости......................351
7.2.4. Комбинирование полиномиальных и перекрестных признаков..............354
7.3. Практические упражнения..................................................................................358
7.4. Возможные проблемы.........................................................................................362
7.4.1. Переобучение модели при использовании избыточного количества 
признаков...............................................................................................................362
7.4.2. Возникновение мультиколлинеарности.....................................................362
7.4.3. Добавление в модель избыточных признаков............................................363
7.4.4. Ошибки при интерпретации перекрестных признаков............................364
7.4.5. Проблемы с производительностью при использовании 
полиномиальных признаков в больших наборах данных..................................364
Заключение.................................................................................................................365
Контрольный опрос. Часть II. Конструирование признаков 
для сложных моделей........................................................................................366
Часть III. Очистка и предварительная обработка данных......................371
Проект 2. Прогнозирование временных рядов 
с конструированием признаков.......................................................................372
Введение в прогнозирование временных рядов с использованием 
конструирования  признаков.....................................................................................373


Доступ онлайн
2 749 ₽
В корзину