Изучаем pandas. Высокопроизводительная обработка и анализ данных в Python
Покупка
Новинка
Тематика:
Системы управления базами данных (СУБД)
Издательство:
ДМК Пресс
Автор:
Хейдт Майкл
Перевод:
Груздев Артем
Год издания: 2019
Кол-во страниц: 683
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Дополнительное профессиональное образование
ISBN: 978-5-97060-670-4
Артикул: 863726.02.99
Библиотека pandas — популярный пакет для анализа и обработки данных на языке Python. Он предлагает эффективные, быстрые, высокопроизводительные структуры данных, которые позволяют существенно упростить работу. Данная книга познакомит вас с обширным набором инструментов, предлагаемых библиотекой pandas, — начиная с обзора загрузки данных с удаленных источников, выполнения численного и статистического анализа, индексации, агрегации и заканчивая визуализацией данных и анализом финансовой информации.
Издание предназначено всем разработчикам на языке Python, интересующимся обработкой данных.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Майкл Хейдт, Артем Груздев Изучаем pandas
Michael Heydt Learning pandas Second Edition High-performance data manipulation and analysis in Python BIRMINGHAM - MUMBAI
Майкл Хейдт, Артем Груздев
Изучаем pandas
Второе издание
Высокопроизводительная обработка и анализ данных в Python
Москва, 2019
УДК 004.4238Python:004.6pandas ББК 32.973.2 Х35 Авторы благодарят Софию Хайслер, Джоша Девлина, Александра Анина, Бенджамина Прайка, Теда Петроу, Степана Сокола за предоставленные дополнительные материалы Хейдт М., Груздев А. В. Х35 Изучаем pandas / пер. с анг. А. В. Груздева. – М.: ДМК Пресс, 2019. – 682 с.: ил. ISBN 978-5-97060-670-4 Библиотека pandas – популярный пакет для анализа и обработки данных на языке Python. Он предлагает эффективные, быстрые, высокопроизводительные структуры данных, которые позволяют существенно упростить работу. Данная книга познакомит вас с обширным набором инструментов, предлагаемых библиотекой pandas, – начиная с обзора загрузки данных с удаленных источников, выполнения численного и статистического анализа, индексации, агрегации и заканчивая визуализацией данных и анализом финансовой информации. Издание предназначено всем разработчикам на языке Python, интересующимся обработкой данных. УДК 004.4238Python:004.6pandas ББК 32.973.2 Copyright © Packt Publishing 2017. First published in the English language under the title ‘Learning Pandas – Second Edition – (9781787123137)’. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-1-78712-313-7 (анг.) Copyright © 2017 Packt Publishing ISBN 978-5-97060-670-4 (рус.) © Оформление, издание, перевод, ДМК Пресс, 2019
Содержание Предисловие........................................................................................................................15 Глава 1. Библиотека pandas и анализ данных......................................................19 Знакомство с библиотекой pandas...........................................................................................19 Обработка данных, анализ, наука и библиотека pandas.........................................................21 Обработка данных................................................................................................................22 Анализ данных......................................................................................................................22 Наука о данных.....................................................................................................................23 Предназначение библиотеки pandas...................................................................................23 Процесс анализа данных..........................................................................................................23 Процесс..................................................................................................................................24 Взаимосвязь между книгой и процессом анализа данных....................................................28 Понятия «данные» и «анализ» в контексте нашего знакомства с библиотекой pandas.......29 Типы данных.........................................................................................................................29 Временные ряды...................................................................................................................31 Общие понятия анализа и статистики................................................................................31 Другие библиотеки Python, работающие вместе с библиотекой pandas...............................34 Численные и научные вычисления – NumPy и SciPy .........................................................34 Статистический анализ – StatsModels ................................................................................35 Машинное обучение – scikit-learn ......................................................................................35 PyMC – стохастическое байесовское моделирование .......................................................35 Визуализация данных – matplotlib и seaborn......................................................................36 Выводы.......................................................................................................................................36 Глава 2. Запуск библиотеки pandas...........................................................................37 Установка Anaconda...................................................................................................................37 IPython и Jupyter Notebook........................................................................................................39 IPython ..................................................................................................................................39 Jupyter Notebook....................................................................................................................40 Знакомство со структурами данных библиотеки pandas – Series и DataFrame ....................43 Импорт pandas......................................................................................................................43 Объект Series.........................................................................................................................44 Объект DataFrame.................................................................................................................48 Загрузка данных из CSV-файла в объект DataFrame..........................................................52 Визуализация.............................................................................................................................55 Выводы.......................................................................................................................................56 Глава 3. Представление одномерных данных с помощью объекта Series......................................................................................................................57 Настройка библиотеки pandas..................................................................................................58 Создание объекта Series............................................................................................................58 Создание объекта Series с помощью питоновских списков и словарей...........................58 Создание объекта Series с помощью функций NumPy.......................................................60 Создание объекта Series с помощью скалярного значения...............................................61
6 Содержание Свойства .index и .values............................................................................................................61 Размер и форма объекта Series.................................................................................................62 Установка индекса во время создания объекта Series............................................................63 Использование методов .head(), .tail() и .take() для вывода значений..................................64 Получение значений в объекте Series по метке или позиции ..............................................65 Поиск по метке с помощью оператора [] и свойства .ix[]...................................................65 Явный поиск по позиции с помощью свойства .iloc[]........................................................67 Явный поиск по меткам с помощью свойства .loc[]...........................................................67 Создание срезов объекта Series................................................................................................68 Выравнивание данных по меткам индекса.............................................................................73 Выполнение логического отбора.............................................................................................76 Переиндексация объекта Series ...............................................................................................78 Модификация объекта Series на месте....................................................................................81 Выводы ......................................................................................................................................83 Глава 4. Представление табличных и многомерных данных с помощью объекта DataFrame...................................................................................84 Настройка библиотеки pandas..................................................................................................85 Создание объектов DataFrame..................................................................................................85 Создание объекта DataFrame на основе результатов функций NumPy.............................85 Создание объекта DataFrame с помощью питоновского словаря и объектов Series........87 Создание объекта DataFrame на основе CSV-файла...........................................................89 Доступ к данным внутри объекта DataFrame .........................................................................90 Отбор столбцов в объекте DataFrame..................................................................................91 Отбор строк в объекте DataFrame........................................................................................92 Поиск скалярного значения по метке и позиции с помощью .at[] и .iat[]........................93 Создание среза датафрейма с помощью оператора [].......................................................94 Логический отбор строк............................................................................................................94 Одновременный отбор строк и столбцов................................................................................96 Выводы.......................................................................................................................................96 Глава 5. Выполнение операций над объектом DataFrame и его содержимым.............................................................................................................97 Настройка библиотеки pandas..................................................................................................97 Переименование столбцов.......................................................................................................98 Добавление новых столбцов с помощью оператора [] и метода .insert()..............................99 Добавление столбцов за счет расширения датафрейма....................................................... 100 Добавление столбцов с помощью конкатенации................................................................. 101 Переупорядочивание столбцов.............................................................................................. 102 Замена содержимого столбца................................................................................................. 103 Удаление столбцов.................................................................................................................. 103 Присоединение новых строк.................................................................................................. 105 Конкатенация строк................................................................................................................ 107 Добавление и замена строк за счет расширения датафрейма............................................. 109 Удаление строк с помощью метода .drop()............................................................................ 109 Удаление строк с помощью логического отбора................................................................... 110 Удаление строк с помощью среза.......................................................................................... 111 Выводы..................................................................................................................................... 111 Глава 6. Индексация данных...................................................................................... 112 Настройка библиотеки pandas................................................................................................ 112
Содержание 7 Важность применения индексов ........................................................................................... 113 Типы индексов библиотеки pandas ....................................................................................... 115 Основной тип Index............................................................................................................ 115 Индексы Int64Index и RangeIndex, в качестве меток используются целые числа.......... 115 Индекс Float64Index, в качестве меток используются числа с плавающей точкой....... 117 Представление дискретных интервалов с использованием IntervalIndex .................... 117 Категории в качестве индекса – CategoricalIndex............................................................. 118 Индексация по датам и времени с помощью DatetimeIndex .......................................... 119 Индексация периодов времени с помощью PeriodIndex ................................................ 119 Работа с индексами ................................................................................................................ 120 Создание и использование индекса в объекте Series или объекте DataFrame .............. 120 Отбор значений с помощью индекса ............................................................................... 121 Преобразование данных в индекс и получение данных из индекса.............................. 123 Переиндексация объекта библиотеки pandas................................................................... 124 Иерархическая индексация.................................................................................................... 125 Выводы .................................................................................................................................... 128 Глава 7. Категориальные данные.............................................................................. 129 Настройка библиотеки pandas................................................................................................ 129 Создание категориальных переменных................................................................................ 130 Переименование категорий................................................................................................... 135 Добавление категорий............................................................................................................ 136 Удаление категорий................................................................................................................ 136 Удаление неиспользуемых категорий................................................................................... 137 Установка категорий............................................................................................................... 137 Вычисление описательных статистик для категориальной переменной........................... 138 Обработка школьных оценок................................................................................................. 138 Выводы..................................................................................................................................... 141 Глава 8. Численные и статистические методы................................................... 142 Настройка библиотеки pandas................................................................................................ 143 Применение численных методов к объектам библиотеки pandas...................................... 143 Выполнение арифметических операций над объектами DataFrame или Series............ 144 Вычисление количества значений..................................................................................... 147 Определение уникальных значений (и их встречаемости)............................................. 147 Вычисление минимума и максимума............................................................................... 148 Вычисление n наименьших значений и n наибольших значений.................................. 148 Вычисление накопленных значений................................................................................. 149 Выполнение статистических операций c объектами библиотеки pandas........................... 150 Получение итоговых описательных статистик................................................................ 150 Измерение центральной тенденции: среднее, медиана и мода..................................... 151 Вычисление дисперсии и стандартного отклонения....................................................... 153 Вычисление ковариации и корреляции............................................................................ 154 Дискретизация и квантилизация данных......................................................................... 156 Вычисление ранга значений.............................................................................................. 160 Вычисление процентного изменения для каждого наблюдения серии......................... 161 Выполнение операций со скользящим окном.................................................................. 161 Создание случайной выборки данных.............................................................................. 164 Выводы..................................................................................................................................... 165 Глава 9. Загрузка данных............................................................................................. 166 Настройка библиотеки pandas................................................................................................ 166
8 Содержание Работа с CSV-файлами и текстовыми/табличными данными ............................................ 167 Исследование CSV-файла .................................................................................................. 167 Чтение CSV-файла в датафрейм ....................................................................................... 168 Указание индекса столбца при чтении CSV-файла ......................................................... 168 Вывод и спецификация типа данных................................................................................ 169 Указание имен столбцов.................................................................................................... 169 Указание конкретных столбцов для загрузки................................................................... 170 Сохранение датафрейма в CSV-файл................................................................................ 170 Работа с данными, в которых используются разделители полей.................................... 171 Обработка загрязненных данных, в которых используются разделители полей.......... 172 Чтение и запись данных в формате Excel.............................................................................. 174 Чтение и запись JSON-файлов................................................................................................ 177 Чтение HTML-файлов из интернета...................................................................................... 178 Чтение и запись HDF5-файлов............................................................................................... 180 Загрузка CSV-файлов из интернета....................................................................................... 182 Чтение из базы данных SQL и запись в базу данных SQL.................................................... 182 Загрузка данных с удаленных сервисов ................................................................................ 185 Загрузка базы данных по экономической статистике Федерального резервного банка Сент-Луиса ............................................................................................................... 185 Загрузка данных Кеннета Френча ..................................................................................... 187 Загрузка данных Всемирного банка ................................................................................. 188 Выводы..................................................................................................................................... 192 Глава 10. Приведение данных в порядок............................................................. 193 Настройка библиотеки pandas................................................................................................ 193 Что такое приведение данных в порядок?............................................................................ 194 Как работать с пропущенными данными.............................................................................. 195 Поиск значений NaN в объектах библиотеки pandas....................................................... 196 Удаление пропущенных данных........................................................................................ 198 Обработка значений NaN в ходе арифметических операций......................................... 201 Заполнение пропущенных данных................................................................................... 202 Прямое и обратное заполнение пропущенных значений............................................... 203 Заполнение с помощью меток индекса............................................................................ 204 Выполнение интерполяции пропущенных значений..................................................... 205 Обработка дублирующихся данных....................................................................................... 207 Преобразование данных......................................................................................................... 210 Сопоставление значений другим значениям................................................................... 210 Замена значений................................................................................................................. 211 Применение функций для преобразования данных........................................................ 214 Выводы..................................................................................................................................... 218 Глава 11. Объединение, связывание и изменение формы данных.......... 219 Настройка библиотеки pandas................................................................................................ 219 Конкатенация данных, расположенных в нескольких объектах......................................... 220 Понимание семантики конкатенации, принятой по умолчанию................................... 220 Переключение осей выравнивания................................................................................... 224 Определение типа соединения.......................................................................................... 225 Присоединение вместо конкатенации.............................................................................. 226 Игнорирование меток индекса.......................................................................................... 226 Слияние и соединение данных............................................................................................... 227 Слияние данных, расположенных в нескольких объектах.............................................. 227
Содержание 9 Настройка семантики соединения при выполнении слияния........................................ 230 Поворот данных для преобразования значений в индексы и наоборот............................. 233 Состыковка и расстыковка данных........................................................................................ 234 Состыковка с помощью неиерархических индексов....................................................... 234 Расстыковка с помощью иерархических индексов.......................................................... 236 Расплавление данных для преобразования «широкого» формата в «длинный» и наоборот........................................................................................................................... 239 Преимущества использования состыкованных данных...................................................... 240 Выводы..................................................................................................................................... 241 Глава 12. Агрегирование данных.............................................................................. 242 Настройка библиотеки pandas................................................................................................ 242 Обзор схемы «разделение–применение–объединение»..................................................... 243 Данные для примеров............................................................................................................. 244 Разделение данных................................................................................................................. 244 Группировка по значениям отдельного столбца.............................................................. 244 Просмотр результатов группировки................................................................................. 245 Группировка по нескольким столбцам............................................................................. 248 Группировка по уровням индекса..................................................................................... 249 Применение агрегирующих функций, преобразований и фильтров.................................. 251 Применение агрегирующих функций к группам............................................................. 251 Преобразование групп данных.......................................................................................... 253 Исключение групп из процедуры агрегирования............................................................ 258 Выводы..................................................................................................................................... 259 Глава 13. Анализ временных рядов........................................................................ 260 Настройка библиотеки pandas................................................................................................ 260 Представление дат, времени и интервалов........................................................................... 261 Объекты datetime, day и time............................................................................................. 261 Создание временной метки с помощью объекта Timestamp.......................................... 263 Использование объекта Timedelta для представления временного интервала............. 263 Введение во временные ряды................................................................................................ 264 Индексация с помощью объекта DatetimeIndex............................................................... 264 Создание временного ряда с определенной частотой..................................................... 269 Вычисление новых дат с помощью смещений ..................................................................... 271 Представление временных интервалов с помощью смещений дат ............................... 271 Привязанные смещения .................................................................................................... 274 Представление промежутков времени с помощью объектов Period .................................. 275 Создание временного интервала с помощью объекта Period ......................................... 275 Индексация с помощью объекта PeriodIndex .................................................................. 277 Обработка праздников с помощью календарей .................................................................. 279 Нормализация временных меток с помощью часовых поясов .......................................... 280 Операции с временными рядами ......................................................................................... 284 Опережение и запаздывание ............................................................................................ 284 Преобразование частоты временного ряда ..................................................................... 287 Увеличение или уменьшение шага дискретизации временного ряда........................... 289 Применение к временному ряду операций на основе скользящего окна.......................... 294 Выводы..................................................................................................................................... 297 Глава 14. Визуализация................................................................................................. 298 Настройка библиотеки pandas................................................................................................ 299
10 Содержание Основные инструменты визуализации................................................................................. 299 Создание графиков временных рядов................................................................................... 300 Настройка внешнего вида графика временного ряда...................................................... 302 Виды графиков, часто использующиеся в статистическом анализе данных...................... 314 Демонстрация относительных различий с помощью столбиковых диаграмм.............. 314 Визуализация распределений данных с помощью гистограмм...................................... 316 Визуализация распределений категориальных данных с помощью ящичных диаграмм с усами................................................................................................................ 318 Отображение накопленных итогов с помощью площадных диаграмм......................... 318 Визуализация взаимосвязи между двумя переменными с помощью диаграммы рассеяния............................................................................................................................. 320 Визуализация оценок распределения с помощью графика ядерной оценки плотности............................................................................................................................ 320 Визуализация корреляций между несколькими переменными с помощью матрицы диаграмм рассеяния........................................................................................... 321 Отображение взаимосвязей между несколькими переменными с помощью тепловых карт..................................................................................................................... 322 Размещение нескольких графиков на одном рисунке вручную.......................................... 323 Выводы .................................................................................................................................... 325 Приложение 1. Советы по оптимизации вычислений в библиотеке pandas....................................................................................................... 326 Базовое итерирование............................................................................................................ 327 Итерирование с помощью метода .iterrows()........................................................................ 328 Более лучший способ итерирования с помощью метода .apply()........................................ 328 Векторизация c помощью объектов Series............................................................................ 329 Векторизация с помощью массивов NumPy.......................................................................... 329 Выводы..................................................................................................................................... 330 Приложение 2. Улучшение производительности pandas (из официального пособия по библиотеке pandas) ........................................ 331 Написание расширений на языке C для pandas.................................................................... 331 «Чистый» Python................................................................................................................. 331 Обычный Cython................................................................................................................. 333 Использование библиотеки Numba....................................................................................... 333 Jit.......................................................................................................................................... 334 Vectorize............................................................................................................................... 334 Вычисление выражений с помощью функции eval()............................................................ 335 Поддерживаемый синтаксис.............................................................................................. 336 Примеры использования функции eval().......................................................................... 336 Метод DataFrame.eval()....................................................................................................... 337 Приложение 3. Используем pandas для больших данных .......................... 341 Работаем с данными бейсбольных игр.................................................................................. 341 Внутреннее представление датафрейма............................................................................... 343 Подтипы................................................................................................................................... 344 Оптимизация числовых столбцов с помощью понижающего преобразования................. 345 Сравнение способов хранения числовых и строковых значений....................................... 347 Оптимизация типов object с помощью типа category.......................................................... 349 Задаем типы во время считывания данных.......................................................................... 353 Выводы..................................................................................................................................... 355