Python: Pandas на практике. 200 упражнений по анализу данных с решениями и пояснениями
Покупка
Новинка
Тематика:
Программирование и алгоритмизация
Издательство:
ДМК Пресс
Автор:
Лернер Реувен
Перевод:
Гинько Александр Юрьевич
Год издания: 2025
Кол-во страниц: 554
Дополнительно
Вид издания:
Учебное пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-227-3
Артикул: 890594.01.99
Сегодня трудно представить аналитика данных, не пользующегося библиотекой Pandas, но в тонкостях работы с ней немудрено запутаться. В этой книге собраны упражнения, основанные на многолетней преподавательской практике автора. Прочитав ее, вы будете чувствовать себя уверенно при встрече с недостатками реальных данных в виде пропущенных значений, смешанных форматов и отсутствия четкой структуры.
Книга предназначена начинающим аналитикам данных, изучающим Pandas, но будет полезна и опытным специалистам, стремящимся отточить свои навыки.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Реувен Лернер Python: Pandas на практике
M A N N I N G SHELTER ISLAND Pandas Workout 200 exercises to make you a stronger data analyst Reuven M. Lerner
Москва, 2025 Python: Pandas на практике 200 упражнений по анализу данных с решениями и пояснениями Реувен Лернер
УДК 004.438Python
ББК 32.973.2
Л49
Л49 Реувен Лернер
Python: Pandas на практике. 200 упражнений по анализу данных с решениями и пояснениями / пер. с англ. А. Ю. Гинько. – М.: ДМК Пресс, 2025. –
552 с.: ил.
ISBN 978-5-93700-227-3
Сегодня трудно представить аналитика данных, не пользующегося библиотекой Pandas, но в тонкостях работы с ней немудрено запутаться. В этой
книге собраны упражнения, основанные на многолетней преподавательской практике автора. Прочитав ее, вы будете чувствовать себя уверенно
при встрече с недостатками реальных данных в виде пропущенных значений, смешанных форматов и отсутствия четкой структуры.
Книга предназначена начинающим аналитикам данных, изучающим
Pandas, но будет полезна и опытным специалистам, стремящимся отточить
свои навыки.
Copyright © 2024 Manning Publications. This translation is published and sold by permission of
Manning Publications, the owner of all rights to publish and sell the same.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой
бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но, поскольку вероятность
технических ошибок все равно существует, издательство не может гарантировать абсолютную
точность и правильность приводимых сведений. В связи с этим издательство не несет ответственности за возможные ошибки, связанные с использованием книги.
ISBN 978-1-61729-972-8 (англ.) Copyright © 2024 by Manning Publications Co.
ISBN 978-5-93700-227-3 (рус.) © Оформление, перевод на русский язык,
издание, ДМК Пресс, 2025
В память об отце Рабби Барри Дов Лернер (1942–2023) Он научил меня: быть чрезвычайно любознательным; делиться всем, чему научился; верить в людей; делать все это с юмором.
Оглавление Предисловие.......................................................................................................9 Благодарности..................................................................................................11 Об этой книге....................................................................................................12 Об авторе...........................................................................................................17 О переводчике..................................................................................................17 Об изображении на обложке.........................................................................18 Глава 1. Объект Series......................................................................................19 УПРАЖНЕНИЕ 1. Оценки за ежемесячные тесты............................................ 24 УПРАЖНЕНИЕ 2. Масштабирование оценок................................................... 37 УПРАЖНЕНИЕ 3. Считаем цифры разряда десятков...................................... 42 УПРАЖНЕНИЕ 4. Описательная статистика.................................................... 52 УПРАЖНЕНИЕ 5. Температура по понедельникам......................................... 56 УПРАЖНЕНИЕ 6. Пассажиропоток в такси...................................................... 60 УПРАЖНЕНИЕ 7. Длинные, средние и короткие поездки в такси.................. 63 Заключение........................................................................................................... 67 Глава 2. Объект DataFrame..............................................................................68 УПРАЖНЕНИЕ 8. Чистый доход........................................................................ 73 УПРАЖНЕНИЕ 9. Налоговое планирование..................................................... 77 УПРАЖНЕНИЕ 10. Добавление новых товаров................................................ 88 УПРАЖНЕНИЕ 11. Лидеры продаж................................................................... 94 УПРАЖНЕНИЕ 12. Поиск выбросов.................................................................. 97 УПРАЖНЕНИЕ 13. Интерполяция................................................................... 104 УПРАЖНЕНИЕ 14. Выборочное обновление.................................................. 108 Заключение......................................................................................................... 112 Глава 3. Импорт и экспорт.............................................................................113 УПРАЖНЕНИЕ 15. Загадочные поездки на такси.......................................... 117 УПРАЖНЕНИЕ 16. Такси и пандемия............................................................. 125 УПРАЖНЕНИЕ 17. Установка типов данных для столбцов............................ 134 УПРАЖНЕНИЕ 18. Файл passwd в датафрейм................................................ 138 УПРАЖНЕНИЕ 19. Курсы биткоина................................................................ 142 УПРАЖНЕНИЕ 20. Большие города................................................................. 148 Заключение......................................................................................................... 151 Глава 4. Индексы.............................................................................................152 УПРАЖНЕНИЕ 21. Парковочные талоны........................................................ 154 УПРАЖНЕНИЕ 22. Оценки за вступительные тесты..................................... 167
Оглавление 7 УПРАЖНЕНИЕ 23. Олимпийские игры........................................................... 172 УПРАЖНЕНИЕ 24. Олимпийские сводные таблицы...................................... 185 Заключение......................................................................................................... 192 Глава 5. Очистка данных...............................................................................193 УПРАЖНЕНИЕ 25. Очистка данных о парковках........................................... 197 УПРАЖНЕНИЕ 26. Уход знаменитостей......................................................... 207 УПРАЖНЕНИЕ 27. Титаник и интерполяция................................................. 214 УПРАЖНЕНИЕ 28. Несогласованные данные................................................. 220 Заключение......................................................................................................... 227 Глава 6. Группировка, объединение и сортировка....................................228 УПРАЖНЕНИЕ 29. Самые продолжительные поездки на такси................... 232 УПРАЖНЕНИЕ 30. Сравним поездки на такси............................................... 243 УПРАЖНЕНИЕ 31. Расходы туристов по странам.......................................... 256 Заключение......................................................................................................... 266 Глава 7. Сложная группировка, объединение и сортировка....................267 УПРАЖНЕНИЕ 32. Температура в разных городах........................................ 267 УПРАЖНЕНИЕ 33. Оценки за вступительные тесты, часть 2........................ 279 УПРАЖНЕНИЕ 34. Снежные и дождливые города......................................... 293 УПРАЖНЕНИЕ 35. Вино и туризм…................................................................ 302 Заключение......................................................................................................... 313 Глава 8. Промежуточный проект .................................................................314 Задача.................................................................................................................. 315 Заключение......................................................................................................... 336 Глава 9. Строки ...............................................................................................337 УПРАЖНЕНИЕ 36. Анализируем Алису.......................................................... 343 УПРАЖНЕНИЕ 37. Винные слова.................................................................... 350 УПРАЖНЕНИЕ 38. Зарплата программистов................................................. 360 Заключение......................................................................................................... 373 Глава 10. Даты и время ................................................................................374 УПРАЖНЕНИЕ 39. Короткие, средние и длинные поездки на такси............ 381 УПРАЖНЕНИЕ 40. Пишем и читаем даты...................................................... 388 УПРАЖНЕНИЕ 41. Цены на нефть.................................................................. 397 УПРАЖНЕНИЕ 42. Чаевые за поездки на такси............................................. 402 Заключение......................................................................................................... 412 Глава 11. Визуализация ................................................................................413 УПРАЖНЕНИЕ 43. Города................................................................................ 416 УПРАЖНЕНИЕ 44. Погода в ящиках с усами.................................................. 430 УПРАЖНЕНИЕ 45. Анализируем стоимость поездок на такси с помощью графиков................................................................................. 439 УПРАЖНЕНИЕ 46. Машины, нефть и мороженое.......................................... 455
8 Оглавление УПРАЖНЕНИЕ 47. Такси и визуализация в Seaborn...................................... 474 Заключение......................................................................................................... 483 Глава 12. Оптимизация .................................................................................484 УПРАЖНЕНИЕ 48. Категории.......................................................................... 490 УПРАЖНЕНИЕ 49. Быстрое чтение, быстрая запись..................................... 497 УПРАЖНЕНИЕ 50. query и eval........................................................................ 507 Заключение......................................................................................................... 515 Глава 13. Итоговый проект ...........................................................................516 Задача.................................................................................................................. 516 Столбцы и их описание...................................................................................... 519 Заключение.....................................................................................................548 Предметный указатель..................................................................................549
Предисловие Когда я только начинал преподавать Python в компаниях по всему миру, я не был удивлен тем, как мои студенты используют этот язык программирования. Обычно они применяли его для написания скриптов взамен менее выразительных Bash-скриптов, создания серверных веб-приложений, разработки автоматизированных тестов и работы с реляционными базами данных. Спустя какое-то время я с удивлением обнаружил, что они также используют Python для анализа данных. Да, это мощный и легкий в освоении язык, но с быстродействием у него всегда были проблемы. Как же с его помощью можно анализировать данные? Вскоре я узнал то, что многие уже знали: оказывается, библиотека NumPy способна объединить легкость использования Python с эффективностью C. Я быстро вскочил в этот вагон и уже совсем скоро начал активно применять эту связку в аналитике и обучать тех, кому только предстояло сделать для себя такое открытие. В то же время сам NumPy мне казался чересчур низкоуровневым инструментом для достижения моих целей. Когда я познакомился с pandas, все встало на свои места. Эта библиотека объединила в себе скорость и эффективность NumPy с богатейшим API, позволяющим легко выполнять задачи, встающие перед аналитиком каждый день. Я люблю сравнивать pandas с машиной, оснащенной автоматической коробкой передач, значительно превосходящей в удобстве автомобиль с ручной коробкой, коим мне представляется NumPy. Pandas позволяет просто и быстро выполнять чтение и запись в самых разных форматах, очищать исходные данные, анализировать и визуализировать их. В общем, он дал мне все, что было нужно. Я был пленен его очарованием. Спустя десятилетие после моего знакомства с pandas интерес к нему возрос до небес. Сегодня трудно представить себе аналитика данных, не пользующегося этой библиотекой. За это время где я только ни читал свои курсы по pandas – от команд стартапов до государственных учреждений и от небольших хеджевых фондов до компаний, входящих в первую сотню мирового рейтинга. Pandas подходит к решению задач иначе по сравнению со стандартными библиотеками, входящими в состав Python. Синтаксис один, но структуры данных и принципы работы с ними совершенно разные. При этом библиотека pandas настолько обширна и разнообразна, что в ее хитросплетениях немудрено запутаться. В отличие от базового Python, незримо продвигающего догму «Должен быть только один способ решения задачи…», pandas не исключает множества вариантов и подходов к одной и той же проблеме. В то же время бывает непросто определить, какой из возможных способов окажется наиболее быстрым и простым в эксплуатации, даже (или особенно) если вы обладаете приличным опыт работы с Python. Именно по этой причине я являюсь большим поклонником практического подхода к обучению. Только практика позволит вам проникнуть во все тайные
10 Предисловие комнаты библиотеки pandas и научиться применять обнаруженные приемы для решения своих задач. Вам недостаточно тренироваться на вымышленных наборах данных – если вы хотите действительно хорошо освоить pandas, вам придется, вооружившись этой библиотекой и изрядной долей храбрости, подступаться к обработке и анализу данных из реального мира с характерными для них недостатками в виде пропущенных значений, смешанных форматов и отсутствия четкой структуры. Упражнения, собранные в этой книге, проистекают из моих курсов и лекций, которые я читаю все последнее десятилетие. Многие из них за эти годы претерпели изменения, которые сделали их только лучше, поскольку в них были учтены все сложности, с которыми могут сталкиваться начинающие разработчики. Моя цель – дать вам возможность попрактиковаться с pandas и приобрести навыки, которые вы сможете успешно применить в своей работе. Подобно тому как каждый учебный полет пилота на авиасимуляторе приближает его к подъему в воздух настоящего самолета с пассажирами, каждое упражнение из этой книги позволит вам чувствовать себя при работе с pandas более уверенно, и вы не будете испытывать проблем при встрече с реальными задачами.