Анализ данных. От сырых данных до ценных инсайтов
Покупка
Тематика:
Системы управления базами данных (СУБД)
Издательство:
Интермедиатор
Автор:
Баланов Антон Николаевич
Год издания: 2025
Кол-во страниц: 131
Возрастное ограничение: 12+
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
ВО - Бакалавриат
ISBN: 978-5-91349-134-3
Артикул: 871613.01.99
Книжная серия «Айтишный университет» предназначена для самообразования в сфере информационных технологий, а также может быть использована для формирования учебных курсов в системе профильного высшего образования. Материал излагается сжато и систематично.
Подсерия «Специалист» ориентирована на подготовку профессионалов — программистов-разработчиков, тестировщиков, системных администраторов, веб-мастеров и других специалистов в области информационных технологий.
В данной книге рассмотрены различные аспекты работы с данными (в том числе Big Data): сбор и обработка, используемые при этом методы и инструменты, анализ и прогнозирование на его основе, использование технической инфраструктуры, решение этических и правовых вопросов и т.д.
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Анализ данных. От сырых данных до ценных инсайтов
АЙТИШНЫЙ УНИВЕРСИТЕТ А. Н. Баланов А. Н. Баланов А. Н. Баланов Москва 2025 Специалист Специалист Анализ данных От сырых данных до ценных инсайтов
УДК 004.62
ББК 32.973-26.-018.2я73
Б20
Баланов, Антон Николаевич
Анализ данных. От сырых данных до ценных инсайтов /
А. Н. Баланов. — 1 файл pdf : 131 с. — Эл. изд. — Москва :
Агентство электронных изданий «Интермедиатор»,
2025. — (Айтишный университет. Специалист). — Систем.
требования: Adobe Reader XI либо Adobe Digital Editions
4.5 ; экран 10''. — Текст : электронный.
ISBN 978-5-91349-134-3
Книжная серия «Айтишный университет» предназначена для
самообразования в сфере информационных технологий, а также
может быть использована для формирования учебных курсов в
системе профильного высшего образования. Материал излагается сжато и систематично.
Подсерия «Специалист» ориентирована на подготовку профессионалов — программистов-разработчиков, тестировщиков,
системных администраторов, веб-мастеров и других специалистов в области информационных технологий.
В данной книге рассмотрены различные аспекты работы с
данными (в том числе Big Data): сбор и обработка, используемые
при этом методы и инструменты, анализ и прогнозирование на
его основе, использование технической инфраструктуры, решение этических и правовых вопросов и т.д.
Б20
ISBN 978-5-91349-134-3
© «Интермедиатор», электронное
издание, 2025.
В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений,
установленных техническими средствами защиты авторских прав, правообладатель вправе требовать от нарушителя возмещения убытков
или выплаты компенсации.
ОБ АВТОРЕ Баланов Антон Николаевич имеет большой опыт руководства и консультирования в сфере ИТ-технологий. Работал топ-менеджером в крупных компаниях — таких, как Industrial and Commercial Bank of China (КНР), Caravan portal (ОАЭ), Банк ВТБ, Сбербанк России, VK; руководил разработками сервиса Gosuslugi.ru. Имеет степень MBA IT (CIA) и сертификации Microsoft, CompTIA, ISACA, PMI, SHRM, IIBA, HRCI, ISO, Six Sigma (Master Black Belt). Преподавал в следующих вузах и учебных центрах: Российском университете дружбы народов, СберУниверситете, Институте бизнеса и делового администрирования и Центре подготовки руководителей и команд цифровой трансформации (на базе Высшей школы государственного управления РАНХиГС). Автор десятков книг и научно-практических публикаций в профессиональных изданиях. Является советником Российской академии естественных наук. Широкая эрудиция и глубокие профессиональные компетенции автора в сфере ИТ-технологий позволили ему создать книжную серию «Айтишный университет», один из выпусков которой находится перед вами.
ОГЛАВЛЕНИЕ Глава 1. Понимание данных и их значимости. . . . . . . . . . . . . . . . . . . . 11 Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Введение в понятие данных и их роль в современном мире . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Значимость правильного сбора, хранения и обработки данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Обзор различных видов данных и источников их получения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 Глава 2. Инструменты и методы анализа данных. . . . . . . . . . . . . . . . 21 Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Основные инструменты и техники анализа данных, включая статистические методы, машинное обучение и визуализацию данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 Использование программного обеспечения для анализа данных, такого как Python, R и Excel. . . . . . . . . . . . . . . . 26 Работа с большими объемами данных и применение Big Data-технологий. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 Глава 3. Превращение данных в инсайты и действия. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 Процесс преобразования сырых данных в ценные инсайты для принятия бизнес-решений. . . . . . . . . . . . . . 34
Оглавление Использование статистических методов и моделей для анализа данных и выявления паттернов и тенденций . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Применение инсайтов для оптимизации бизнес-процессов и принятия стратегических решений. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 Глава 4. Примеры успешного использования анализа данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Рассмотрение реальных примеров и историй успеха в области анализа данных. . . . . . . . . . . . . . . . . . . . 44 Использование данных для улучшения маркетинговых стратегий, оптимизации производственных процессов, прогнозирования спроса и других бизнес-целей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 Анализ факторов, которые привели к успеху этих проектов анализа данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 Глава 5. Коллекция и обработка данных. . . . . . . . . . . . . . . . . . . . . . . . . . 57 Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Методы сбора и обработки данных, включая определение переменных, устранение выбросов, нормализацию и очистку данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 Работа с различными источниками данных, такими как базы данных, API и веб-скрапинг. . . . . . . . . . . . . . . . . . . 60 Обеспечение качества данных и обработка отсутствующих значений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 Глава 6. Визуализация и представление данных . . . . . . . . . . . . . . . . . 68 Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 Важность визуализации данных для понимания и коммуникации результатов анализа. . . . . . . . . . . . . . . . . . . . . . . . . . 69 Использование графиков, диаграмм и интерактивных инструментов для визуализации данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Оглавление 9 Применение лучших практик визуализации данных для создания информативных и понятных дашбордов и отчетов. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 Глава 7. Прогнозирование и предсказательный анализ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 Методы прогнозирования и предсказательного анализа, включая временные ряды, регрессию и машинное обучение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 Применение прогнозных моделей для прогнозирования будущих событий и трендов на основе исторических данных. . . . . . . . . . . . . . . . . . . . . 84 Оценка точности и надежности прогнозов. . . . . . . . . . . . . . . . . . . . . . 88 Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 Глава 8. Этические и правовые вопросы в анализе данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 Рассмотрение этических вопросов, связанных с сбором, использованием и обработкой данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94 Соответствие нормативным требованиям и законодательству в области защиты данных и конфиденциальности. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 Разработка политик безопасности данных и управление рисками в области анализа данных. . . . . . . . . . . . . . 99 Заключение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 Глава 9. Техническая инфраструктура для анализа данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 Введение. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104 Обзор технической инфраструктуры, необходимой для эффективного анализа данных, включая хранение, обработку и вычисления. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 Разработка и управление базами данных, системами хранения данных и кластерами вычислений. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108