Большие данные. Современные фреймворки и разработка приложений
Покупка
Новинка
Тематика:
Проектирование баз и банков данных
Издательство:
ДМК Пресс
Авторы:
Талия Доминико, Трунфио Паоло, Мароццо Фабрицио, Белькастро Лорис, Кантини Риккардо, Орсино Алессио
Перевод:
Логунов А. В.
Год издания: 2025
Кол-во страниц: 274
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-358-4
Артикул: 890852.01.99
В книге рассматриваются модели, системы и фреймворки, специально разработанные для обработки и анализа больших наборов данных. Вы познакомитесь с основными парадигмами и механизмами, применяемыми в анализе больших данных, включая MapReduce, рабочие потоки, массовый синхронный параллелизм, передачу сообщений и SQL-подобные модели. В главах книги описаны примеры использования фреймворков Hadoop, Spark, Storm и MPI и рассмотрены вопросы выбора среды, наиболее подходящей для достижения целевых задач приложения.
Книга предназначена разработчикам приложений для работы с большими данными, исследователям и профессионалам бизнеса, основанного на данных. Читатель должен хорошо владеть такими языками, как Java, Python или Scala, и знать основные концепции параллельного и распределенного программирования.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Доминико Талия, Паоло Трунфио, Фабрицио Мароццо, Лорис Белькастро, Риккардо Кантини и Алессио Орсино Большие данные
Domenico Talia, Paolo Trunfio, Fabrizio Marozzo, Loris Belcastro, Riccardo Cantini & Alessio Orsino University of Calabria, Italy Programming Big Data Applications Scalable Tools and Frameworks for Your Needs NEW JERSEY • LONDON • SINGAPORE • BEIJING • SHANGHAI • HONG KONG • TAIPEI • CHENNAI • TOKYO
Доминико Талия, Паоло Трунфио, Фабрицио Мароццо, Лорис Белькастро, Риккардо Кантини и Алессио Орсино Университет Калабрии, Италия Большие данные Современные фреймворки и разработка приложений Москва, 2025
УДК 004.6:004.655 ББК 16.35 П78 Талия Д., Трунфио П., Мароццо Ф., Белькастро Л., Кантини Р. и Орсино А. П78 Большие данные. Современные фреймворки и разработка приложений / пер. с англ. А. В. Логунова. – М.: ДМК Пресс, 2025. – 272 с.: ил. ISBN 978-5-93700-358-4 В книге рассматриваются модели, системы и фреймворки, специально разработанные для обработки и анализа больших наборов данных. Вы познакомитесь с основными парадигмами и механизмами, применяемыми в анализе больших данных, включая MapReduce, рабочие потоки, массовый синхронный параллелизм, передачу сообщений и SQL-подобные модели. В главах книги описаны примеры использования фреймворков Hadoop, Spark, Storm и MPI и рассмотрены вопросы выбора среды, наиболее подходящей для достижения целевых задач приложения. Книга предназначена разработчикам приложений для работы с большими данными, исследователям и профессионалам бизнеса, основанного на данных. Читатель должен хорошо владеть такими языками, как Java, Python или Scala, и знать основные концепции параллельного и распределенного программирования. УДК 004.6:004.655 ББК 16.35 All rights reserved. This book, or parts thereof, may not be reproduced in any form or by any means, electronic or mechanical, including photocopying, recording or any information storage and retrieval system now known or to be invented, without written permission from the Publisher. Russian translation arranged with World Scientific Publishing Co Pte Ltd, Singapore. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-1-80061-504-5 (англ.) Copyright © 2024 by World Scientific Publishing Co Pte Ltd ISBN 978-5-93700-358-4 (рус.) © Перевод, оформление, издание, ДМК Пресс, 2025
Посвящается нашим студентам
Содержание От издательства.........................................................................................................9 Предисловие.............................................................................................................10 Об авторах.................................................................................................................11 Признательности.....................................................................................................13 Глава 1. Введение....................................................................................................14 1.1. Мотивация и цели...............................................................................................14 1.2. Главные темы......................................................................................................16 1.3. Аудитория и организация..................................................................................17 1.4. Онлайновые ресурсы.........................................................................................18 Глава 2. Концепции больших данных.............................................................19 2.1. Принципы и характеристики больших данных.............................................19 2.2. Концепции науки о данных..............................................................................22 2.2.1. Процессы науки о данных..........................................................................24 2.2.2. Навыки, специфичные для науки о данных............................................26 2.3. Хранение больших данных...............................................................................28 2.3.1. MongoDB.......................................................................................................30 2.3.2. Google Bigtable.............................................................................................32 2.3.3. HBase.............................................................................................................33 2.3.4. Redis...............................................................................................................34 2.3.5. DynamoDB.....................................................................................................35 2.3.6. Apache Cassandra.........................................................................................36 2.3.7. Графовая система управления базами данных Neo4j............................37 2.3.8. Сводные соображения о хранилищах NoSQL..........................................38 2.4. Масштабируемый анализ данных....................................................................41 2.5. Параллельные вычисления...............................................................................45 2.5.1. Базовые понятия и определения..............................................................45 2.5.2. Параллельные архитектуры.......................................................................46 2.5.3. Аппаратные платформы............................................................................48 2.5.4. Метрики производительности..................................................................50 2.6. Облачные вычисления.......................................................................................51 2.6.1. Модели распределения и развертывания облачных услуг....................52 2.6.2. Облачные услуги для больших данных....................................................54 2.7. На пути к экзафлопсным вычислениям..........................................................59
Содержание 7 2.7.1. Главные трудности систем экзафлопсного масштаба............................61 2.8. Параллельное и распределенное машинное обучение.................................63 2.8.1. Стратегии параллельного обучения.........................................................64 2.8.2. Стратегии распределенного обучения.....................................................67 Глава 3. Модели программирования для больших данных....................72 3.1. Параллельное программирование для приложений по обработке больших данных.........................................................................................................72 3.1.1. Необходимость в моделях параллельного программирования...........73 3.1.2. Характеристики моделей программирования.......................................73 3.2. Модель на основе MapReduce............................................................................74 3.2.1. Ключевые идеи, положенные в основу MapReduce................................75 3.2.2. Модель программирования.......................................................................75 3.2.3. Программы MapReduce...............................................................................76 3.2.4. Применения и соображения о производительности.............................79 3.3. Модель на основе рабочего потока..................................................................81 3.3.1. Шаблоны рабочих потоков.........................................................................82 3.3.2. Ориентированные ациклические графы.................................................84 3.4. Модель на основе передачи сообщений..........................................................85 3.4.1. От коллективной памяти к передаче сообщений...................................86 3.4.2. Примитивы передачи сообщений............................................................87 3.4.3. Групповая коммуникация..........................................................................89 3.5. Модель на основе массового синхронного параллелизма...........................90 3.5.1. Супершаг.......................................................................................................91 3.5.2. Стоимость алгоритма массового синхронного параллелизма.............93 3.5.3. Модель на основе массового синхронного параллелизма с коллективной памятью.......................................................................................94 3.6. SQL-подобная модель........................................................................................96 3.6.1. От модели NoSQL к SQL-подобной модели.............................................96 3.6.2. Зачем использовать язык SQL на больших данных?..............................97 3.6.3. Разбиение данных на разделы..................................................................99 3.7. Модель на основе разделенного глобального адресного пространства.....99 3.7.1. Параллелизм в модели на основе разделенного глобального адресного пространства......................................................................................101 3.7.2. Память и функция стоимости..................................................................101 3.7.3. Распределение данных по местам..........................................................102 3.8. Модели для систем экзафлопсного масштаба..............................................102 3.8.1. Роль моделей программирования в системах экзафлопсного масштаба................................................................................................................103 3.8.2. Требования к моделям экзафлопсного масштаба................................104 3.8.3. Ограничения существующих моделей программирования...............104 3.8.4. Модели программирования для систем экзафлопсного масштаба.....106 Глава 4. Инструменты обработки больших данных.................................109 4.1. Главные характеристики.................................................................................109 4.2. Инструменты программирования на основе модели MapReduce.............110
8 Содержание 4.2.1. Apache Hadoop............................................................................................111 4.3. Инструменты программирования на основе рабочих потоков................120 4.3.1. Apache Spark...............................................................................................121 4.3.2. Apache Storm..............................................................................................134 4.3.3. Apache Airflow............................................................................................145 4.4. Инструменты программирования на основе передачи сообщений.........154 4.4.1. Интерфейс передачи сообщений............................................................154 4.5. Инструменты программирования на основе массового синхронного параллелизма....................................................................................161 4.5.1. Spark GraphX...............................................................................................161 4.6. Инструменты SQL-подобного программирования.....................................169 4.6.1. Apache Hive.................................................................................................170 4.6.2. Apache Pig...................................................................................................176 4.7. Инструменты программирования на основе разделенного глобального адресного пространства....................................................................182 4.7.1. UPC++...........................................................................................................183 Глава 5. Сравнение инструментов программирования...........................190 5.1. Перед проведением анализа инструментов.................................................190 5.2. Сравнительный анализ характеристик систем............................................191 5.2.1. Характеристики систем............................................................................191 5.2.2. Распространенность систем....................................................................195 5.2.3. Преимущества и недостатки...................................................................197 5.3. Сравнительный анализ на примерах приложений.....................................199 5.3.1. Пакетное приложение: Apache Spark в сопоставлении с Apache Hadoop....................................................................................................199 5.3.2. Потоковое приложение: Apache Storm в сопоставлении с Apache Spark Streaming.....................................................................................212 5.3.3. Приложение на основе SQL: Apache Hive в сопоставлении с Apache Spark SQL................................................................................................221 5.3.4. Графовое приложение: MPI в сопоставлении с Apache Spark GraphX....................................................................................................................229 Глава 6. Выбор правильного фреймворка для приручения больших данных...................................................................................................243 6.1. Входные данные................................................................................................244 6.2. Класс приложения............................................................................................246 6.3. Инфраструктура................................................................................................248 6.4. Другие факторы................................................................................................251 Сопутствующие материалы...............................................................................253 Библиография........................................................................................................254 Предметный указатель.......................................................................................262
От издательства Отзывы и пожелания Мы всегда рады отзывам наших читателей. Расскажите нам, что вы думаете об этой книге – что понравилось или, может быть, не понравилось. Отзывы важны для нас, чтобы выпускать книги, которые будут для вас максимально полезны. Вы можете написать отзыв на нашем сайте www.dmkpress.com, зайдя на страницу книги и оставив комментарий в разделе «Отзывы и рецензии». Также можно послать письмо главному редактору по адресу dmkpress@gmail. com; при этом укажите название книги в теме письма. Если вы являетесь экспертом в какой-либо области и заинтересованы в написании новой книги, заполните форму на нашем сайте по адресу http:// dmkpress.com/authors/publish_book/ или напишите в издательство по адресу dmkpress@gmail.com. Список опечаток Хотя мы приняли все возможные меры для того, чтобы обеспечить высокое качество наших текстов, ошибки все равно случаются. Если вы найдете ошибку в одной из наших книг, мы будем очень благодарны, если вы сообщите о ней главному редактору по адресу dmkpress@gmail.com. Сделав это, вы избавите других читателей от недопонимания и поможете нам улучшить последующие издания этой книги. Нарушение авторских прав Пиратство в интернете по-прежнему остается насущной проблемой. Издательство «ДМК Пресс» очень серьезно относится к вопросам защиты авторских прав и лицензирования. Если вы столкнетесь в интернете с незаконной публикацией какой-либо из наших книг, пожалуйста, пришлите нам ссылку на интернет-ресурс, чтобы мы могли применить санкции. Ссылку на подозрительные материалы можно прислать по адресу электронной почты dmkpress@gmail.com. Мы высоко ценим любую помощь по защите наших авторов, благодаря которой мы можем предоставлять вам качественные материалы.
Предисловие В настоящей книге рассматриваются и обсуждаются модели, системы и фреймворки программирования, специально сконструированные для обработки и анализа крупных наборов данных. В частности, в ней дается подробное описание свойств и механизмов главных парадигм программирования, используемых в анализе больших данных, таких как модели на основе MapReduce, рабочих потоков, массового синхронного параллелизма, передачи сообщений и SQL-подобные. Более того, в главах книги на примерах программирования описаны наиболее часто используемые фреймворки, такие как Hadoop, Spark, Storm и MPI, специально сконструированные для анализа крупных коллекций данных. Мировая путина, интернет вещей и платформы социальных сетей обеспечивают условия для порождения и сбора огромных объемов цифровых данных, поступающих из самых разных источников, включая блоги, датчики, мобильные устройства, носимые трекеры, спутники и камеры наблюдения. Эти данные, общепринято именуемые «большими данными», бросают вызов существующим системам и способностями по хранению, обработке и анализу. По этой причине в настоящее время изучаются, конструируются, разрабатываются и внедряются новые модели, языки, инструменты, системы и алгоритмы, способные эффективно собирать, хранить и анализировать большие данные, а также усваивать из них полезную информацию. В этой книге описывается и приводится обзор параллельных и распределенных парадигм, языков и систем, используемых сегодня для анализа больших данных и усвоения из них действенной информации на масштабируемых компьютерах. В частности, в ней дается подробное описание свойств и механизмов главных парадигм параллельного программирования, а на примерах программирования иллюстрируются наиболее широко используемые фреймворки, предназначенные для анализа больших данных. Более того, в книге обсуждаются и сравниваются разные фреймворки, выделяются главные характеристики каждого из них, их распространенность (сообщество разработчиков и пользователей), а также главные преимущества и недостатки их использования в реализации приложений по анализу больших данных. Конечная цель данного тома – помочь конструкторам и разработчикам приложений по обработке больших данных, определив и выбрав наилучший или наиболее подходящий инструмент(ы) программирования в зависимости от их навыков, наличия оборудования, областей применения и целей, а также учитывая поддержку, предоставляемую сообществом разработчиков. По каждому языку программирования/фреймворку представлены реально-практические примеры программирования, демонстрирующие способы разработки и реализации приложений по обработке больших данных.