Потоковая обработка данных. Конвейер реального времени
Покупка
Новинка
Тематика:
Системы управления базами данных (СУБД)
Издательство:
ДМК Пресс
Автор:
Пселтис Эндрю Дж.
Перевод:
Слинкин Алексей Александрович
Год издания: 2018
Кол-во страниц: 219
Возрастное ограничение: 12+
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Дополнительное профессиональное образование
ISBN: 978-5-97060-606-3
Артикул: 882668.01.99
Эта насыщенная идеями книга научит вас думать об эффективном взаимодействии с быстрыми потоками данных. В ней выдержан идеальный баланс между широкой картиной и деталями реализации. На содержательных примерах и практических задачах вы узнаете о проектировании приложений, которые читают, анализируют, разделяют и сохраняют потоковые данные. Попутно вы поймете, какую роль играют такие технологии, как Spark, Storm, Kafka, Flink, RabbitMQ и другие.
Издание ориентировано на разработчиков, знакомых с концепциями реляционных баз данных.
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Эндрю Дж. Пселтис Потоковая обработка данных Конвейер реального времени
M A N N I N G SHELTER ISLAND Streaming Data UNDERSTANDING THE REAL-TIME PIPELINE ANDREW G. PSALTIS
Москва, 2018 Потоковая обработка данных КОНВЕЙЕР РЕАЛЬНОГО ВРЕМЕНИ ЭНДРЮ ДЖ. ПСЕЛТИС
УДК 004.6
ББК 32.972.13
П86
П86 Эндрю Дж. Пселтис
Потоковая обработка данных. Конвейер реального времени / пер. с англ.
А. А. Слинкин – М.: ДМК Пресс, 2018. – 218 с.: ил.
ISBN 978-5-97060-606-3
Эта насыщенная идеями книга научит вас думать об эффективном взаимодействии с быстрыми потоками данных. В ней выдержан идеальный баланс между широкой картиной и деталями реализации. На содержательных
примерах и практических задачах вы узнаете о проектировании приложений, которые читают, анализируют, разделяют и сохраняют потоковые данные. Попутно вы поймете, какую роль играют такие технологии, как Spark,
Storm, Kafka, Flink, RabbitMQ и другие.
Издание ориентировано на разработчиков, знакомых с концепциями
реляционных баз данных.
УДК 004.6
ББК 32.972.13
Original English language edition published by Manning Publications USA, USA.
Copyright © 2017 by Manning Publications. Russian language edition copyright © 2016 by
DMK Press. All rights reserved.
Все права защищены. Любая часть этой книги не может быть воспроизведена
в какой бы то ни было форме и какими бы то ни было средствами без письменного
разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но, поскольку
вероятность технических ошибок все равно существует, издательство не может гарантировать абсолютную точность и правильность приводимых сведений. В связи
с этим издательство не несет ответственности за возможные ошибки, связанные с
использованием книги.
ISBN 978-1-61729-228-6 (англ.) Copyright © 2017 by Manning Publications Co.
ISBN 978-5-97060-606-3 (рус.) © Оформление, перевод на русский язык,
издание, ДМК Пресс, 2018
Архитектурная диаграмма потоковой обработки данных Long term storage In-memory data store Analysis tier Message queuing tier Collection tier Data access tier We will not be covering this in detail. But you may want to persist analyzed data for future use. Sometimes we need to reach back to get data that has just been analyzed. Browser, device, vending machine, etc. Browser, device, vending machine, etc. Браузер, мобильное устройство, торговый автомат и т. д. Иногда необходимо вернуться к получению только что проанализированных данных Звено сбора данных Звено очереди сообщений Звено анализа Хранилище данных в памяти Звено доступа к данным Браузер, мобильное устройство, торговый автомат и т. д. Долговременное хранилище Этот аспект мы не будем рассматривать детально. Но иногда требуется сохранить проанализированные данные для использования в будущем
Оглавление Архитектурная диаграмма потоковой обработки данных.................................5 Предисловие.......................................................................................................9 Благодарности..................................................................................................11 Об этой книге....................................................................................................12 Как работать с книгой?...................................................................................12 Кому стоит прочитать эту книгу?...................................................................12 Структура книги..............................................................................................13 О коде...............................................................................................................14 Об авторе..........................................................................................................14 Автор в сети.....................................................................................................15 Об иллюстрации на обложке..........................................................................15 Часть I. Новый целостный подход.................................................................17 Глава 1. Введение в потоковую обработку данных....................................19 1.1. Что такое система реального времени?..................................................20 1.2. Различия между системами реального времени и потоковыми системами..................................................................................................23 1.3. Архитектурная диаграмма.......................................................................25 1.4. Безопасность в контексте потоковых систем.........................................27 1.5. Как производится масштабирование?....................................................27 1.6. Резюме.......................................................................................................29 Глава 2. Получение данных от клиентов: внесение данных.....................31 2.1. Типичные паттерны взаимодействия.....................................................31 2.1.1. Запрос-ответ.................................................................................................32 2.1.2. Паттерн запрос-подтверждение.................................................................36 2.1.3. Паттерн издатель-подписчик.....................................................................37 2.1.4. Паттерн одностороннего взаимодействия.................................................39 2.1.5. Паттерн поток..............................................................................................40 2.2. Масштабирование паттернов взаимодействия......................................42 2.2.1. Паттерны запрос-ответ................................................................................43 2.2.2. Масштабирование паттерна поток.............................................................44 2.3. Отказоустойчивость.................................................................................46 2.3.1. Протоколирование сообщений на стороне получателя ...........................48 2.3.2. Протоколирование сообщений на стороне отправителя .........................51 2.3.3. Гибридное протоколирование сообщений.................................................52 2.4. Опустимся на грешную землю.................................................................54 2.5. Резюме.......................................................................................................55 Глава 3. Транспортировка данных из звена сбора данных: расчленение конвейера данных....................................................................56
Оглавление 7 3.1. Зачем нужно звено очереди сообщений.................................................56 3.2. Основные концепции...............................................................................58 3.2.1. Производитель, брокер и потребитель.......................................................59 3.2.2. Изоляция производителей от потребителей..............................................61 3.2.3. Долговечные сообщения.............................................................................62 3.2.4. Семантика доставки сообщений.................................................................65 3.3. Безопасность.............................................................................................69 3.4. Отказоустойчивость.................................................................................70 3.5. Применение базовых концепций в конкретных задачах......................73 3.6. Резюме.......................................................................................................75 Глава 4. Анализ потоковых данных...............................................................77 4.1. Анализ данных в движении.....................................................................77 4.2. Архитектуры распределенной обработки потоков................................82 4.3. Ключевые функции систем потоковой обработки.................................88 4.3.1. Семантика доставки сообщений.................................................................89 4.4. Резюме.......................................................................................................96 Глава 5. Алгоритмы анализа данных.............................................................97 5.1. Ограничения и их ослабление.................................................................98 5.2. К вопросу о времени.................................................................................99 5.2.1. Скользящее окно........................................................................................101 5.2.2. Прыгающие окна........................................................................................103 5.3. Методы обобщения.................................................................................106 5.3.1. Случайная выборка....................................................................................106 5.3.2. Подсчет уникальных элементов................................................................108 5.3.3. Частота........................................................................................................111 5.3.4. Вопрос о вхождении...................................................................................113 5.4. Резюме.....................................................................................................115 Глава 6. Сохранение результатов сбора или анализа данных................116 6.1. Когда нужно долговременное хранилище............................................ 118 6.2. Хранение данных в памяти....................................................................120 6.2.1. Встраиваемые хранилища в памяти с оптимизацией для флеш-памяти........................................................................................121 6.2.2. Система кэширования...............................................................................123 6.2.3. Базы данных и решетки данных в памяти...............................................127 6.3. Примеры и упражнения.........................................................................130 6.3.1. Сеансовая персонализация.......................................................................130 6.3.2. Энергетическая компания следующего поколения.................................134 6.4. Резюме.....................................................................................................135 Глава 7. Получение доступа к данным........................................................136 7.1. Паттерны взаимодействия.....................................................................137 7.1.1. Паттерн Data Sync.......................................................................................137 7.1.2. Удаленный вызов метода и удаленный вызов процедуры......................139 7.1.3. Простой обмен сообщениями....................................................................140 7.1.4. Издатель-подписчик..................................................................................141
8 Оглавление 7.2. Протоколы отправки данных клиентам................................................ 142 7.2.1. Веб-уведомления........................................................................................143 7.2.2. Длинный HTTP-опрос................................................................................144 7.2.3. События, посылаемые сервером...............................................................146 7.2.4. Веб-сокеты..................................................................................................150 7.3. Фильтрация потока.................................................................................154 7.3.1. Где производится фильтрация..................................................................154 7.3.2. Статическая и динамическая фильтрации...............................................155 7.4. Пример: построение потокового API для сайта Meetup....................... 156 7.5. Резюме.....................................................................................................158 Глава 8. Возможности конечных устройств и ограничения доступа к данным...........................................................................................160 8.1. Основные концепции.............................................................................162 8.1.1. Достаточная скорость чтения....................................................................163 8.1.2. Запоминание состояния............................................................................166 8.1.3. Смягчение последствий потери данных..................................................168 8.1.4. Обработка ровно один раз.........................................................................170 8.2. Все по-настоящему: компания SuperMediaMarkets.............................. 172 8.3. Введение в веб-клиент...........................................................................176 8.3.1. Интеграция со службой потокового API...................................................178 8.4. На пути к языку запросов.......................................................................180 8.5. Резюме.....................................................................................................181 Часть II. Потоки в реальном мире................................................................182 Глава 9. Анализ приглашений Meetup.com в режиме реального времени............................................................................................................183 9.1. Звено сбора данных................................................................................185 9.1.1. Диаграмма последовательности службы сбора данных..........................185 9.2. Звено очереди сообщений......................................................................195 9.2.1. Установка и настройка Kafka.....................................................................195 9.2.2. Интеграция службы сбора данных с Kafka...............................................196 9.3. Звено анализа..........................................................................................198 9.3.1. Установка Storm и подготовка Kafka.........................................................199 9.3.2. Построение топологии Storm для нахождения n самых популярных тем..........................................................................................200 9.3.3. Интеграция звена анализа в конвейер.....................................................207 9.4. Хранилище данных в памяти.................................................................207 9.5. Звено доступа к данным.........................................................................208 9.5.1. На пути к производственному режиму....................................................213 9.6. Резюме.....................................................................................................213 Предметный указатель..................................................................................214
Предисловие Сколько себя помню, я всегда приходил в восторг от скорости обработки данных компьютером и стремился найти способ, как решить задачу быстрее. В конце 1990-х годов я в основном занимался программированием на C++ и моим любимым ключевым словом было __asm, означающее, что «следующий далее блок написан на языке Ассемблера». Я понимал, что происходит на машинном уровне. В начале 2000-х я работал над программным обеспечением мобильных устройств, и тогда снова стал актуальным вопрос, как быстрее синхронизировать данные или ускорить работу устройств PalmPilot и Windows CE? В то время мы имели дело с гигантскими (по тогдашним меркам, конечно) медицинскими базами данных (объемом 25–50 МБ), для хранения которых в PalmPilot нужно было вставлять внешнюю карту памяти, и разрабатывали приложения, которые должны были обеспечить быстрый интерактивный поиск и просмотр этих данных. По мере роста объемов данных в интересующих меня отраслях я оказался в точке, где большие наборы данных сталкиваются с необходимостью их быстрой обработки для понимания сути дела. Данные генерировались во все ускоряющемся темпе, а бизнес хотел все быстрее получать ответы на вопросы, связанные с этими данными. Как раз то, что мне было надо: большие данные и жажда скорости. Где-то в 2001 году я начал работать над приложениями для анализа рынка и электронной коммерции, когда данные непрерывно обновлялись, а нам нужно было извлекать из них смысл почти в режиме реального времени. В 2009 году я перешел в компанию Webtrends, где моя любовь к скорости и своевременной обработке данных достигла зрелости. Основным бизнесом Webtrends была аналитика, и наши идеи, касающиеся аналитики в реальном времени, как раз стали вызывать интерес у заказчиков. Первый проект, над которым я работал, заключался в том, чтобы выводить ключевые показатели на информационную панель с задержкой не более пяти минут относительно потока данных о событиях на сайте, где бы они не происходили. В то время это выходило за рамки обыденности. В 2011 году я вошел в группу разработки новых продуктов. Нашей задачей было и дальше продвигать идею аналитики в реальном времени и попытаться взорвать нашу отрасль изнутри. Мы потратили уйму времени на исследования, создание прототипа и обдумывание следующего шага, и тут случился идеальный шторм. Мы уже поглядывали в сторону Apache Kafka, когда в сентябре 2011-го был открыт исходный код Apache Storm. Мы тут же набросились на него с бешеным энтузиазмом. Уже зимой мы продемонстрировали то, чем занимались, нескольким заинтересованным
10 Предисловие клиентам. В то время мы не оглядывались назад и всецело сосредоточились на выполнении соглашения об уровне услуг (Service Level Agreement, SLA), звучавшем примерно так: «от щелчка мышью в любой точке света до информационной панели – три секунды!» Спустя много месяцев труда куда большей по размеру командой мы выполнили свое обещание, и нас признали технологией года в области цифровой аналитики (Digital Analytics New Technology of the Year – www.digitalanalyticsassociation.org/ awards2013). Я был поглощен архитектурным проектированием и разработкой всех аспектов этого решения – от сбора данных до первого варианта пользовательского интерфейса (который ласково называл «голым скелетом», поскольку опыта в области построения UI у меня не было). Мы не оставили свое увлечение и начали знакомиться с технологией Spark Streaming, когда она еще не вышла за стены Berkley AMPLab. С той поры я занимаюсь созданием все новых потоковых систем, стремясь к тому, чтобы полезная информация извлекалась из данных со скоростью мысли. Я выступаю на международных конференциях по этой тематике и работаю с компаниями по всему миру, помогая им проектировать и разрабатывать системы, решающие проблемы потоковой обработки данных. Даже сегодня не все хорошо понимают, из каких частей состоит потоковая система. Найти информацию об отдельных компонентах нетрудно, но четкое понимание того, как устроен весь конвейер и как связаны между собой его звенья, встречается редко. Поэтому я с огромным удовольствием попытался поделиться в этой книге своим практическим опытом и знаниями. Моя цель – предложить прочный фундамент, на котором можно строить и исследовать полноценные потоковые системы.