Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Apache Arrow: обработка больших данных в оперативной памяти

Покупка
Новинка
Артикул: 890586.01.99
Доступ онлайн
1 999 ₽
В корзину
Платформа Apache Arrow фактически является стандартом ускоренной обработки табличных данных в памяти. Она поддерживает десятки языков программирования и все чаще служит основой для создания новых систем обработки данных и баз данных. В книге подробно описан принцип работы платформы и выделено множество разнообразных компонентов, которые пользователь Arrow может применять для ускорения или упрощения своего приложения. Опираясь на примеры кода, пояснения и схемы, вы научитесь интегрировать источники данных с библиотеками Python DataFrame, такими как pandas или NumPy, и использовать Arrow Flight для создания эффективных сервисов обработки данных. Издание предназначено разработчикам и специалистам по анализу и обработке данных, желающим изучить возможности Apache Arrow с нуля, а также будет полезно инженерам, которые создают механизмы запросов и работают с данными.
25
27
77
79
123
125
157
159
195
222
254
288
324
351
365
394
Топол, М. Apache Arrow: обработка больших данных в оперативной памяти : практическое пособие / М. Топол ; пер. с англ. А. В. Снастина. – Москва : ДМК Пресс, 2025. - 412 с. – ISBN 978-5-93700-273-0. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2274656 (дата обращения: 20.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Мэтью Топол
Apache Arrow:  
обработка больших данных 
в оперативной памяти


In-Memory Analytics  
with Apache Arrow
Matthew Topol
BIRMINGHAM–MUMBAI
2nd edition


Apache Arrow:  
обработка больших данных 
в оперативной памяти
Мэтью Топол
Москва, 2025
Второе издание


УДК 004.65:004.451Apache Arrow
ББК  16.35
Т58
Мэтью Топол
Т58 
Apache Arrow: обработка больших данных в оперативной памяти  / 
пер. с англ. А. В. Снастина. – М.: ДМК Пресс, 2025. – 410 с.: ил.
ISBN 978-5-93700-273-0
Платформа Apache Arrow фактически является стандартом ускоренной обработки табличных данных в памяти. Она поддерживает десятки языков программирования и все чаще служит основой для создания новых систем обработки 
данных и баз данных. В книге подробно описан принцип работы платформы 
и выделено множество разнообразных компонентов, которые пользователь 
Arrow может применять для ускорения или упрощения своего приложения. 
Опираясь на примеры кода, пояснения и схемы, вы научитесь интегрировать 
источники данных с библиотеками Python DataFrame, такими как pandas или 
NumPy, и использовать Arrow Flight для создания эффективных сервисов обработки данных. 
Издание предназначено разработчикам и специалистам по анализу и обработке данных, желающим изучить возможности Apache Arrow с нуля, а также 
будет полезно инженерам, которые создают механизмы запросов и работают 
с данными.
УДК 004.65:004.451Apache Arrow
ББК 16.35
First published in the English language under the title «In-Memory Analytics with Apache 
Arrow» – (9781801071031).
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой 
бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
Copyright ©Packt Publishing 2022
©  Оформление, издание, перевод, ДМК Пресс, 2025
ISBN  (анг.) 978-1-80107-103-1
ISBN  (рус.) 978-5-93700-273-0


Посвящается моей семье Кэт и Хейли  
за их терпение в течение всего времени,  
пока я писал эту книгу.
Также посвящается Логану и Пенни,  
моим постоянным коллегам по кодированию нечеткой логики,  
которые помогли мне пройти через многие препятствия.  
Счастливые воспоминания.




Оглавление
Предисловие от издательства......................................................... 14
Вступительное слово........................................................................ 15
Об авторе............................................................................................ 16
О рецензентах.................................................................................... 17
Предисловие...................................................................................... 18
РАЗДЕЛ 1. ОБЩИЙ ОБЗОР APACHE ARROW,  
ЕГО ВОЗМОЖНОСТЕЙ, ПРЕИМУЩЕСТВ И ЦЕЛЕЙ.............. 25
Глава 1. Начинаем работу с Apache Arrow..................................... 27
Технические требования..................................................................................28
Изучение формата и спецификаций Arrow.....................................................28
Почему Arrow использует формат с представлением данных  
в памяти по столбцам.......................................................................................33
Изучение терминологии и схемы распределения физической памяти........36
Краткий обзор схем размещения в физической памяти, или TL;DR........38
Массивы фиксированной длины со значениями простейшего типа.......39
Двоичные массивы с переменной длиной..............................................40
Массивы двоичного представления с переменной длиной...................41
Массивы типа «список» и «список фиксированного размера»..............44
Массивы ListView......................................................................................46
Массивы типа «структура».......................................................................47
Массивы типа Union – разреженные и плотные......................................48
Массивы, кодируемые как словари..........................................................50
Массивы с методом кодирования Run-End.............................................51
Null-массивы.............................................................................................54
Как объясняться с Arrow...............................................................................54
Управление версиями и стабильность формата Arrow..................................56
Нужно ли загружать библиотеку? Конечно, нужно.........................................57
Настройка сферы деятельности.......................................................................58
Использование pyarrow для Python.............................................................58
Изучение основ использования pyarrow.................................................59
Создание массива структур......................................................................61
Использование пакетов записей и операций  
с нулевым копированием.........................................................................63


Обработка отсутствующих значений......................................................65
Упражнение для самостоятельного выполнения...................................65
C++ для 1337-кодеров....................................................................................65
Технические требования для использования C++..................................65
Изучение основ использования библиотеки C++...................................67
И снова создание массива структур.........................................................69
Упражнение для самостоятельного выполнения...................................72
Arrow и Go – начинаем..................................................................................72
И снова создаем массив структур............................................................75
Упражнение для самостоятельного выполнения 
(да, опять то же самое)..............................................................................77
Резюме...............................................................................................................77
Ссылки на материалы и ресурсы, упоминаемые в главе 1.............................77
Глава 2. Использование основных  
спецификаций Arrow......................................................................... 79
Технические требования..................................................................................79
Работа с данными независимо от места их расположения............................80
Работа с таблицами Arrow............................................................................81
Доступ к файлам данных с использованием PyArrow................................83
Работа с CSV-файлами в PyArrow.............................................................87
Работа с файлами JSON в PyArrow...........................................................91
Работа с файлами ORC в PyArrow.............................................................92
Работа с файлами Apache Parquet в PyArrow...........................................93
Доступ к файлам данных с использованием Arrow на языке C++.............94
Работа с файлами данных CSV с использованием Arrow  
на языке C++..............................................................................................94
Работа с файлами данных JSON с использованием Arrow  
на языке C++..............................................................................................99
Работа с файлами данных ORC с использованием Arrow  
на языке C++..............................................................................................99
Работа с файлами данных Parquet с использованием Arrow  
на языке C++............................................................................................101
Панды запускают Arrow..................................................................................103
Добавление pandas в личный арсенал.......................................................103
Ускоряем работу pandas..............................................................................107
Сохранение контроля над pandas..............................................................109
Белые медведи используют «стрелы с ржавчиной»..................................112
Делиться – значит заботиться... особенно если это ваша память...............114
Управление памятью..................................................................................114
C++............................................................................................................115
Python......................................................................................................116
Golang.......................................................................................................117
Управление буферами для повышения производительности.................118
Пересекая границы.....................................................................................120
Резюме.............................................................................................................123
8   
Оглавление


Глава 3. Формат и работа с оперативной памятью...................125
Технические требования................................................................................126
Сравнение форматов хранения, форматов представления  
в памяти во время выполнения и форматов передачи сообщений............126
Форматы долговременного хранения.......................................................126
Форматы данных в памяти во время выполнения...................................129
Форматы передачи сообщений..................................................................132
Подведем краткие итоги............................................................................133
Передаем данные Arrow во всех направлениях............................................133
Что же это за волшебство?!.........................................................................134
Производство и потребление данных Arrow.............................................138
Изучение картографии памяти......................................................................141
Базовый вариант.........................................................................................142
Сравнение Parquet и CSV............................................................................143
Отображение данных в память..................................................................144
Компьютеры — это магия, или TL;DR........................................................148
Виртуальное и физическое пространство памяти................................149
Что именно делает отображение в память............................................150
Отображение в память не самое идеальное решение..........................152
Оставим в покое ЦП – воспользуемся памятью устройства........................154
Начнем с нескольких указателей...............................................................155
Работа с буфером независимо от конкретного устройства......................156
Резюме.............................................................................................................157
РАЗДЕЛ 2. ВЗАИМОДЕЙСТВИЕ С ARROW:  
МОЩЬ ОТКРЫТЫХ СТАНДАРТОВ..........................................159
Глава 4. Расширение возможностей языков  
программирования с помощью Arrow C Data API.....................161
Технические требования................................................................................162
Использование интерфейса Arrow C Data.....................................................162
Структура ArrowSchema................................................................................164
Формат типа данных...............................................................................165
Схема кодирования метаданных...........................................................168
О типе расширения.....................................................................................169
Структура ArrowArray.................................................... 170
Примеры вариантов использования.............................................................172
Использование C Data API для экспорта данных в формате Arrow.........172
Импорт данных Arrow с использованием Python.....................................175
Экспорт данных Arrow с использованием C Data API из Python в Go.....176
Создание совместно используемой библиотеки на языке Go.............177
Создание расширения Python из библиотеки Go.................................179
Организация потока данных через C Data API.............................................181
Кое-что о данных на устройстве, отличающемся от ЦП...............................185
Структура ArrowDeviceArray........................................ 185
Использование структуры ArrowDeviceArray............................................188
Оглавление    9


Другие варианты использования...................................................................192
Несколько упражнений...................................................................................193
Резюме.............................................................................................................194
Глава 5. Acero: механизм потоковой обработки Arrow.............195
Технические требования................................................................................196
Пусть Acero работает за вас............................................................................196
Формирование входных данных................................................................196
Приведение типа значения........................................................................197
Типы функций в Acero................................................................................197
Агрегации................................................................................................197
Поэлементные или скалярные функции...............................................198
Векторные функции для работы с массивом........................................198
Вызов функций................................................................................................199
Использование вычислительной библиотеки C++....................................199
Пример 1 – сложение скалярного значения с массивом......................199
Пример 2 – агрегирующая функция min_max....................... 202
Пример 3 – сортировка таблицы данных..............................................202
Использование вычислительной библиотеки в коде Python...................203
Пример 1 – сложение скалярного значения с массивом......................203
Пример 2 – агрегирующая функция min_max.........................................204
Пример 3 – сортировка таблицы данных..............................................204
Выбор правильных инструментов.................................................................205
Сложение значения-константы с массивом.............................................205
Применение функции Add для вычислений..........................................206
Простой цикл for.........................................................................................207
Использование цикла std::for_each с резервированием памяти..........207
Методика «разделяй и властвуй»...............................................................208
План нужен всегда...........................................................................................211
Где применять Acero?..................................................................................211
Основные концепции Acero.......................................................................212
ExecNode..................................................................................................213
ExecBatch.................................................................................................214
ExecPlan...................................................................................................215
Declaration...............................................................................................215
Начинаем обработку потоков....................................................................215
Упрощение сложности................................................................................218
Резюме.............................................................................................................222
Глава 6. Использование интерфейсов Arrow Datasets API.......224
Технические требования................................................................................225
Выполнение запросов к многофайловым наборам данных........................225
Создание примера набора данных............................................................227
Обнаружение фрагментов набора данных................................................229
Программная фильтрация данных................................................................231
Самовыражение – краткий обзор..............................................................231
Использование выражений для фильтрации данных..............................233
10   
Оглавление


Доступ онлайн
1 999 ₽
В корзину