Apache Arrow: обработка больших данных в оперативной памяти
Покупка
Новинка
Тематика:
Базы и банки данных. СУБД
Издательство:
ДМК Пресс
Автор:
Топол Мэтью
Перевод:
Снастин А. В.
Год издания: 2025
Кол-во страниц: 412
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-273-0
Артикул: 890586.01.99
Платформа Apache Arrow фактически является стандартом ускоренной обработки табличных данных в памяти. Она поддерживает десятки языков программирования и все чаще служит основой для создания новых систем обработки данных и баз данных. В книге подробно описан принцип работы платформы и выделено множество разнообразных компонентов, которые пользователь Arrow может применять для ускорения или упрощения своего приложения. Опираясь на примеры кода, пояснения и схемы, вы научитесь интегрировать источники данных с библиотеками Python DataFrame, такими как pandas или NumPy, и использовать Arrow Flight для создания эффективных сервисов обработки данных.
Издание предназначено разработчикам и специалистам по анализу и обработке данных, желающим изучить возможности Apache Arrow с нуля, а также будет полезно инженерам, которые создают механизмы запросов и работают с данными.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Мэтью Топол Apache Arrow: обработка больших данных в оперативной памяти
In-Memory Analytics with Apache Arrow Matthew Topol BIRMINGHAM–MUMBAI 2nd edition
Apache Arrow: обработка больших данных в оперативной памяти Мэтью Топол Москва, 2025 Второе издание
УДК 004.65:004.451Apache Arrow ББК 16.35 Т58 Мэтью Топол Т58 Apache Arrow: обработка больших данных в оперативной памяти / пер. с англ. А. В. Снастина. – М.: ДМК Пресс, 2025. – 410 с.: ил. ISBN 978-5-93700-273-0 Платформа Apache Arrow фактически является стандартом ускоренной обработки табличных данных в памяти. Она поддерживает десятки языков программирования и все чаще служит основой для создания новых систем обработки данных и баз данных. В книге подробно описан принцип работы платформы и выделено множество разнообразных компонентов, которые пользователь Arrow может применять для ускорения или упрощения своего приложения. Опираясь на примеры кода, пояснения и схемы, вы научитесь интегрировать источники данных с библиотеками Python DataFrame, такими как pandas или NumPy, и использовать Arrow Flight для создания эффективных сервисов обработки данных. Издание предназначено разработчикам и специалистам по анализу и обработке данных, желающим изучить возможности Apache Arrow с нуля, а также будет полезно инженерам, которые создают механизмы запросов и работают с данными. УДК 004.65:004.451Apache Arrow ББК 16.35 First published in the English language under the title «In-Memory Analytics with Apache Arrow» – (9781801071031). Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Copyright ©Packt Publishing 2022 © Оформление, издание, перевод, ДМК Пресс, 2025 ISBN (анг.) 978-1-80107-103-1 ISBN (рус.) 978-5-93700-273-0
Посвящается моей семье Кэт и Хейли за их терпение в течение всего времени, пока я писал эту книгу. Также посвящается Логану и Пенни, моим постоянным коллегам по кодированию нечеткой логики, которые помогли мне пройти через многие препятствия. Счастливые воспоминания.
Оглавление Предисловие от издательства......................................................... 14 Вступительное слово........................................................................ 15 Об авторе............................................................................................ 16 О рецензентах.................................................................................... 17 Предисловие...................................................................................... 18 РАЗДЕЛ 1. ОБЩИЙ ОБЗОР APACHE ARROW, ЕГО ВОЗМОЖНОСТЕЙ, ПРЕИМУЩЕСТВ И ЦЕЛЕЙ.............. 25 Глава 1. Начинаем работу с Apache Arrow..................................... 27 Технические требования..................................................................................28 Изучение формата и спецификаций Arrow.....................................................28 Почему Arrow использует формат с представлением данных в памяти по столбцам.......................................................................................33 Изучение терминологии и схемы распределения физической памяти........36 Краткий обзор схем размещения в физической памяти, или TL;DR........38 Массивы фиксированной длины со значениями простейшего типа.......39 Двоичные массивы с переменной длиной..............................................40 Массивы двоичного представления с переменной длиной...................41 Массивы типа «список» и «список фиксированного размера»..............44 Массивы ListView......................................................................................46 Массивы типа «структура».......................................................................47 Массивы типа Union – разреженные и плотные......................................48 Массивы, кодируемые как словари..........................................................50 Массивы с методом кодирования Run-End.............................................51 Null-массивы.............................................................................................54 Как объясняться с Arrow...............................................................................54 Управление версиями и стабильность формата Arrow..................................56 Нужно ли загружать библиотеку? Конечно, нужно.........................................57 Настройка сферы деятельности.......................................................................58 Использование pyarrow для Python.............................................................58 Изучение основ использования pyarrow.................................................59 Создание массива структур......................................................................61 Использование пакетов записей и операций с нулевым копированием.........................................................................63
Обработка отсутствующих значений......................................................65 Упражнение для самостоятельного выполнения...................................65 C++ для 1337-кодеров....................................................................................65 Технические требования для использования C++..................................65 Изучение основ использования библиотеки C++...................................67 И снова создание массива структур.........................................................69 Упражнение для самостоятельного выполнения...................................72 Arrow и Go – начинаем..................................................................................72 И снова создаем массив структур............................................................75 Упражнение для самостоятельного выполнения (да, опять то же самое)..............................................................................77 Резюме...............................................................................................................77 Ссылки на материалы и ресурсы, упоминаемые в главе 1.............................77 Глава 2. Использование основных спецификаций Arrow......................................................................... 79 Технические требования..................................................................................79 Работа с данными независимо от места их расположения............................80 Работа с таблицами Arrow............................................................................81 Доступ к файлам данных с использованием PyArrow................................83 Работа с CSV-файлами в PyArrow.............................................................87 Работа с файлами JSON в PyArrow...........................................................91 Работа с файлами ORC в PyArrow.............................................................92 Работа с файлами Apache Parquet в PyArrow...........................................93 Доступ к файлам данных с использованием Arrow на языке C++.............94 Работа с файлами данных CSV с использованием Arrow на языке C++..............................................................................................94 Работа с файлами данных JSON с использованием Arrow на языке C++..............................................................................................99 Работа с файлами данных ORC с использованием Arrow на языке C++..............................................................................................99 Работа с файлами данных Parquet с использованием Arrow на языке C++............................................................................................101 Панды запускают Arrow..................................................................................103 Добавление pandas в личный арсенал.......................................................103 Ускоряем работу pandas..............................................................................107 Сохранение контроля над pandas..............................................................109 Белые медведи используют «стрелы с ржавчиной»..................................112 Делиться – значит заботиться... особенно если это ваша память...............114 Управление памятью..................................................................................114 C++............................................................................................................115 Python......................................................................................................116 Golang.......................................................................................................117 Управление буферами для повышения производительности.................118 Пересекая границы.....................................................................................120 Резюме.............................................................................................................123 8 Оглавление
Глава 3. Формат и работа с оперативной памятью...................125 Технические требования................................................................................126 Сравнение форматов хранения, форматов представления в памяти во время выполнения и форматов передачи сообщений............126 Форматы долговременного хранения.......................................................126 Форматы данных в памяти во время выполнения...................................129 Форматы передачи сообщений..................................................................132 Подведем краткие итоги............................................................................133 Передаем данные Arrow во всех направлениях............................................133 Что же это за волшебство?!.........................................................................134 Производство и потребление данных Arrow.............................................138 Изучение картографии памяти......................................................................141 Базовый вариант.........................................................................................142 Сравнение Parquet и CSV............................................................................143 Отображение данных в память..................................................................144 Компьютеры — это магия, или TL;DR........................................................148 Виртуальное и физическое пространство памяти................................149 Что именно делает отображение в память............................................150 Отображение в память не самое идеальное решение..........................152 Оставим в покое ЦП – воспользуемся памятью устройства........................154 Начнем с нескольких указателей...............................................................155 Работа с буфером независимо от конкретного устройства......................156 Резюме.............................................................................................................157 РАЗДЕЛ 2. ВЗАИМОДЕЙСТВИЕ С ARROW: МОЩЬ ОТКРЫТЫХ СТАНДАРТОВ..........................................159 Глава 4. Расширение возможностей языков программирования с помощью Arrow C Data API.....................161 Технические требования................................................................................162 Использование интерфейса Arrow C Data.....................................................162 Структура ArrowSchema................................................................................164 Формат типа данных...............................................................................165 Схема кодирования метаданных...........................................................168 О типе расширения.....................................................................................169 Структура ArrowArray.................................................... 170 Примеры вариантов использования.............................................................172 Использование C Data API для экспорта данных в формате Arrow.........172 Импорт данных Arrow с использованием Python.....................................175 Экспорт данных Arrow с использованием C Data API из Python в Go.....176 Создание совместно используемой библиотеки на языке Go.............177 Создание расширения Python из библиотеки Go.................................179 Организация потока данных через C Data API.............................................181 Кое-что о данных на устройстве, отличающемся от ЦП...............................185 Структура ArrowDeviceArray........................................ 185 Использование структуры ArrowDeviceArray............................................188 Оглавление 9
Другие варианты использования...................................................................192 Несколько упражнений...................................................................................193 Резюме.............................................................................................................194 Глава 5. Acero: механизм потоковой обработки Arrow.............195 Технические требования................................................................................196 Пусть Acero работает за вас............................................................................196 Формирование входных данных................................................................196 Приведение типа значения........................................................................197 Типы функций в Acero................................................................................197 Агрегации................................................................................................197 Поэлементные или скалярные функции...............................................198 Векторные функции для работы с массивом........................................198 Вызов функций................................................................................................199 Использование вычислительной библиотеки C++....................................199 Пример 1 – сложение скалярного значения с массивом......................199 Пример 2 – агрегирующая функция min_max....................... 202 Пример 3 – сортировка таблицы данных..............................................202 Использование вычислительной библиотеки в коде Python...................203 Пример 1 – сложение скалярного значения с массивом......................203 Пример 2 – агрегирующая функция min_max.........................................204 Пример 3 – сортировка таблицы данных..............................................204 Выбор правильных инструментов.................................................................205 Сложение значения-константы с массивом.............................................205 Применение функции Add для вычислений..........................................206 Простой цикл for.........................................................................................207 Использование цикла std::for_each с резервированием памяти..........207 Методика «разделяй и властвуй»...............................................................208 План нужен всегда...........................................................................................211 Где применять Acero?..................................................................................211 Основные концепции Acero.......................................................................212 ExecNode..................................................................................................213 ExecBatch.................................................................................................214 ExecPlan...................................................................................................215 Declaration...............................................................................................215 Начинаем обработку потоков....................................................................215 Упрощение сложности................................................................................218 Резюме.............................................................................................................222 Глава 6. Использование интерфейсов Arrow Datasets API.......224 Технические требования................................................................................225 Выполнение запросов к многофайловым наборам данных........................225 Создание примера набора данных............................................................227 Обнаружение фрагментов набора данных................................................229 Программная фильтрация данных................................................................231 Самовыражение – краткий обзор..............................................................231 Использование выражений для фильтрации данных..............................233 10 Оглавление