DuckDB в действии
Покупка
Новинка
Тематика:
Программирование и алгоритмизация
Издательство:
ДМК Пресс
Перевод:
Логунов А. В.
Год издания: 2025
Кол-во страниц: 380
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-330-0
Артикул: 890559.01.99
Книга рассказывает о приемах эффективной работы со столбцово-ориентированной системой управления базами данных DuckDB. Она легко встраивается в приложения по анализу данных, работает на ноутбуке и оперирует данными практически из любого источника, включая JSON, CSV, Parquet, SQLite и Postgres. Каждая новая тема сопровождается практическим проектом, благодаря чему вы сможете увидеть работу DuckDB в действии.
Издание адресовано профессионалам в области обработки данных, хорошо владеющим языком Python и инструментами интерфейса командной строки.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.03: Прикладная информатика
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Марк Нидхэм, Майкл Хунгер, Майкл Саймонс DuckDB в действии
DuckDB in Action MARK NEEDHAM MICHAEL HUNGER MICHAEL SIMONS Foreword by MARK RAASVELDT AND HANNES MÜHLEISEN
DuckDB в действии МАРК НИДХЭМ МАЙКЛ ХУНГЕР МАЙКЛ САЙМОНС Вступительное слово МАРКА РААСВЕЛДТА и ХАННЕСА МЮХЛЯЙЗЕНА Москва, 2025
УДК 004.65DuckDB ББК 16.35 Н60 Нидхэм М., Хунгер М., Саймонс М. Н60 DuckDB в действии / пер. с англ. А. В. Логунова. – М.: ДМК Пресс, 2025. – 378 с.: ил. ISBN 978-5-93700-330-0 Книга рассказывает о приемах эффективной работы со столбцово-ориентированной системой управления базами данных DuckDB. Она легко встраивается в приложения по анализу данных, работает на ноутбуке и оперирует данными практически из любого источника, включая JSON, CSV, Parquet, SQLite и Postgres. Каждая новая тема сопровождается практическим проектом, благодаря чему вы сможете увидеть работу DuckDB в действии. Издание адресовано профессионалам в области обработки данных, хорошо владеющим языком Python и инструментами интерфейса командной строки. УДК 004.65DuckDB ББК 16.35 Copyright © DMK Press 2025. Authorized translation of the English edition. Copyright © 2024 Manning Publications. This translation is published and sold by permission of Manning Publications, the owner of all rights to publish and sell the same. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-1-6334-3725-8 (англ.) © Manning Publications, 2024 ISBN 978-5-93700-330-0 (рус.) © Перевод, оформление, издание, ДМК Пресс, 2025
Посвящается Райнеру и Стефане. – Майкл Саймонс Посвящаю эту книгу всем тем, кто сегодня страдает от несправедливости, бедности, войн и болезней. Очень жаль, что человечество тратит свое будущее и планету на жажду богатства и власти, вместо того чтобы работать вместе ради созидания более приемлемого мира для всех и каждого. Жертвую бóльшую часть гонорара от этой книги в благотворительные организации, помогающие сделать мир лучше. – Майкл Хунгер
Оглавление 1 Введение в DuckDB.......................................................................................22 2 Начало работы с DuckDB..............................................................................36 3 Исполнение запросов на языке SQL...........................................................48 4 Продвинутая агрегация и анализ данных..................................................94 5 Обследование данных без их сохранения в базе.....................................142 6 Интеграция с экосистемой языка Python ................................................173 7 DuckDB в облаке на основе платформы MotherDuck...............................201 8 Сборка конвейеров данных с помощью DuckDB......................................226 9 Сборка и развертывание приложений по работе с данными.................262 10 Вопросы производительности работы с крупными наборами данных....296 11 Заключение.................................................................................................342
Содержание Вступительное слово........................................................................................ 12 Предисловие........................................................................................................ 14 Признательности.............................................................................................. 15 О книге................................................................................................................ 16 Об авторах......................................................................................................... 19 Об иллюстрации на обложке............................................................................ 21 1 Введение в DuckDB.................................................................................. 22 1.1 Что такое DuckDB?................................................................................. 23 1.2 Почему стоит обратить внимание на DuckDB?................................. 25 1.3 Когда следует использовать DuckDB?................................................. 26 1.4 Когда не следует использовать DuckDB?............................................ 27 1.5 Варианты использования..................................................................... 28 1.6 Где используется DuckDB?................................................................... 29 1.7 Шаги потока обработки данных.......................................................... 30 1.7.1 Форматы и источники данных................................................... 31 1.7.2 Структуры данных...................................................................... 32 1.7.3 Разработка запросов на языке SQL............................................. 32 1.7.4 Использование или обработка результатов.............................. 33 Краткий итог..................................................................................................... 35 2 Начало работы с DuckDB.................................................................. 36 2.1 Поддерживаемые среды....................................................................... 36 2.2 Установка интерфейса командной строки DuckDB......................... 37 2.2.1 macOS........................................................................................... 37 2.2.2 Linux и Windows........................................................................... 37 2.3 Использование интерфейса командной строки DuckDB................ 38 2.3.1 Инструкции языка SQL................................................................ 38 2.3.2 Точечные команды....................................................................... 39
Содержание Аргументы интерфейса командной строки............................... 40 2.4 Система расширений DuckDB............................................................. 40 2.5 Анализ CSV-файла с помощью интерфейса командной строки DuckDB....................................................................................... 42 2.5.1 Режимы показа результатов...................................................... 44 Краткий итог..................................................................................................... 47 3 Исполнение запросов на языке SQL............................................. 48 3.1 Краткий обзор языка SQL.................................................................... 49 3.2 Анализ выработки электроэнергии.................................................... 50 3.2.1 Скачивание набора данных.......................................................... 51 3.2.2 Целевая схема.............................................................................. 52 3.3 Запросы на языке определения данных............................................ 54 3.3.1 Инструкция CREATE TABLE........................................................ 54 3.3.2 Инструкция ALTER TABLE........................................................... 57 3.3.3 Инструкция CREATE VIEW.......................................................... 58 3.3.4 Инструкция DESCRIBE................................................................ 59 3.4 Запросы на языке манипулирования данными............................... 60 3.4.1 Инструкция INSERT..................................................................... 61 3.4.2 Слияние данных............................................................................ 66 3.4.3 Инструкция DELETE.................................................................... 66 3.4.4 Инструкция SELECT.................................................................... 67 3.5 Специфичные для DuckDB расширения языка SQL......................... 84 3.5.1 Работа с инструкцией SELECT.................................................... 84 3.5.2 Вставка по имени........................................................................ 88 3.5.3 Доступ к псевдонимам повсюду.................................................... 89 3.5.4 Группировка и упорядочивание по всем релевантным столбцам..................................................................................... 90 3.5.5 Извлечение статистических выборок из данных....................... 90 3.5.6 Функции с опциональными параметрами................................... 91 Краткий итог..................................................................................................... 92 4 Продвинутая агрегация и анализ данных.............................. 94 4.1 Предагрегация данных при их внесении в базу............................... 95 4.2 Резюмирование данных....................................................................... 97 4.3 О подзапросах........................................................................................ 99 4.3.1 Подзапросы как выражения........................................................102 4.4 Группировочные множества...............................................................104 4.5 Оконные функции................................................................................108 4.5.1 Определение разделов.................................................................111 4.5.2 Кадрирование..............................................................................113 4.5.3 Именованные окна......................................................................114 4.5.4 Доступ к предыдущим либо последующим строкам в разделе......................................................................................117 4.6 Условия и фильтрация за пределами модификатора WHERE.......119 4.6.1 Использование модификатора HAVING.....................................120 4.6.2 Использование модификатора QUALIFY...................................121 4.6.3 Использование модификатора FILTER.......................................122 4.7 Инструкция PIVOT................................................................................123
Содержание 4.8 Использование модификатора ASOF JOIN.......................................128 4.9 Использование табличных функций.................................................133 4.10 Использование соединений LATERAL...............................................137 Краткий итог....................................................................................................141 5 Обследование данных без их сохранения в базе..................142 5.1 Зачем использовать базу данных без сохранения в ней данных?..................................................................................................143 5.2 Выявление типа файла и схемы.........................................................144 5.2.1 Замечание по синтактико-структурному разбору данных CSV.................................................................................145 5.3 Дробление вложенных данных JSON................................................147 5.4 Перевод формата CSV в формат Parquet..........................................154 5.5 Анализ Parquet-файлов и запросы к ним.........................................161 5.6 Запросы к SQLite и другим системам управления базами данных...................................................................................................165 5.7 Работа с файлами Excel.......................................................................170 Краткий итог....................................................................................................172 6 Интеграция с экосистемой языка Python ............................173 6.1 Начало работы......................................................................................174 6.1.1 Установка пакета Python..........................................................174 6.1.2 Открытие подключения к СУБД................................................175 6.2 Использование реляционного API.....................................................176 6.2.1 Загрузка данных CSV с помощью API на языке Python...............177 6.2.2 Составление запросов................................................................180 6.2.3 Исполнение запросов на языке SQL............................................186 6.3 Выполнение запросов к кадрам данных pandas..............................187 6.4 Пользовательские функции................................................................190 6.5 Операционная совместимость с таблицами Apache Arrow и кадрами данных Polars.....................................................................196 Краткий итог....................................................................................................199 7 DuckDB в облаке на основе платформы MotherDuck.....201 7.1 Введение в платформу MotherDuck...................................................202 7.1.1 Принцип работы.........................................................................202 7.1.2 Зачем использовать платформу MotherDuck?..........................204 7.2 Начало работы с платформой MotherDuck.......................................205 7.2.1 Использование платформы MotherDuck посредством пользовательского интерфейса.................................................206 7.2.2 Подключение к платформе MotherDuck с DuckDB посредством аутентификации на основе токена.....................207 7.3 Максимально эффективное использование платформы MotherDuck............................................................................................209 7.3.1 Закачивание баз данных на платформу MotherDuck.................210 7.3.2 Создание баз данных на платформе MotherDuck......................212 7.3.3 Коллективизация доступа к базам данных...............................214
Содержание Управление секретами S3 и загрузка данных из корзин S3........216 7.3.5 Оптимизация внесения данных в базу и использования платформы MotherDuck.............................................................217 7.3.6 Выполнение запросов к данным с помощью искусственного интеллекта................................................................................219 7.3.7 Интеграции................................................................................224 Краткий итог....................................................................................................225 8 Сборка конвейеров данных с помощью DuckDB.................226 8.1 Конвейеры данных и роль DuckDB....................................................227 8.2 Внесение данных с помощью инструмента dlt...............................229 8.2.1 Установка поддерживаемого источника...................................230 8.2.2 Сборка конвейера........................................................................231 8.2.3 Обследование метаданных конвейера.......................................235 8.3 Преобразование и моделирование данных с помощью dbt..........236 8.3.1 Настройка проекта dbt.............................................................237 8.3.2 Определение источников............................................................238 8.3.3 Описание преобразований с помощью моделей..........................239 8.3.4 Тестирование преобразований и конвейеров.............................242 8.3.5 Преобразование всех CSV-файлов..............................................245 8.4 Оркестровка конвейеров данных с помощью Dagster...................249 8.4.1 Определение активов.................................................................250 8.4.2 Выполнение конвейеров..............................................................252 8.4.3 Управление зависимостями в конвейере....................................254 8.4.4 Продвинутые вычисления в активах.........................................257 8.4.5 Закачивание данных на платформу MotherDuck.......................259 Краткий итог....................................................................................................261 9 Сборка и развертывание приложений по работе с данными....................................................................................................262 9.1 Создание собственного приложения по работе с данными с помощью Streamlit............................................................................263 9.1.1 Что такое Streamlit?..................................................................264 9.1.2 Сборка приложения....................................................................265 9.1.3 Использование компонентов библиотеки Streamlit..................267 9.1.4 Визуализация данных с помощью библиотеки plot.ly.................272 9.1.5 Развертывание приложения на облачной платформе Community Cloud.........................................................................275 9.2 Сборка информационной панели деловой аналитики с помощью платформы Apache Superset..........................................278 9.2.1 Что такое Apache Superset?.......................................................278 9.2.2 Рабочий процесс платформы Superset.......................................281 9.2.3 Создание первой информационной панели.................................282 9.2.4 Создание набора данных из SQL-запроса...................................289 9.2.5 Экспорт и импорт информационных панелей...........................293 Краткий итог....................................................................................................294