Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

DuckDB в действии

Покупка
Новинка
Артикул: 890559.01.99
Доступ онлайн
1 999 ₽
В корзину
Книга рассказывает о приемах эффективной работы со столбцово-ориентированной системой управления базами данных DuckDB. Она легко встраивается в приложения по анализу данных, работает на ноутбуке и оперирует данными практически из любого источника, включая JSON, CSV, Parquet, SQLite и Postgres. Каждая новая тема сопровождается практическим проектом, благодаря чему вы сможете увидеть работу DuckDB в действии. Издание адресовано профессионалам в области обработки данных, хорошо владеющим языком Python и инструментами интерфейса командной строки.
Нидхэм, М. DuckDB в действии : практическое пособие / М. Нидхэм, М. Хунгер, М. Саймонс ; пер. с англ. А. В. Логунова. – Москва : ДМК Пресс, 2025. - 380 с. – ISBN 978-5-93700-330-0. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2274630 (дата обращения: 20.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Марк Нидхэм, Майкл Хунгер, Майкл Саймонс
DuckDB в действии


DuckDB in Action
MARK NEEDHAM
MICHAEL HUNGER
MICHAEL SIMONS
Foreword by MARK RAASVELDT 
AND HANNES MÜHLEISEN


DuckDB в действии
МАРК НИДХЭМ
МАЙКЛ ХУНГЕР
МАЙКЛ САЙМОНС
Вступительное слово 
МАРКА РААСВЕЛДТА 
и ХАННЕСА МЮХЛЯЙЗЕНА
Москва, 2025


УДК	 004.65DuckDB
ББК	 16.35
Н60
Нидхэм М., Хунгер М., Саймонс М.
Н60	
DuckDB в действии / пер. с англ. А. В. Логунова. – М.: ДМК Пресс, 2025. – 378 с.: 
ил. 
ISBN 978-5-93700-330-0
Книга рассказывает о приемах эффективной работы со столбцово-ориентированной системой управления базами данных DuckDB. Она легко встраивается в приложения по анализу данных, работает на ноутбуке и оперирует данными практически 
из любого источника, включая JSON, CSV, Parquet, SQLite и Postgres. Каждая новая 
тема сопровождается практическим проектом, благодаря чему вы сможете увидеть 
работу DuckDB в действии.
Издание адресовано профессионалам в области обработки данных, хорошо владеющим языком Python и инструментами интерфейса командной строки.
УДК  004.65DuckDB
ББК  16.35
Copyright © DMK Press 2025. Authorized translation of the English edition. 
Copyright © 2024 Manning Publications. This translation is published and sold by permission of 
Manning Publications, the owner of all rights to publish and sell the same.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой 
бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.
ISBN 978-1-6334-3725-8 (англ.)	
©  Manning Publications, 2024
ISBN 978-5-93700-330-0 (рус.)	
©  Перевод, оформление, издание, ДМК Пресс, 2025


Посвящается Райнеру и Стефане.
– Майкл Саймонс
Посвящаю эту книгу всем тем, кто сегодня страдает 
от несправедливости, бедности, войн и болезней. Очень 
жаль, что человечество тратит свое будущее и планету 
на жажду богатства и власти, вместо того чтобы работать вместе ради созидания более приемлемого мира 
для всех и  каждого. Жертвую бóльшую часть гонорара 
от этой книги в  благотворительные организации, помогающие сделать мир лучше.
– Майкл Хунгер


Оглавление
1    Введение в DuckDB.......................................................................................22
2    Начало работы с DuckDB..............................................................................36
3    Исполнение запросов на языке SQL...........................................................48
4    Продвинутая агрегация и анализ данных..................................................94
5    Обследование данных без их сохранения в базе.....................................142
6    Интеграция с экосистемой языка Python ................................................173
7    DuckDB в облаке на основе платформы MotherDuck...............................201
8    Сборка конвейеров данных с помощью DuckDB......................................226
9    Сборка и развертывание приложений по работе с данными.................262
10    Вопросы производительности работы с крупными наборами данных....296
11    Заключение.................................................................................................342


Содержание
Вступительное слово........................................................................................ 12
Предисловие........................................................................................................ 14
Признательности.............................................................................................. 15
О книге................................................................................................................ 16
Об авторах......................................................................................................... 19
Об иллюстрации на обложке............................................................................ 21
1	
Введение в DuckDB.................................................................................. 22
1.1	
Что такое DuckDB?................................................................................. 23
1.2	
Почему стоит обратить внимание на DuckDB?................................. 25
1.3	
Когда следует использовать DuckDB?................................................. 26
1.4	
Когда не следует использовать DuckDB?............................................ 27
1.5	
Варианты использования..................................................................... 28
1.6	
Где используется DuckDB?................................................................... 29
1.7	
Шаги потока обработки данных.......................................................... 30
1.7.1	
Форматы и источники данных................................................... 31
1.7.2	
Структуры данных...................................................................... 32
1.7.3	
Разработка запросов на языке SQL............................................. 32
1.7.4	
Использование или обработка результатов.............................. 33
Краткий итог..................................................................................................... 35
2	
Начало работы с DuckDB.................................................................. 36
2.1	
Поддерживаемые среды....................................................................... 36
2.2	
Установка интерфейса командной строки DuckDB......................... 37
2.2.1	
macOS........................................................................................... 37
2.2.2	
Linux и Windows........................................................................... 37
2.3	
Использование интерфейса командной строки DuckDB................ 38
2.3.1	
Инструкции языка SQL................................................................ 38
2.3.2	
Точечные команды....................................................................... 39


Содержание
Аргументы интерфейса командной строки............................... 40
2.4	
Система расширений DuckDB............................................................. 40
2.5	
Анализ CSV-файла с помощью интерфейса командной  
	
строки DuckDB....................................................................................... 42
2.5.1	
Режимы показа результатов...................................................... 44
Краткий итог..................................................................................................... 47
3	
Исполнение запросов на языке SQL............................................. 48
3.1	
Краткий обзор языка SQL.................................................................... 49
3.2	
Анализ выработки электроэнергии.................................................... 50
3.2.1	
Скачивание набора данных.......................................................... 51
3.2.2	
Целевая схема.............................................................................. 52
3.3	
Запросы на языке определения данных............................................ 54
3.3.1	
Инструкция CREATE TABLE........................................................ 54
3.3.2	
Инструкция ALTER TABLE........................................................... 57
3.3.3	
Инструкция CREATE VIEW.......................................................... 58
3.3.4	
Инструкция DESCRIBE................................................................ 59
3.4	
Запросы на языке манипулирования данными............................... 60
3.4.1	
Инструкция INSERT..................................................................... 61
3.4.2	
Слияние данных............................................................................ 66
3.4.3	
Инструкция DELETE.................................................................... 66
3.4.4	
Инструкция SELECT.................................................................... 67
3.5	
Специфичные для DuckDB расширения языка SQL......................... 84
3.5.1	
Работа с инструкцией SELECT.................................................... 84
3.5.2	
Вставка по имени........................................................................ 88
3.5.3  Доступ к псевдонимам повсюду.................................................... 89
3.5.4	
Группировка и упорядочивание по всем релевантным  
	
столбцам..................................................................................... 90
3.5.5	
Извлечение статистических выборок из данных....................... 90
3.5.6	
Функции с опциональными параметрами................................... 91
Краткий итог..................................................................................................... 92
4	
Продвинутая агрегация и анализ данных.............................. 94
4.1	
Предагрегация данных при их внесении в базу............................... 95
4.2	
Резюмирование данных....................................................................... 97
4.3	
О подзапросах........................................................................................ 99
4.3.1	
Подзапросы как выражения........................................................102
4.4	
Группировочные множества...............................................................104
4.5	
Оконные функции................................................................................108
4.5.1	
Определение разделов.................................................................111
4.5.2	
Кадрирование..............................................................................113
4.5.3	
Именованные окна......................................................................114
4.5.4	
Доступ к предыдущим либо последующим строкам  
	
в разделе......................................................................................117
4.6	
Условия и фильтрация за пределами модификатора WHERE.......119
4.6.1	
Использование модификатора HAVING.....................................120
4.6.2	
Использование модификатора QUALIFY...................................121
4.6.3	
Использование модификатора FILTER.......................................122
4.7	
Инструкция PIVOT................................................................................123


Содержание
4.8	
Использование модификатора ASOF JOIN.......................................128
4.9	
Использование табличных функций.................................................133
4.10	
Использование соединений LATERAL...............................................137
Краткий итог....................................................................................................141
5	
Обследование данных без их сохранения в базе..................142
5.1	
Зачем использовать базу данных без сохранения в ней  
	
данных?..................................................................................................143
5.2	
Выявление типа файла и схемы.........................................................144
5.2.1	
Замечание по синтактико-структурному разбору  
	
данных CSV.................................................................................145
5.3	
Дробление вложенных данных JSON................................................147
5.4	
Перевод формата CSV в формат Parquet..........................................154
5.5	
Анализ Parquet-файлов и запросы к ним.........................................161
5.6	
Запросы к SQLite и другим системам управления базами  
	
данных...................................................................................................165
5.7	
Работа с файлами Excel.......................................................................170
Краткий итог....................................................................................................172
6	
Интеграция с экосистемой языка Python ............................173
6.1	
Начало работы......................................................................................174
6.1.1	
Установка пакета Python..........................................................174
6.1.2	
Открытие подключения к СУБД................................................175
6.2	
Использование реляционного API.....................................................176
6.2.1	
Загрузка данных CSV с помощью API на языке Python...............177
6.2.2	
Составление запросов................................................................180
6.2.3	
Исполнение запросов на языке SQL............................................186
6.3	
Выполнение запросов к кадрам данных pandas..............................187
6.4	
Пользовательские функции................................................................190
6.5	
Операционная совместимость с таблицами Apache Arrow   
	
и кадрами данных Polars.....................................................................196
Краткий итог....................................................................................................199
7	
DuckDB в облаке на основе платформы MotherDuck.....201
7.1	
Введение в платформу MotherDuck...................................................202
7.1.1	
Принцип работы.........................................................................202
7.1.2	
Зачем использовать платформу MotherDuck?..........................204
7.2	
Начало работы с платформой MotherDuck.......................................205
7.2.1	
Использование платформы MotherDuck посредством  
	
пользовательского интерфейса.................................................206
7.2.2	
Подключение к платформе MotherDuck с DuckDB  
	
посредством аутентификации на основе токена.....................207
7.3	
Максимально эффективное использование платформы  
	
MotherDuck............................................................................................209
7.3.1	
Закачивание баз данных на платформу MotherDuck.................210
7.3.2	
Создание баз данных на платформе MotherDuck......................212
7.3.3	
Коллективизация доступа к базам данных...............................214


Содержание
Управление секретами S3 и загрузка данных из корзин S3........216
7.3.5	
Оптимизация внесения данных в базу и использования  
	
платформы MotherDuck.............................................................217
7.3.6	
Выполнение запросов к данным с помощью искусственного  
	
интеллекта................................................................................219
7.3.7	
Интеграции................................................................................224
Краткий итог....................................................................................................225
8	
Сборка конвейеров данных с помощью DuckDB.................226
8.1	
Конвейеры данных и роль DuckDB....................................................227
8.2	
Внесение данных с помощью инструмента dlt...............................229
8.2.1	
Установка поддерживаемого источника...................................230
8.2.2	
Сборка конвейера........................................................................231
8.2.3	
Обследование метаданных конвейера.......................................235
8.3	
Преобразование и моделирование данных с помощью dbt..........236
8.3.1	
Настройка проекта dbt.............................................................237
8.3.2	
Определение источников............................................................238
8.3.3	
Описание преобразований с помощью моделей..........................239
8.3.4	
Тестирование преобразований и конвейеров.............................242
8.3.5	
Преобразование всех CSV-файлов..............................................245
8.4	
Оркестровка конвейеров данных с помощью Dagster...................249
8.4.1	
Определение активов.................................................................250
8.4.2	
Выполнение конвейеров..............................................................252
8.4.3	
Управление зависимостями в конвейере....................................254
8.4.4	
Продвинутые вычисления в активах.........................................257
8.4.5	
Закачивание данных на платформу MotherDuck.......................259
Краткий итог....................................................................................................261
9	
Сборка и развертывание приложений по работе  
	
с данными....................................................................................................262
9.1	
Создание собственного приложения по работе с данными  
	
с помощью Streamlit............................................................................263
9.1.1	
Что такое Streamlit?..................................................................264
9.1.2	
Сборка приложения....................................................................265
9.1.3	
Использование компонентов библиотеки Streamlit..................267
9.1.4	
Визуализация данных с помощью библиотеки plot.ly.................272
9.1.5	
Развертывание приложения на облачной платформе  
	
Community Cloud.........................................................................275
9.2	
Сборка информационной панели деловой аналитики   
	
с помощью платформы Apache Superset..........................................278
9.2.1	
Что такое Apache Superset?.......................................................278
9.2.2	
Рабочий процесс платформы Superset.......................................281
9.2.3	
Создание первой информационной панели.................................282
9.2.4	
Создание набора данных из SQL-запроса...................................289
9.2.5	
Экспорт и импорт информационных панелей...........................293
Краткий итог....................................................................................................294


Доступ онлайн
1 999 ₽
В корзину