Power Query и язык M. Подробное руководство
Сложные преобразования данных с помощью Power Query
Покупка
Новинка
Тематика:
Программирование и алгоритмизация
Издательство:
ДМК Пресс
Перевод:
Гинько Александр Юрьевич
Год издания: 2024
Кол-во страниц: 748
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-310-2
Артикул: 890576.01.99
Преобразование и очистка данных — один из важнейших шагов в построении моделей данных, лежащих в основе аналитических отчетов. Power Query и язык M — мощнейший инструмент для всех, кто желает научиться работать с данными на беспрецедентном уровне, и эта книга позволит вам получить все необходимые навыки для его использования. На многочисленных примерах показано, как выбирать оптимальные решения в реальной практике.
Издание предназначено бизнес-аналитикам, специалистам в области работы с данными и продвинутым пользователям, желающим с максимальной пользой для работы применять Power Query. Также пригодится всем, кто хочет автоматизировать процессы очистки и подготовки данных, освободив свое время для более важных задач.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Грегори Деклер, Рик де Гроот, Мелисса де Корте Power Query и язык M. Подробное руководство
The Definitive Guide to Power Query (M) Mastering complex data transformation with Power Query Gregory Deckler Rick de Groot Melissa de Korte Foreword by Brian Julius
Power Query и язык M. Подробное руководство Сложные преобразования данных с помощью Power Query Грегори Деклер Рик де Гроот Мелисса де Корте Предисловие от Брайана Джулиуса Москва, 2025
УДК 004.655Powery Query ББК 16.2 Д28 Деклер Г., де Гроот Р., де Корте М. Д28 Power Query и язык M. Подробное руководство / пер. с англ. А. Ю. Гинько. – М.: ДМК Пресс, 2024. – 746 с.: ил. ISBN 978-5-93700-310-2 Преобразование и очистка данных – один из важнейших шагов в построении моделей данных, лежащих в основе аналитических отчетов. Power Query и язык M – мощнейший инструмент для всех, кто желает научиться работать с данными на беспрецедентном уровне, и эта книга позволит вам получить все необходимые навыки для его использования. На многочисленных примерах показано, как выбирать оптимальные решения в реальной практике. Издание предназначено бизнес-аналитикам, специалистам в области работы с данными и продвинутым пользователям, желающим с максимальной пользой для работы применять Power Query. Также пригодится всем, кто хочет автоматизировать процессы очистки и подготовки данных, освободив свое время для более важных задач. УДК 004.655Powery Query ББК 16.2 First published in the English language under the title ‘The Definitive Guide to Power Query – (9781835089729)’. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-1-83508-972-9 (англ.) Copyright © 2024 Packt Publishing ISBN 978-5-93700-310-2 (рус.) © Оформление, издание, перевод, ДМК Пресс, 2024
Содержание 5 Содержание От издательства....................................................................................... 14 Предисловие................................................................................................. 15 Об авторах.................................................................................................. 17 О рецензентах............................................................................................. 19 О переводчике.............................................................................................. 20 Введение....................................................................................................... 21 Глава 1 Введение в язык M............................................................................ 26 История языка M....................................................................................... 26 Кому следует изучать язык M?............................................................... 28 Где и как применяется язык M?............................................................. 29 Инструменты........................................................................................ 29 Продукты и службы............................................................................. 30 Зачем изучать язык M?............................................................................ 35 Основы языка M......................................................................................... 37 Выражение let....................................................................................... 39 Особенности языка M............................................................................... 40 Формальная классификация............................................................. 40 Неформальные особенности языка M............................................ 44 Заключение................................................................................................. 46 Глава 2 Работа с Power Query/M................................................................. 47 Технические требования......................................................................... 47 Краткий обзор Power Query Desktop..................................................... 48 Краткий обзор...................................................................................... 49 Ваш первый запрос............................................................................. 54 Параметры и настройки источника данных................................. 57 Редактирование сгенерированного кода на языке M....................... 64 Создание настраиваемых столбцов...................................................... 66 Добавление столбца индекса............................................................ 66 Добавление столбца из примеров................................................... 67 Математические операции............................................................... 68 Добавление настраиваемых столбцов на основе кода на M..... 69 Использование расширенного редактора........................................... 71 Заключение................................................................................................. 74 Глава 3 Извлечение и объединение данных...................................... 75 Технические требования......................................................................... 76 Доступ к файлам и папкам...................................................................... 76 Функция File.Contents......................................................................... 77
6 Содержание Текстовые и CSV-файлы..................................................................... 78 Файлы Excel........................................................................................... 82 Работа с папками................................................................................. 85 Работа с файлами PDF........................................................................ 92 Работа с XML......................................................................................... 94 Хранилище Azure................................................................................. 97 Дополнительные форматы файлов................................................100 Извлечение содержимого веб-страниц..............................................101 Функции для работы с двоичными данными...................................104 Функции Lines.....................................................................................108 Доступ к базам данных и кубам............................................................110 Функции Cube......................................................................................112 Работа со стандартными протоколами данных................................114 Дополнительные коннекторы...............................................................117 Популярные программные продукты...........................................118 Функции для работы с данными идентификации.....................119 Комбинирование и объединение данных..........................................120 Функция Table.Combine.....................................................................120 Функции Table.NestedJoin и Table.Join..........................................122 Функции Table.FuzzyNestedJoin и Table.FuzzyJoin......................125 Заключение................................................................................................126 Глава 4 Значения и выражения в языке M.........................................128 Введение в типы значений....................................................................129 Двоичные значения...........................................................................130 Значения календарного типа...........................................................132 Логические значения.........................................................................139 Значения null.......................................................................................141 Числовые значения............................................................................143 Текстовые значения...........................................................................145 Списки...................................................................................................146 Записи....................................................................................................147 Таблицы................................................................................................149 Значения-функции.............................................................................150 Значения-типы....................................................................................151 Операторы..................................................................................................152 Выражения.................................................................................................155 Вложенные выражения let................................................................157 Рекомендации по использованию выражений...........................160 Управляющие структуры........................................................................162 Перечисления............................................................................................165 Заключение................................................................................................168 Глава 5 Типы данных........................................................................................169 Что такое типы данных?.........................................................................169 Система типов.....................................................................................170 Столбцы со смешанными типами..................................................171
Содержание 7 Тип данных столбца против типа значения................................173 Важность типов данных..........................................................................175 Прозрачность и единообразие........................................................175 Проверка допустимости данных.....................................................176 Другие причины использования явных типов данных.............177 Типы данных, доступные в языке M....................................................178 Примитивные типы...........................................................................178 Пользовательские типы....................................................................187 Распознавание типов данных...............................................................194 Извлечение типов данных из источника......................................194 Преобразование типов данных.............................................................196 Преобразование типов значений...................................................197 Преобразование типов столбцов....................................................199 Избежание потери данных при преобразовании.......................201 Влияние выбранной локали.............................................................204 Фасеты.........................................................................................................206 Утверждения типов............................................................................210 Приписывание типов..............................................................................213 Что такое приписывание?................................................................214 Функции, поддерживающие приписывание типов...................216 Ошибки, связанные с приписыванием типов.............................219 Эквивалентность и совместимость типов..........................................225 Эквивалентность типов.....................................................................225 Согласованность типов......................................................................226 Заявление типов.................................................................................227 Заключение................................................................................................228 Глава 6 Структурированные значения...................................................229 Введение в структурированные значения.........................................229 Списки.........................................................................................................230 Введение в списки..............................................................................230 Операторы для работы со списками..............................................232 Способы создания списков...............................................................235 Доступ к элементам списков...........................................................238 Распространенные операции со списками..................................240 Присваивание типов данных спискам..........................................242 Записи.........................................................................................................244 Знакомство с записями.....................................................................244 Операторы для работы с записями................................................246 Способы создания записей...............................................................249 Доступ к полям записей....................................................................251 Распространенные операции с записями....................................253 Присваивание типов данных записям..........................................257 Таблицы......................................................................................................259 Знакомство с таблицами...................................................................259 Операторы для работы с таблицами..............................................260 Способы создания таблиц.................................................................263
8 Содержание Доступ к данным в таблицах............................................................268 Распространенные операции с таблицами..................................272 Присваивание типов данных таблицам........................................273 Заключение................................................................................................274 Глава 7 Концепции языка M.........................................................................276 Технические требования........................................................................277 Введение в области видимости.............................................................277 Знакомство с глобальным окружением..............................................281 Изучаем секции...................................................................................282 Создание собственного глобального окружения........................283 Введение в замыкания............................................................................284 Свертывание запросов......................................................................286 Управление метаданными.....................................................................288 Заключение................................................................................................295 Глава 8 Работа с вложенными структурами.......................................296 Переходим к написанию кода вручную..............................................296 Первые шаги........................................................................................297 Преобразование значений в таблицах..........................................303 Работа со списками..................................................................................311 Преобразование списков..................................................................311 Извлечение элементов......................................................................314 Изменение размера списка..............................................................315 Фильтрация списка............................................................................320 Преобразование в список.................................................................321 Другие операции.................................................................................324 Работа с записями....................................................................................330 Преобразование записей..................................................................330 Извлечение значений полей............................................................332 Изменение размера записей............................................................333 Фильтрация записей..........................................................................335 Преобразование в запись.................................................................337 Условный поиск или замена значений..........................................341 Работа с таблицами..................................................................................343 Преобразование таблиц....................................................................345 Извлечение значений ячеек............................................................345 Изменение размера таблицы в длину...........................................347 Изменение размера таблицы в ширину........................................349 Фильтрация таблиц............................................................................353 Преобразование в таблицу...............................................................358 Информация о таблицах...................................................................360 Работа со смешанными структурами..................................................364 Список таблиц, списков или записей.............................................364 Таблицы со списками, записями или таблицами внутри.........367 Смешанные структуры......................................................................368 Заключение................................................................................................375
Содержание 9 Параметры и настраиваемые функции...............................376 Параметры.................................................................................................376 Введение в параметры......................................................................377 Создание параметров........................................................................378 Использование параметров в запросах........................................380 Собираем все вместе..........................................................................382 Настраиваемые функции.......................................................................388 Что такое настраиваемые функции?..............................................388 Преобразование запросов в настраиваемые функции..............390 Вызов настраиваемых функций......................................................396 Выражение each..................................................................................398 Усовершенствование настраиваемых функций..........................402 Обращение к именам столбцов и полей.......................................408 Отладка настраиваемых функций..................................................410 Область видимости функции...........................................................412 Собираем все вместе..........................................................................413 Заключение................................................................................................424 Глава 10 Работа с датами, временем и длительностями..............426 Технические требования........................................................................426 Даты.............................................................................................................426 Таблица с календарем в языке M....................................................433 Другие форматы даты........................................................................435 Дополнительные функции для работы с датами........................439 Время...........................................................................................................441 Создание таблицы времени.............................................................444 Классификация смен.........................................................................445 Даты и время.............................................................................................445 Часовые пояса...........................................................................................447 Корректировка времени обновления данных.............................448 Длительности............................................................................................449 Работа с длительностями..................................................................450 Заключение................................................................................................451 Глава 11 Сравнение, замена, объединение и разделение...........452 Технические требования........................................................................452 Ключевые концепции..............................................................................453 Вызов функции....................................................................................453 Распространенные ошибки..............................................................454 Замыкания............................................................................................454 Функции высшего порядка..............................................................455 Анонимные функции.........................................................................457 Упорядочивание значений...............................................................458 Функции сравнения.................................................................................458 Comparer.Equal.....................................................................................459 Comparer.Ordinal.................................................................................460
10 Содержание Критерии сравнения................................................................................465 Числовые значения............................................................................466 Вычисление ключа сортировки.......................................................466 Списки с ключами и порядком сортировки.................................468 Настраиваемая функция сравнения с условной логикой.........470 Настраиваемая функция сравнения с Value.Compare................470 Критерии равенства.................................................................................472 Функции сравнения по умолчанию...............................................472 Собственные функции сравнения..................................................473 Выбор ключей......................................................................................473 Комбинирование выбора ключей с функциями сравнения.....474 Функции замены......................................................................................474 Replacer.ReplaceText...........................................................................476 Replacer.ReplaceValue.........................................................................477 Собственные функции замены.......................................................481 Функции объединения............................................................................484 Combiner.CombineTextByDelimiter..................................................486 Combiner.CombineTextByEachDelimiter.........................................487 Combiner.CombineTextByLengths....................................................488 Combiner.CombineTextByPositions..................................................489 Combiner.CombineTextByRanges......................................................490 Функции разделения...............................................................................491 Splitter.SplitByNothing.......................................................................493 Splitter.SplitTextByAnyDelimiter......................................................494 Splitter.SplitTextByCharacterTransition...........................................495 Splitter.SplitTextByDelimiter.............................................................496 Splitter.SplitTextByEachDelimiter.....................................................497 Splitter.SplitTextByLengths................................................................498 Splitter.SplitTextByPositions..............................................................499 Splitter.SplitTextByRange...................................................................500 Splitter.SplitTextByRepeatedLengths................................................501 Splitter.SplitTextByWhitespace..........................................................501 Практические примеры..........................................................................502 Удаление управляющих символов и лишних пробелов............503 Извлечение электронного адреса из строки................................504 Разработка функции getEmail..........................................................505 Разделение объединенных значений в ячейках на строки......508 Множественная замена значений..................................................512 Условное объединение строк...........................................................516 Заключение................................................................................................520 Глава 12 Обработка ошибок и отладка....................................................521 Технические требования........................................................................521 Что такое ошибка?....................................................................................522 Сдерживание ошибок..............................................................................522 Определение возникновения ошибок................................................523 Возбуждение ошибок..............................................................................526