Power BI: передовые методы оптимизации
Полное руководство по построению стабильно быстрых решений в Microsoft Power BI Москва
Покупка
Тематика:
Проектирование баз и банков данных
Издательство:
ДМК Пресс
Автор:
Мерчант Бхавик
Перевод:
Гинько Александр Юрьевич
Год издания: 2023
Кол-во страниц: 282
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-168-9
Артикул: 817235.01.99
Эта книга научит вас поддерживать решения Power BI любой степени сложности с минимальными усилиями. Вы узнаете, как проводить оптимизацию на всех слоях Power BI — начиная с рабочей области отчета и заканчивая моделированием данных, их преобразованием, хранением и архитектурой. Выясните, что необходимо сделать, чтобы при масштабировании проекта не страдало его быстродействие. Научитесь определять распространенные ошибки на этапе проектирования данных, приводящие к снижению эффективности решения и расходованию лишней памяти.
Издание предназначено для аналитиков данных, разработчиков в области бизнес-аналитики и специалистов по работе с Power BI. Оно пригодится тем, кто хочет создавать решения на базе Power BI, способные масштабироваться в отношении объема данных и количества пользователей без потери эффективности. Для изучения материала потребуется базовое знание Power BI и всех его компонентов.
- Полная коллекция по информатике и вычислительной технике
- Базы данных. Разработка и защита
- ДМК Пресс. Информационные системы и технологии
- ДМК Пресс. ИТ-технологии для профессионалов
- Интермедиатор. Информационные системы и технологии (сводная)
- Интермедиатор. ИТ-технологии для профессионалов (сводная)
- Проектирование баз и банков данных
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 02.03.02: Фундаментальная информатика и информационные технологии
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Бхавик Мерчант Power BI: передовые методы оптимизации
Bhavik Merchant Microsoft Power BI Performance Best Practices A comprehensive guide to building consistently fast Power BI solutions BIRMINGHAM—MUMBAI
Бхавик Мерчант Power BI: передовые методы оптимизации Полное руководство по построению стабильно быстрых решений в Microsoft Power BI Москва, 2023
УДК 004.424 ББК 32.372 М52 Мерчант Б. М52 Power BI: передовые методы оптимизации / пер. с англ. А. Ю. Гинько. – М.: ДМК Пресс, 2023. – 282 с.: ил. ISBN 978-5-93700-168-9 Эта книга научит вас поддерживать решения Power BI любой степени сложности с минимальными усилиями. Вы узнаете, как проводить оптимизацию на всех слоях Power BI – начиная с рабочей области отчета и заканчивая моделированием данных, их преобразованием, хранением и архитектурой. Выясните, что необходимо сделать, чтобы при масштабировании проекта не страдало его быстродействие. Научитесь определять распространенные ошибки на этапе проектирования данных, приводящие к снижению эффективности решения и расходованию лишней памяти. Издание предназначено для аналитиков данных, разработчиков в области бизнес-аналитики и специалистов по работе с Power BI. Оно пригодится тем, кто хочет создавать решения на базе Power BI, способные масштабироваться в отношении объема данных и количества пользователей без потери эффективности. Для изучения материала потребуется базовое знание Power BI и всех его компонентов. УДК 004.424 ББК 32.372 First published in the English language under the title ‘Microsoft Power BI Performance Best Practices – (9781801076449). Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-1-80107-644-9 (англ.) © 2022 Packt Publishing ISBN 978-5-93700-168-9 (рус.) © Перевод, оформление, издание, ДМК Пресс, 2023
Как и многие другие авторы, я посвящаю эту книгу первым делом моей жене и пятилетнему сыну. Особенно сыну, который оказался большим молодцом, позволив мне сосредоточиться на сверхурочной работе по выходным вместо совместного отдыха и игр. До заключительных глав книги я не осознавал в полной мере, насколько важной будет для меня поддержка семьи, а долгие месяцы с COVID заставили нас преодолевать новые личные и профессиональные преграды. Несмотря на изоляцию и привыкание к новой стране, они продолжали поддерживать меня и отмечать окончание каждой главы как маленький праздник. И за это я выражаю им свою самую глубокую благодарность. Также я хотел бы сказать спасибо всем коллегам во времена работы в Microsoft в отделе Power BI. Я многому научился у парней из команды Power BI CAT, архитектурных проектировщиков, менеджеров по разработке ПО и экспертов в области отчетности. Список тех, кому я благодарен, слишком велик, чтобы его здесь приводить. К тому же есть риск кого-то забыть, чего мне не хотелось бы. Надеюсь, их глубокие знания в совокупности с моим богатым опытом помогут вам вывести свои решения Power BI на новый уровень.
Содержание От издательства ....................................................................................................12 Предисловие ..........................................................................................................13 Об авторе .................................................................................................................14 О редакторах .........................................................................................................15 Введение ..................................................................................................................16 Часть I. АРХИТЕКТУРА, УЗКИЕ МЕСТА И ЦЕЛЕВЫЕ ПОКАЗАТЕЛИ ПРОИЗВОДИТЕЛЬНОСТИ .......................................21 Глава 1. Постановка целей и определение проблемных областей ...................................................................................................................22 Определение уровня производительности ............................................................23 Показатели производительности отчетов .........................................................23 Установка реалистичных целевых показателей производительности .........24 Области с возможными замедлениями ..................................................................25 Подключение к источникам данных ..................................................................26 Режим Import ......................................................................................................26 Режим DirectQuery .............................................................................................27 Режим Live connection .......................................................................................27 Шлюз Po wer BI ........................................................................................................27 Сетевая задержка ...................................................................................................28 Служба Po wer BI ......................................................................................................29 Решения, влияющие на производительность ........................................................30 Заключение .................................................................................................................30 Глава 2. Обзор архитектуры и конфигурации Power BI ...................32 Средства подключения к источникам и режимы хранения данных ..................32 Выбор между режимами Import и DirectQuery ..................................................33
Содержание 7 Когда лучше подойдет режим DirectQuery? .......................................................36 Составные модели .............................................................................................37 Режим LiveConnect .................................................................................................38 Извлечение локальных данных с помощью шлюза ..............................................39 Как работает шлюз.................................................................................................40 Предпосылки для оптимальной работы шлюза ................................................40 Технические характеристики шлюза .............................................................42 Настройка ведения логов в шлюзе..................................................................43 Анализ и моделирование логов шлюза ..........................................................45 Анализ логов шлюза ..........................................................................................47 Масштабирование шлюза ................................................................................48 Горизонтальное масштабирование с увеличением количества шлюзов ....48 Общая инструкция по архитектуре .........................................................................50 Планирование расписания обновлений ............................................................50 Снижение сетевой задержки ...........................................................................50 Заключение .................................................................................................................51 Глава 3. Оптимизация DirectQuery ..............................................................53 Моделирование данных для режима DirectQuery .................................................54 Оптимизация связей для DirectQuery ................................................................57 Настройки быстродействия режима DirectQuery ..................................................60 Настройки Po wer BI Desktop .................................................................................60 Оптимизация внешних источников данных .....................................................62 Заключение .................................................................................................................64 Часть II. АНАЛИЗ, УЛУЧШЕНИЕ И УПРАВЛЕНИЕ ПРОИЗВОДИТЕЛЬНОСТЬЮ .....................................................................65 Глава 4. Анализ логов и метрик ....................................................................66 Метрики использования в Po wer BI ........................................................................66 Доработка отчета о метриках использования ...................................................69 Фильтрация метрик использования ...............................................................69 Доступ к сырым данным посредством создания редактируемой копии метрик использования .........................................................................70 Доступ к сырым данным посредством создания собственного отчета о метриках использования ..............................................................................73 Доступ к сырым данным с помощью анализа метрик использования в Excel ..................................................................................................................74 Анализ детализированной информации о производительности ..............74 Анализ метрик отчета о производительности ..............................................76 Получение показателей производительности из нескольких рабочих областей ..............................................................................................................79 Логи Po wer BI и трассировка ....................................................................................80 Журнал действий и единый журнал аудита.......................................................80 Трассировка Analysis Services с помощью конечных точек XMLA .................81
Содержание Интеграция с Azure Log Analytics ........................................................................81 Отслеживание показателей в Azure Analysis Services и Po wer BI Embedded .................................................................................................................82 Метрики Azure для AAS ....................................................................................82 Диагностика в Azure для Analysis Services .....................................................83 Метрики Azure и диагностика для PBIE .........................................................84 Заключение .................................................................................................................84 Материалы к прочтению ...........................................................................................85 Глава 5. Анализатор производительности ..............................................86 Технические требования ...........................................................................................86 Обзор Анализатора производительности ..............................................................87 Действия и метрики в Анализаторе производительности ..............................88 Определение действий пользователя .................................................................89 Определение и устранение проблем с производительностью ...........................92 Единообразие тестов .............................................................................................93 Возможности и ограничения Анализатора производительности..................97 Интерпретация и выводы о данных от Анализатора производительности .............................................................................................98 Медленные запросы ..........................................................................................98 Медленные визуальные элементы ...............................................................100 Эффект от добавления новых визуальных элементов ...............................102 Экспорт и анализ данных о производительности ..............................................103 Заключение ...............................................................................................................107 Глава 6. Внешние инструменты ..................................................................109 Технические требования .........................................................................................110 Po wer BI Helper ..........................................................................................................110 Поиск столбцов, занимающих много места ....................................................110 Поиск неиспользуемых столбцов ......................................................................111 Поиск двунаправленных и неактивных связей ..............................................112 Поиск зависимостей в мерах .............................................................................112 Tabular Editor ............................................................................................................113 Использование утилиты Best Practice Analyzer ...............................................113 DAX Studio и VertiPaq Analyzer ...............................................................................118 Анализ размера модели данных при помощи VertiPaq Analyzer .................118 Настройка производительности модели данных и запросов DAX ...............120 Перехват и повторный запуск запросов ......................................................120 Получение информации о времени выполнения запросов ......................122 Изменение и настройка запросов .................................................................123 Заключение ...............................................................................................................126 Глава 7. Общие принципы управления производительностью ....128 Налаживание воспроизводимого и упреждающего процесса повышения производительности................................................................................................129 Цикл управления производительностью .........................................................130 Установка/обновление контрольных целевых показателей .....................130
Содержание 9 Мониторинг и хранение истории .................................................................132 Обнаружение проблем и расстановка приоритетов ..................................132 Диагностирование и исправление ................................................................132 Принятие превентивных мер ........................................................................132 Обмен опытом и знаниями ....................................................................................133 Помощь конечным пользователям ...................................................................133 Инструкция для разработчиков .........................................................................134 Совместный подход к повышению производительности .............................134 Применение цикла управления производительностью в разных сценариях ..............................................................................................................135 BI-системы самообслуживания .....................................................................135 BI-системы на основе отдела или команды ................................................136 Корпоративные или управляемые ИТ-отделами BI-системы ..................136 Заключение ...............................................................................................................138 Часть III. ИЗВЛЕЧЕНИЕ, ПРЕОБРАЗОВАНИЕ И ВИЗУАЛИЗАЦИЯ ДАННЫХ ................................................................140 Глава 8. Загрузка, преобразование и обновление данных ..........141 Технические требования .........................................................................................142 Основные принципы преобразования данных ...................................................142 Обновление данных, параллелизм и использование ресурсов ....................142 Улучшение среды разработки ............................................................................145 Свертывание запросов, объединение и агрегация .............................................149 Использование добавочного обновления ........................................................152 Использование диагностики запросов .................................................................154 Сбор диагностической информации в Power Query .......................................156 Анализ логов Power Query ..................................................................................157 Оптимизация потоков данных ..............................................................................160 Заключение ...............................................................................................................165 Глава 9. Разработка отчетов и дашбордов ...........................................166 Технические требования .........................................................................................166 Оптимизация интерактивных отчетов.................................................................167 Управление визуальными элементами и запросами .....................................167 Установите выбор по умолчанию в срезах/фильтрах для первой загрузки.............................................................................................................168 Избегайте вывода подробных таблиц со множеством столбцов в базовом отчете ..............................................................................................169 Объединяйте индивидуальные карточки в многострочные или в таблицы ..................................................................................................170 Используйте фильтр Ведущие N для ограничения данных в отчете .......172 Переместите редко используемые срезы на панель фильтров ................173 Исключите ненужные взаимодействия пользователя с отчетом ............173 Используйте всплывающие подсказки для снижения объема и сложности запросов .....................................................................................174
Содержание Проверяйте на производительность пользовательские визуальные элементы и отдавайте предпочтение сертифицированным элементам .........................................................................................................175 Используйте технику сокращения числа запросов для сложных отчетов ..............................................................................................................176 Оптимизация дашбордов .......................................................................................176 Оптимизация отчетов с разбивкой на страницы................................................177 Заключение ...............................................................................................................179 Часть IV. МОДЕЛИ ДАННЫХ, ВЫЧИСЛЕНИЯ И РАБОТА С ОБЪЕМНЫМИ НАБОРАМИ ..................................................................181 Глава 10. Моделирование данных и безопасность на уровне строк ..................................................................................................182 Технические требования .........................................................................................183 Построение эффективных моделей данных ........................................................183 Теория Кимбалла и реализация схемы «звезда» .............................................183 Разработка схемы «звезда» ............................................................................184 Работа со связями типа «многие ко многим» .............................................187 Уменьшение размера набора данных...............................................................190 Ловушки при использовании безопасности на уровне строк ...........................194 Заключение ...............................................................................................................199 Глава 11. Улучшаем DAX ................................................................................201 Технические требования .........................................................................................201 Ловушки DAX и способы оптимизации ................................................................202 Процесс отладки выражений DAX .....................................................................202 Руководство по оптимизации в DAX ................................................................203 Используйте переменные вместо повторения определений мер ...........203 Используйте функцию DIVIDE вместо оператора деления ......................205 Избегайте преобразования пустых значений в ноль или какого-то текста при вычислении числовых мер .........................................................206 Используйте функцию SELECTEDVALUE вместо VALUES ..........................209 Используйте функции IFERROR и ISERROR уместно .................................210 Используйте функцию SUMMARIZE только с текстовыми столбцами ....210 Избегайте использования функции FILTER при передаче фильтрующих условий ....................................................................................210 Используйте функцию COUNTROWS вместо COUNT .................................211 Используйте функцию ISBLANK вместо BLANK .........................................211 Оптимизируйте виртуальные связи при помощи функции TREATAS ....211 Заключение ...............................................................................................................213 Глава 12. Шаблоны работы с большими данными ..........................215 Технические требования .........................................................................................216 Масштабирование при помощи Po wer BI Premium и Azure Analysis Services .....216