Анализ и визуализация данных в Yandex DataLens. Подробное руководство: от новичка до эксперта

Гинько А. Ю.

Анализ и визуализация данных 
в Yandex DataLens

Подробное руководство: от новичка до эксперта

Москва, 2023

УДК   004.4
ББК   32.372
Г49

Г49   Гинько А. Ю.
Анализ и визуализация данных в Yandex DataLens. Подробное руководство: от новичка до эксперта. – М.: ДМК Пресс, 2023. – 356 с.: ил.

         ISBN 978-5-93700-171-9

Современный мир невозможно представить без данных, и от их 
визуаль ного представления во многом зависит эффективность работы 
с ними. Средств анализа и визуализации данных великое множество, и 
в этой книге мы подробно поговорим об одном из них – Yandex DataLens.
Читая эту книгу, вы совершите увлекательный путь от самых азов до 
вершин мастерства в обращении с этим мощнейшим облачным инструментом. Мы вместе построим несколько красочных дашбордов, а помимо этого вы узнаете все о подключениях, датасетах, чартах, функциях, 
включая оконные, и LOD-выражениях.
Издание будет полезно тем, кто хочет освоить искусство визуализации данных с нуля, а также тем, кто уже имеет опыт работы с Yandex 
DataLens и желает расширить свои знания и навыки.

Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но, поскольку вероятность технических ошибок все равно существует, издательство не может гарантировать 
абсолютную точность и правильность приводимых сведений. В связи с этим издательство 
не несет ответственности за возможные ошибки, связанные с использованием книги.

 
                         © Гинько А. Ю., 2022
ISBN 978-5-93700-171-9 
 
© Оформление, издание, ДМК Пресс, 2023

Папе – он почему-то всегда в меня верил

Оглавление

Предисловие от издательства ....................................................................... 8
Об авторе ......................................................................................................... 9
Предисловие ................................................................................................. 10
Введение ....................................................................................................... 11

Цель написания книги ...........................................................................................11
Для кого предназначена эта книга .......................................................................11
Структура книги .....................................................................................................12
Сопроводительные материалы и исходные файлы .............................................13

Глава 1. Основы Yandex DataLens ................................................................ 14

История DataLens: от корпоративной системы к массовому селф-сервису ...14
Причины перехода на Yandex DataLens ..........................................................16
Облачное хранение данных .............................................................................17

Как устроено облако ...............................................................................................19
Модели предоставления облачных услуг ..............................................................20

С места в карьер: строим первый дашборд ....................................................21

Загрузка компонентов из Marketplace ..................................................................21
Интерфейс и терминология Yandex DataLens ......................................................23
Мой первый дашборд .............................................................................................25

Заключение .......................................................................................................55

Глава 2. Подключение к данным ................................................................ 56

Организация хранения данных .......................................................................56

Собственные сервера .............................................................................................56
Облако .....................................................................................................................56
Управляемые БД против виртуальной машины ..................................................57
Создание кластера базы данных MySQL ...............................................................59

Подключение к базам данных .........................................................................63

Подключение к базе данных на примере MySQL .................................................66
Особенности подключения к другим БД ..............................................................68

Подключение к CSV-файлам, Google Sheets и Excel .......................................71

Подключение к CSV-файлам .................................................................................71
Подключение к Google Sheets ................................................................................72
Загрузка данных из Excel .......................................................................................73

Подключение к Яндекс Метрика и AppMetrica ...............................................73

Яндекс Метрика ......................................................................................................74
AppMetrica ..............................................................................................................74

Права доступа к подключениям ......................................................................75
Заключение .......................................................................................................77

Глава 3. Подготовка данных: датасеты ...................................................... 78

Введение в датасеты .........................................................................................78
Создание датасета ............................................................................................78

Оглавление  5

Объединение данных из нескольких таблиц ..................................................80
Поля данных ......................................................................................................82

Создание поля данных ...........................................................................................82
Удаление поля данных ...........................................................................................87
Изменение поля данных ........................................................................................87
Дублирование поля данных ...................................................................................88
Обновление полей в датасете ................................................................................88

Запись формул в вычисляемых полях .............................................................89
Типы данных .....................................................................................................90

Типы данных в Yandex DataLens ...........................................................................90
Таблица соответствий типов данных....................................................................91

Типы агрегации данных ...................................................................................93
Параметры уровня датасета ............................................................................94
Фильтрация датасета ......................................................................................100

Создание фильтра ................................................................................................100
Изменение и удаление фильтра ..........................................................................102

Управление доступом к датасету и строкам .................................................102

Права доступа ко всему датасету ........................................................................102
Права доступа к данным на уровне строк ..........................................................104

Датасеты на основе SQL-запросов ................................................................106
Заключение .....................................................................................................108

Глава 4. Элементы визуализации: чарты ..................................................109

Чарты на основе датасета ..............................................................................109

Создание чарта на основе датасета ....................................................................110

Разновидности чартов ...................................................................................112

Линейная диаграмма ...........................................................................................112
Линейная диаграмма с двумя осями ..................................................................124
Накопительная диаграмма с областями .............................................................125
Нормированная диаграмма с областями ...........................................................126
Столбчатая диаграмма .........................................................................................127
Нормированная столбчатая диаграмма .............................................................129
Линейчатая диаграмма ........................................................................................130
Нормированная линейчатая диаграмма ............................................................132
Точечная диаграмма ............................................................................................134
Круговая диаграмма .............................................................................................136
Кольцевая диаграмма ..........................................................................................137
Индикатор ............................................................................................................139
Условный индикатор ............................................................................................140
Древовидная диаграмма ......................................................................................140
Таблица .................................................................................................................141
Сводная таблица ...................................................................................................144
Карта .....................................................................................................................145

QL-чарты .........................................................................................................148

Создание QL-чарта ...............................................................................................149
Добавление параметров в QL-чарт .....................................................................150

 Оглавление

Настройки чартов ...........................................................................................151

Общие настройки .................................................................................................152
Настройки измерений и показателей .................................................................153
Настройки секций ................................................................................................155
Настройки секций на карте .................................................................................157

Параметры уровня чарта ...............................................................................159
Иерархии в чартах ..........................................................................................161
Диагностика чартов ........................................................................................163
Публикация чартов .........................................................................................165

Встраивание чартов .............................................................................................166

Управление доступом к чарту ........................................................................166
Заключение .....................................................................................................167

Глава 5. Панели визуализации: дашборды ...............................................168

Составляющие дашборда ...............................................................................168
Наш первый осмысленный дашборд ............................................................169

Создание дашборда ..............................................................................................169
Добавление чартов на дашборд ..........................................................................171
Создание вкладок .................................................................................................178
Добавление селекторов на дашборд ...................................................................180
Связи и алиасы .....................................................................................................189
Добавление чартов из других датасетов.............................................................195
Текстовые виджеты и язык разметки Markdown ...............................................201
Добавление виджета с заголовком......................................................................206

Настройки дашборда ......................................................................................206
Публикация дашборда ....................................................................................208
Управление доступом к дашборду ................................................................209
Примеры дашбордов ......................................................................................210
Заключение .....................................................................................................211

Глава 6. Стандартные функции и примеры их использования ..............212

Агрегатные функции ......................................................................................213

Прямая агрегация .................................................................................................214
Условная агрегация ..............................................................................................216
Статистическая агрегация ...................................................................................220
Приблизительная агрегация ................................................................................225
Строковая агрегация ............................................................................................225

Логические функции ......................................................................................226

CASE. ......................................................................................................................226
IF...... ......................................................................................................................227
IFNULL ...................................................................................................................228
ISNULL ...................................................................................................................229
ZN..... .....................................................................................................................229

Операторы.......................................................................................................229

Математические операторы ................................................................................229
Логические операторы.........................................................................................231

Оглавление  7

Математические функции .............................................................................233

Функции округления ............................................................................................234
Функции сравнения .............................................................................................234
Арифметические функции ..................................................................................235
Тригонометрические функции ...........................................................................236

Строковые функции .......................................................................................236

Функции поиска в строке ....................................................................................236
Функции строковых преобразований .................................................................239
Функции для работы с регулярными выражениями .........................................243

Функции преобразования типов ...................................................................246
Функции даты и времени...............................................................................249

Функции работы с датами ...................................................................................249
Функции возвращения части даты .....................................................................251

Функции для работы с временными рядами ...............................................251
Функции для работы с массивами .................................................................254
Функции разметки .........................................................................................255
Географические функции...............................................................................256
Заключение .....................................................................................................256

Глава 7. Оконные функции и LOD-выражения .........................................257

Оконные функции ..........................................................................................257

Агрегатные оконные функции ............................................................................259
Оконные функции смещения ..............................................................................282
Ранжирующие оконные функции .......................................................................287
Вложенные оконные функции ............................................................................295
BEFORE FILTER BY ................................................................................................297
Собираем дашборд-шпаргалку по оконным функциям ....................................299

LOD-выражения ..............................................................................................300

Фиксированный уровень детализации ...............................................................302
Добавление уровней детализации ......................................................................304
Исключение уровней детализации .....................................................................310
Собираем дашборд-шпаргалку по LOD-выражениям .......................................311

Заключение .....................................................................................................311

Глава 8. Инструменты ETL и обработка данных с помощью Python 
и машинного обучения ..............................................................................312

Инструменты и технологии ETL ....................................................................312

Пример 1. Из базы в базу с очисткой и агрегацией ...........................................314
Пример 2. Поиск ближайших магазинов на карте Москвы ...............................321

Обработка данных с применением машинного обучения ..........................331

Пример 1. Прогнозирование на основе линейной регрессии ...........................331
Пример 2. Кластеризация магазинов методом k-средних ................................338

Заключение .....................................................................................................351

Предметный указатель ...............................................................................352

Предисловие от издательства

Отзывы и пожелания
Мы всегда рады отзывам наших читателей. Расскажите нам, что вы думаете 
об этой книге, – что понравилось или, может быть, не понравилось. Отзывы 
важны для нас, чтобы выпускать книги, которые будут для вас максимально 
полезны.
Вы можете написать отзыв на нашем сайте www.dmkpress.com, зайдя на страницу книги и оставив комментарий в разделе «Отзывы и рецензии». Также можно послать письмо главному редактору по адресу dmkpress@gmail.com; 
при этом укажите название книги в теме письма. 
Если вы являетесь экспертом в какой-либо области и заинтересованы в написании новой книги, заполните форму на нашем сайте по адресу http://dmkpress.
com/authors/publish_book/ или напишите в издательство по адресу dmkpress@
gmail.com.

Список опечаток
Хотя мы приняли все возможные меры для того, чтобы обеспечить высокое 
качество наших текстов, ошибки все равно случаются. Если вы найдете ошибку 
в одной из наших книг – возможно, ошибку в основном тексте или программном коде, – мы будем очень благодарны, если вы сообщите нам о ней. Сделав 
это, вы избавите других читателей от недопонимания и поможете нам улучшить последующие издания этой книги. 
Если вы найдете какие-либо ошибки в коде, пожалуйста, сообщите о них 
главному редактору по адресу dmkpress@gmail.com, и мы исправим это в следующих тиражах.

Нарушение авторских прав
Пиратство в интернете по-прежнему остается насущной проблемой. Издательство ДМК Пресс очень серьезно относится к вопро сам защиты авторских 
прав и лицензирования. Если вы столкнетесь в интернете с незаконной публикацией какой-либо из наших книг, пожалуйста, пришлите нам ссылку на 
интернет-ресурс, чтобы мы могли применить санкции.
Ссылку на подозрительные материалы можно прислать по адресу элект
ронной почты dmkpress@gmail.com.
Мы высоко ценим любую помощь по защите наших авторов, благодаря которой мы можем предоставлять вам качественные материалы.

Об авторе

Позвольте представиться. Меня зовут Александр Гинько, и я занимаюсь переводческой 
деятельностью в сотрудничестве с издательством «ДМК Пресс». Моя специализация в 
области переводов вот уже больше двух лет 
вращается в области бизнес-аналитики, за 
это время я успел перевести уже 14 книг и 
продолжаю переводить новые.
Среди переведенных мной книг – все бестселлеры известных итальянских специалистов и популяризаторов Power BI и DAX Марко Руссо и Альберто Феррари, а также книги 
по Tableau, Excel, Power Query, Python и R.
В процессе перевода я стараюсь полностью погружаться в предметную область и проверять все приведенные в книгах примеры, что позволяет мне осваивать все новые и новые программные пакеты для анализа данных.
Книга по Yandex DataLens будет первой для меня в качестве автора, но я надеюсь, выйдет она не комом, а мне хватит накопленного опыта работы с другими системами бизнес-аналитики и критического мышления, чтобы подробно 
описать все наиболее важные возможности этого продукта.
Не стоит относиться к этой книге как к инструкции или руководству от самих разработчиков Yandex DataLens. И это ни в коем случае не реклама! Можете поверить, что Yandex не заплатил за написание этой книги ни копейки. 
Более того, инициатором написания книги был я сам. В связи с подъемом интереса к российским BI-системам я решил попробовать свои силы в авторстве 
и связался лично с менеджером по развитию сервиса Yandex DataLens Павлом 
Дубининым. Он с большим энтузиазмом отреагировал на идею написания 
книги и оказывал всяческую поддержку в процессе работы. Но опять же никоим образом компания-разработчик не влияла на концепцию и тональность 
написанного материала. Иначе бы я за это не взялся.
Я просто попытался сделать эту книгу такой, какую сам хотел бы почитать, 
если бы мне понадобилось изучить новый инструмент. Надеюсь, у меня получилось.
Всю информацию, анонсы и промокоды со скидками на покупку моих книг 
вы можете найти на моем канале в Telegram, подписывайтесь и следите за новостями: https://t.me/alexanderginko_books.

В добрый путь!

Предисловие

Современный мир, это данные! Данные, это современный мир! Впрочем, знакомить их уже не нужно, они давно знакомы. Сегодня ни одну область жизни 
невозможно представить без данных, их анализа и визуального представления.
Кто более или менее следит за тенденциями в области обработки и потребления информации, меня поймет. Еще совсем недавно – буквально два десятилетия назад – визуальному представлению данных уделялось не так много 
внимания. Я лично, будучи в ту пору разработчиком, программистом и внедренцем проектов на базе 1С:Предприятия, прекрасно помню, что львиная 
доля задач при работе даже с крупными организациями сводилась к реализации требуемой бизнес-логики на уровне расчетов и хранения данных, а о визуальной части никто даже не задумывался. Многие из вас не поверят, но тогда 
(совсем недавно) были огромной редкостью даже самые простые графики и 
диаграммы в отчетах, предназначавшихся для руководителей разного уровня. 
Вместо этого большая часть информации представлялась в виде таблиц, пределом ухищрений в которых были раскраска строк в разные цвета и нехитрое 
(и крайне неудобное) объединение заголовков столбцов.
«Да, были люди в наше время…» Не то чтобы я имел что-то против нынешнего племени, но вряд ли сегодня можно представить себе руководителя даже 
самого незначительного уровня, перебирающего сшитые в папку листы A4 
с бесконечной таблицей в поисках нужной ему продажи. Прогресс клипового 
мышления, при котором человек воспринимает информацию фрагментарно, 
добрался и до анализа данных, и в результате прежние таблицы (так называемые портянки) превратились в сжатые и очень лаконичные визуальные представления, получившие название «дашборды».
Кстати, за названием долго ходить не пришлось. Дашборд (англ. dashboard) 
в переводе означает «приборная панель». А где еще, как не в автомобиле, нам 
нужно иметь возможность мгновенно оценивать информацию при беглом 
взгляде на панель? Если бы вам пришлось прокручивать таблицу в поисках вашей текущей скорости или уровня топлива, далеко бы вы не уехали.
Современные информационные дашборды не уступают по степени информативности приборной панели автомобиля, и с их помощью руководители отделов и предприятий могут очень быстро и в сжатом виде получать «слепок» 
деятельности подразделений, не тратя на это много времени.
Данные для анализа в современном мире должны быть представлены в виде 
удобных и красочных дашбордов, это всеми признанный факт. А что нужно, 
чтобы строить лаконичные визуальные представления без лишних усилий? 
Средств создания богатых визуализаций на рынке масса, и в этой книге мы 
подробно, насколько это возможно, поговорим об одном из них, а именно о 
Yandex DataLens…