Методы работы с маркетинговыми данными для решения задач цифрового маркетинга. Часть I
Покупка
Тематика:
Отраслевой маркетинг
Издательство:
Дело (РАНХиГС)
Год издания: 2023
Кол-во страниц: 105
Дополнительно
Вид издания:
Учебно-методическая литература
Уровень образования:
ВО - Бакалавриат
ISBN: 978-5-907389-66-3
Артикул: 865406.01.99
В учебно-методическом пособии изложены основные направления применения языка программирования Python для маркетинговых исследований и аналитики, предоставляющего расширенные возможности для подгонки статистических моделей. Экосистема математических и программных инструментов на языке Python включает в себя широкий спектр классических и перспективных статистических методов, а также методов визуализации. Описываются приемы вычислений с применением открытых библиотек математического и статистического моделирования на языке Python. Приводятся примеры и даются пояснения по выполнению типовых заданий.
Предназначено для студентов, обучающихся по программам подготовки бакалавров, магистров по направлениям «Экономика», «Менеджмент», а также по специальности «Экономическая безопасность». Может быть использовано также аспирантами, слушателями профильных курсов повышения квалификации, преподавателями и специалистами-аналитиками, имеющими некоторый опыт программирования и желающими изучить Python.
Печатается по решению ученого совета Владимирского филиала РАНХиГС.
Тематика:
ББК:
УДК:
- 004: Информационные технологии. Вычислительная техника...
- 339: Торговля. Международные экономические отношения. Мировое хозяйство
ОКСО:
- ВО - Бакалавриат
- 38.03.01: Экономика
- 38.03.02: Менеджмент
- ВО - Магистратура
- 38.04.01: Экономика
- 38.04.02: Менеджмент
- ВО - Специалитет
- 38.05.01: Экономическая безопасность
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
А. Н. Кисляков, Н. Е. Тихонюк МЕТОДЫ РАБОТЫ С МАРКЕТИНГОВЫМИ ДАННЫМИ ДЛЯ РЕШЕНИЯ ЗАДАЧ ЦИФРОВОГО МАРКЕТИНГА ЧАСТЬ I Учебное пособие Владимир • 2023
УДК 004.42:339.138
ББК 65.290-2:32.973-018
Кис44
Рецензенты:
Яресь О. Б. – директор института ТиП ФГБОУ ВО «Владимирский
государственный университет имени А. Г. и Н. Г. Столетовых», кандидат
экономических наук, доцент;
Сидорова И. В. – заведующий кафедрой информационных технологий
Владимирского филиала РАНХиГС, кандидат физико-математических наук
Кис44
Кисляков А. Н., Тихонюк Н. Е.
Методы работы с маркетинговыми данными для решения задач
цифрового маркетинга. Часть I: учебное пособие. – Владимир :
Владимирский филиал РАНХиГС, 2023. – 105 с.
ISBN 978-5-907389-66-3
В учебно-методическом пособии изложены основные направления
применения
языка
программирования
Python
для
маркетинговых
исследований и аналитики, предоставляющего расширенные возможности
для подгонки статистических моделей. Экосистема математических и
программных инструментов на языке Python включает в себя широкий
спектр классических и перспективных статистических методов, а также
методов визуализации. Описываются приемы вычислений с применением
открытых библиотек математического и статистического моделирования на
языке Python. Приводятся примеры и даются пояснения по выполнению
типовых заданий.
Предназначено
для
студентов,
обучающихся
по
программам
подготовки
бакалавров,
магистров
по
направлениям
«Экономика»,
«Менеджмент», а также по специальности «Экономическая безопасность».
Может быть использовано также аспирантами, слушателями профильных
курсов повышения квалификации, преподавателями и специалистамианалитиками, имеющими некоторый опыт программирования и желающими
изучить Python.
Печатается по решению ученого совета Владимирского филиала
РАНХиГС.
УДК 004.42:339.138
ББК 65.290-2:32.973-018
ISBN 978-5-907389-66-3
© А. Н. Кисляков, Н. Е. Тихонюк, 2023
© Владимирский филиал РАНХиГС, 2023
Содержание Введение Раздел 1. КОРРЕЛЯЦИОННЫЙ АНАЛИЗ И ОПИСАТЕЛЬНАЯ СТАТИСТИКА 1.1. Типовые направления использования корреляционного анализа 7 1.2. Набор исходных данных и ноутбук с примером 7 1.3. Описание последовательности шагов решения задачи 8 1.4. Описание алгоритма работы с данными. Изучение структуры данных и описательная статистика 8 1.5. Механизм визуализации данных 15 1.6. Описание алгоритма работы с данными с применением корреляционного анализа 29 Раздел 2. РЕГРЕССИОННЫЙ АНАЛИЗ. ОТБОР ФАКТОРОВ, ОПРЕДЕЛЯЮЩИХ РЕЗУЛЬТАТЫ НА ОСНОВЕ ЛИНЕЙНЫХ МОДЕЛЕЙ 2.1. Типовые направления использования регрессионного анализа 43 2.2. Набор исходных данных и ноутбук с примером 44 2.3. Описание последовательности шагов решения задачи 45 2.4. Описание алгоритма работы с данными. Изучение структуры данных и описательная статистика 45 2.5. Механизм визуализации данных 50 2.6. Описание алгоритма работы с данными с применением моделей линейной регрессии 52 Раздел 3. МЕТОДЫ ПОНИЖЕНИЯ РАЗМЕРНОСТИ ДАННЫХ 3.1. Типовые направления использования 65 3.2. Набор исходных данных и ноутбук с примером 65 3.3. Описание последовательности шагов решения задачи 67 3.4. Описание алгоритма работы с данными. Изучение структуры данных и описательная статистика 67 3.5. Описание алгоритма понижения размерности с применением анализа главных компонент. Механизм визуализации данных 73 3.6. Оценка качества работы алгоритма и выбор количества главных компонент 80 Раздел 4. КЛАСТЕРИЗАЦИЯ ДАННЫХ 4.1. Типовые направления использования кластерного анализа 86 4.2. Набор исходных данных и ноутбук с примером 86 4.3. Описание последовательности шагов решения задачи 87 4.4. Описание алгоритма работы с данными. Изучение структуры данных 87 4.5. Описание алгоритма работы с данными с применением кластерного анализа 89 4.6. Механизм визуализации данных 91 4.7. Дополнительный пример кластеризации на основе k-средних значений: k_means() 99 Список литературы 104
Введение Современные маркетинговые исследования дополнительно требуют, чтобы специалисты в данной области обладали навыками программирования и научных исследований, а также знаниями основ экономико-математического моделирования. Этапы проведения маркетингового исследования приведены на нижеследующем рисунке. В практической части данного учебного пособия предлагается рассмотреть реальные примеры применения экономикоматематических моделей и инструментов современных языков программирования и анализа данных, призванные решить следующие обширные типовые задачи маркетинговых исследований: 1) исследование взаимосвязей между характеристиками объектов исследования, выраженных в виде математических переменных с использованием методов корреляционного анализа; 2) построение прогнозных моделей для количественных показателей эффективности деятельности организации в сфере маркетинга с использованием методов регрессионного анализа; 3) снижения сложности данных за счет уменьшения количества переменных, учитываемых в построенной модели, без потери качества; 4) автоматической сегментации объектов, в том числе продуктов и/или потребителей, с применением методов кластеризации с учетом скрытых взаимосвязей в наборе данных. В рамках каждой задачи рассматриваются вопросы, связанные с описанием алгоритмов обработки, очистки, а также визуализации данных.
Инструментарий для работы с данными Для выполнения описанных в книге заданий необязательно быть экспертом по программированию на языке Python. По существу, достаточно уметь выполнять три ключевых действия. 1. Создавать скрипты – последовательно выполняемый код программы на языке программирования Python. На начальном этапе это можно сделать простым копированием приведенного в пособии программного кода в специально созданный в среде разработки (или редакторе) файл, либо набирать его вручную, что является более предпочтительным, так как развивает навыки программирования и способствует более глубокому пониманию действий разработчика. В качестве среды разработки могут быть использованы два инструмента: – Google Colaboratory, или GoogleColab, – облачная среда разработки на языке Python от компании Google, которая позволяет любому пользователю писать исходный код в редакторе и запускать его из браузера. Для работы в Google Colaboratory необходим Google аккаунт, а перейти в среду разработки можно по ссылке https://colab.research.google.com; – Anaconda3 – локально развертываемая на компьютере среда разработки, содержащая дистрибутив языков программирования Python и R, а также набор популярных свободных библиотек, объединённых проблематиками науки о данных и машинного обучения. Однако развертывание локально на компьютере полноценного набора инструментов для разработки на языке Python требует некоторой квалификации и выходит за рамки тематики данного пособия, поэтому на начальном этапе предпочтительно использование Google Colaboratory для работы с примерами. 2. Подключать библиотеки и использовать их. Программная разработка решений по анализу данных предполагает запуск готового кода в среде с подключенными программными библиотеками, содержащими уже готовый функционал для решения поставленных задач (аналог готовых функций в MS Excel). Google Colaboratory уже имеет установленный в облачной среде обширный набор библиотек, которые пользователю останется лишь подключить в своем проекте, что значительно облегчает задачу и позволяет сосредоточиться на синтаксисе языка и изучении функционала его библиотек. Наиболее популярными библиотеками для анализа данных являются pandas, numpy, matplotlib, scikit-learn и другие. О них будет более подробно рассказано в примерах. 3. Запускать исполняемый код. Исполнение написанного кода может быть реализовано как на локальном компьютере, так и в облачной среде – как в случае с Google Colaboratory. При этом должны
быть установлены все используемые в проекте библиотеки. Весь разработанный код схраняется в виде скрипта с расширением *.py и выполняется целиком, либо может быть сформирован в виде документа-блокнота, так называемого Jupyter Notebook (или же просто ноутбук), используемого одноименным инструментом в среде Anaconda3 и поддерживаемым в качестве базового типа файлов в Google Colaboratory. Ноутбуки позволяют работать с исходным кодом программы, запускать его, вводить и выводить данные, а также писать пояснения к указанному коду. Ноутбуки в Google Colaboratory позволяют: - редактировать Python код в браузере, с подсветкой синтаксиса, автоотступами и автозаполнением; - запускать код в браузере; - отображать результаты вычислений с медиапредставлением (схемы, графики); - работать с языком разметки Markdown и LaTeX. Ноутбуки – это файлы с расширением *ipynb, в которых сохраняются исходный код, входные и выходные данные, полученные в рамках сессии. Фактически он является записью вашей работы, но при этом позволяет заново выполнить код, присутствующий на нем. Ноутбуки можно экспортировать в форматы PDF, HTML. Все созданные пользователем ноутбуки сохранятся на GoogleDrive пользователя в папку ColabNotebooks соответственно после процедуры авторизации. Работа с контентом облачного хранилища Пособие отличается наличием сопроводительного облачного хранилища со всеми используемыми в заданиях файлами примеров (доступны как окончательные варианты ноутбуков в формате *.ipynb на языке Python, так и исходные данные в формате *.csv, с которыми можно работать самостоятельно). Каждому файлу с ответами присвоено имя, идентичное указанному в пособии, по которому его можно легко идентифицировать. Эти файлы и другие данные могут быть загружены со страницы подробных данных книги по указанным ниже адресам.
Раздел 1. КОРРЕЛЯЦИОННЫЙ АНАЛИЗ И ОПИСАТЕЛЬНАЯ СТАТИСТИКА 1.1. Типовые направления использования корреляционного анализа Опытные аналитики понимают, что наиболее важные выводы в маркетинговых исследованиях основаны на понимании взаимосвязей между переменными. Выявление такого рода отношений помогает маркетологам понять, как более эффективно привлекать клиентов. Например, если люди, живущие ближе к магазину, посещают его чаще и покупают больше, то очевидной стратегией было бы рассылать рекламу людям, живущим в этом районе. Однако не все признаки поведенческой активности выявляются столь очевидным образом. В данном примере показано, каким образом можно установить взаимосвязи между парами переменных в многомерных данных, визуализировать взаимосвязи и вычислять статистические данные, описывающие их ассоциации. На основе выявленных зависимостей существует возможность построения регрессионных моделей, но прежде, чем это сделать, необходимо изучить свойства данных. Данный анализ зачастую экономит время перед началом построения сложных моделей. 1.2. Набор исходных данных и ноутбук с примером Необходимые для работы данные можно загрузить по ссылке (в том числе с использованием QR-кода при работе с бумажной версией учебно-методического пособия): https://drive.google.com/file/d/1W4ovRk6IYk8m3zbjFHyZTsSebzkCni27/ view?usp=sharing Ознакомиться с полным кодом программы по данному примеру по ссылке (в том числе с использованием QR-кода при работе с бумажной версией учебно-методического пособия): https://colab.research.google.com/drive/1fkfnw6IaF3HtZR6Bnfv9elibpkNsmd1?usp=sharing
1.3. Описание последовательности шагов решения задачи
Выполнение корреляционного анализа данных реализуется
пошагово в следующем виде, приведенном на нижеследующем
рисунке.
Шаг 1
Получение исходного
набора данных и
представление его в
необходимом формате
Шаг 2
Изучение структуры
данных и описательная
статистика с элементами
визуализации
Шаг 3
Построение
корреляционной
матрицы признаков
исходного набора
данных.
Формирование выводов
о тесноте связи между
переменными набора
данных.
Шаг 4
1.4. Описание алгоритма работы с данными.
Изучение структуры данных и описательная статистика
Шаг 1. Для понимания основ корреляционно-регрессионного
анализа рассматривается набор данных, который описывает признаки
клиентов многоканального ритейлера и их транзакции за 1 год. Эти
данные включают подмножество клиентов, для которых представлены
данные опроса об удовлетворенности продуктом. Ниже приведен код с
пояснениями, который позволяет обрабатывать и анализировать эти
данные.
import pandas as pd
cust_df = pd.read_csv('retail.csv')
Шаг 2. В целях углубления понимания закономерностей
формирования данных для дальнейшего решения поставленной задачи
предлагается самостоятельно сгенерировать тестовый набор данных и
изучить их особенности, структуру и статистические характеристики.
Для начала необходимо синтезировать набор данных для 1000
клиентов многоканального ритейлера, который продает товары в
розничных и онлайн-магазинах. Эти данные аналогичны тем, которые
можно было бы взять из системы управления взаимоотношениями с
клиентами компании (Customer Relationship Management CRM).
Процесс синтеза данных не является обязательным, но очень
полезен для понимания природы и статистических характеристик
данных на уровне моделирования и позволяет освоить новые приемы и
изучить программный инструментарий пакетов на языке Python.
Необходимо начать с установки начального значения генератора
случайных чисел1, чтобы сделать процесс воспроизводимым, и создаем
фрейм (кадр) данных для хранения:
1 В книге Дугласа Адамса «Путеводитель для путешествующих автостопом по
галактике» ответ на «Главный вопрос жизни, вселенной и всего такого» (англ. The
# Подключаются библиотеки numpy and pandas
import pandas as pd # библиотека pandas содержит функционал для
работы со
специальными структурами данных и операциями для манипулирования чи
словымитаблицами и временными рядами
import numpy as np # общие математические и числовые операции
n_cust = 1000
np.random.seed(42)
cust_df = pd.DataFrame({'cust_id': pd.Categorical(range(n_cust))})
Переменная n_cust объявляется для задания количества клиентов
в синтетическом наборе данных и используется везде, где нужно
ссылаться на количество клиентов. Это хорошая практика, поскольку
она позволяет изменять значение переменной n_cust только в одном
месте кода, а затем повторно запустить код для создания нового набора
данных с другим количеством клиентов.
Затем создается ряд переменных, описывающих клиентов, и эти
переменные добавляются в фрейм данных cust_df, а проверка
осуществляется с помощью метода describe():
cust_df['age'] = np.random.normal(loc=35, scale=5, size=n_cust)
cust_df['credit_score'] = np.random.normal(loc=3 * cust_df.age + 62
0,
scale=50, size=n_cust)
cust_df['email'] = pd.Categorical(np.random.choice(a=['yes', 'no'],
p=[0.8, 0.2], size=n_cust))
cust_df['distance_to_store'] = np.exp(np.random.normal(loc=2,
scale=1.2, size=n_cust))
cust_df.describe(include='all')
Рис. 1.1. Результат формирования набора данных (статистическое
описание)
Ultimate Question of Life, the Universe, and Everything) должен был решить все
проблемы Вселенной. Этого ответа с нетерпением ждали все разумные расы. Он
был получен в результате семи с половиной миллионов лет непрерывных
вычислений на специально созданном компьютере – Думателе (англ. Deep
Thought). По утверждению компьютера, ответ был несколько раз проверен на
правильность, но он может всех огорчить. Оказалось, что ответ на вопрос – «42».
Для добавления новых переменных в фрейм данных cust_df используется простое присвоение (=) имени с обозначением ['COLUMN_NAME']. Столбцы в фреймах данных могут быть легко созданы или заменены таким образом, если вектор, который назначается новому столбцу, имеет соответствующую длину. Возраст клиентов в годах (age) рассчитывается на основе нормального распределения со средним значением 35 и стандартным отклонением 5 с использованием numpy.random.normal(loc, scale, size). Кредитные баллы (credit_score) также моделируются с использованием нормального распределения, но в этом случае полагается, что среднее значение распределения связано с возрастом клиента, при этом у пожилых клиентов в среднем более высокие кредитные баллы. Переменная (email) указывает, есть ли у клиента предварительно одобренное предложение, отправленное по электронной почте на некоторую сумму, используя функцию numpy.random.choice(), Целевая переменная для данных CRM – distance_to_store в километрах, которая, как предполагается, соответствует экспоненциальному закону распределения, которое дает положительные расстояния, причем большинство расстояний относятся к объектам, находящимся относительно близко к ближайшему магазину. Для просмотра содержимого достаточно выполнить строку кода cust_df.distance_to_store.hist(). Следующий этап – создать данные для интернет-магазина: итоговые данные за 1 год для каждого клиента по онлайн-посещениям и транзакциям плюс общие расходы. Необходимо смоделировать количество посещений с отрицательным биномиальным распределением – дискретным распределением, часто используемым для моделирования количества событий с течением времени. Как и логнормальное распределение, отрицательное биномиальное распределение генерирует положительные значения и имеет «длинный правый хвост», что означает, что в данных большинство клиентов совершают относительно мало посещений, а несколько клиентов совершают много посещений. Данные из отрицательного биномиального распределения могут быть сгенерированы с помощью функции numpy.random.negative_binomial(n,p, size): mu = 15 + ((cust_df.email == 'yes') * 15 - 0.7 * (cust_df.age - cus t_df.age.median())) n = 0.3 prob = n / (n + mu) cust_df['online_visits'] = np.random.negative_binomial(n=0.3, p=pro b, size=n_cust) Метод negative_binomial функции random принимает n и p в качестве параметров формы, где n - целевое количество успехов,