Анализ данных и машинное обучение. Методы и инструментальные средства
Покупка
Тематика:
Кибернетика
Издательство:
Дело (РАНХиГС)
Автор:
Наумов Владимир Николаевич
Год издания: 2020
Кол-во страниц: 260
Дополнительно
Вид издания:
Учебное пособие
Уровень образования:
ВО - Бакалавриат
ISBN: 978-5-89781-667-5
Артикул: 864398.01.99
Пособие посвящено одному из наиболее активно развивающихся направлений в области обработки данных с учетом цифровизации экономики, увеличения объемов данных, внедрения сквозных информационных технологий. В нем рассмотрены наиболее популярные методы анализа данных и машинного обучения. Приведена их общая характеристика, примеры решения практических задач с использованием языка статистической обработки R,
а также программных средств: RStudio, SPSS, Orange, Loginom. Настоящее пособие можно рассматривать как практическое введение в решение аналитических задач обработки наборов данных. Уровень изложения материала
позволяет освоить рассматриваемые методы без необходимости дополнительной подготовки. Издание может быть полезно как студентам, магистрантам и аспирантам, изучающим методы анализа данных, машинного обучения, искусственного интеллекта, теорию data science, так и аналитикам, начинающим осваивать данные методы для их применения в своей практической деятельности.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 02.03.02: Фундаментальная информатика и информационные технологии
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- ВО - Магистратура
- 09.04.01: Информатика и вычислительная техника
- 09.04.02: Информационные системы и технологии
- ВО - Специалитет
- 09.05.01: Применение и эксплуатация автоматизированных систем специального назначения
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Федеральное государственное бюджетное образовательное учреждение высшего образования РОССИЙСКАЯ АКАДЕМИЯ НАРОДНОГО ХОЗЯЙСТВА И ГОСУДАРСТВЕННОЙ СЛУЖБЫ ПРИ ПРЕЗИДЕНТЕ РОССИЙСКОЙ ФЕДЕРАЦИИ СЕВЕРО-ЗАПАДНЫЙ ИНСТИТУТ УПРАВЛЕНИЯ Санкт-Петербург 2020 В. Н. Наумов АНАЛИЗ ДАННЫХ И МАШИННОЕ ОБУЧЕНИЕ Методы и инструментальные средства Учебное пособие
УДК 519.6(075.8) ББК 22.161я73 Н 34 Рецензенты: Жиряева Елена Васильевна — д-р экон. наук, профессор кафедры экономики Северо-Западного института управления РАНХиГС; Падерно Павел Иосифович — д-р техн. наук, профессор кафедры информационных систем Санкт-Петербургского государственного электротехнического университета «ЛЭТИ» им. В. И. Ульянова (Ленина) Наумов В. Н. Н 34 Анализ данных и машинное обучение. Методы и инструментальные средства : учеб. пособие / В. Н. Наумов. — СПб. : ИПЦ СЗИУ РАНХиГС, 2020. — 260 с. ISBN 978-5-89781-667-5 Пособие посвящено одному из наиболее активно развивающихся направлений в области обработки данных с учетом цифровизации экономики, увеличения объемов данных, внедрения сквозных информационных технологий. В нем рассмотрены наиболее популярные методы анализа данных и машинного обучения. Приведена их общая характеристика, примеры решения практических задач с использованием языка статистической обработки R, а также программных средств: RStudio, SPSS, Orange, Loginom. Настоящее пособие можно рассматривать как практическое введение в решение аналитических задач обработки наборов данных. Уровень изложения материала позволяет освоить рассматриваемые методы без необходимости дополнительной подготовки. Издание может быть полезно как студентам, магистрантам и аспирантам, изучающим методы анализа данных, машинного обучения, искусственного интеллекта, теорию data science, так и аналитикам, начинающим осваивать данные методы для их применения в своей практической деятельности. УДК 519.6(075.8) ББК 22.161я73 © Наумов В. Н., 2020 © Северо-Западный институт управления РАНХиГС, 2020 ISBN 978-5-89781-667-5
ОГЛАВЛЕНИЕ Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Глава 1. ОБЩАЯ ХАРАКТЕРИСТИКА АНАЛИЗА ДАННЫХ И МАШИННОГО ОБУЧЕНИЯ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.1. Предмет анализа данных и машинного обучения. . . . . . . . . . . . . 11 1.2. Инструментальные средства анализа данных и машинного обучения. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 Глава 2. ЗАДАЧИ ПРЕДОБРАБОТКИ И РАЗВЕДОЧНОГО АНАЛИЗА ДАННЫХ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 2.1. Общая характеристика предобработки и разведочного анализа данных. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 2.2. Графические методы анализа данных . . . . . . . . . . . . . . . . . . . . . . . 57 2.3. Методы очистки и предобработки данных. . . . . . . . . . . . . . . . . . . 78 2.4. Сокращение размерности выборки. Проецирование многомерных данных. . . . . . . . . . . . . . . . . . . . . . . 98 2.5. Методы повторной выборки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 Глава 3. ЭЛЕМЕНТЫ РЕГРЕССИОННОГО АНАЛИЗА. . . . . . . . . . . . . . . 118 3.1. Определение регрессионной модели . . . . . . . . . . . . . . . . . . . . . . . . 118 3.2. Инструментальные средства построения регрессионных моделей. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129 Глава 4. МЕТОДЫ КЛАСТЕРНОГО АНАЛИЗА . . . . . . . . . . . . . . . . . . . . . . . . . 152 4.1. Общая характеристика кластерного анализа . . . . . . . . . . . . . . . . . 152 4.2. Иерархическая кластеризация. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167 4.3. Кластеризация методом k-средних. . . . . . . . . . . . . . . . . . . . . . . . . . 175 4.4. Методы кластеризации на графах. . . . . . . . . . . . . . . . . . . . . . . . . . . 182 Глава 5. МЕТОДЫ КЛАССИФИКАЦИИ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186 5.1. Общая характеристика задач классификации . . . . . . . . . . . . . . . . 186 5.2. Характеристика методов классификации . . . . . . . . . . . . . . . . . . . . 195 5.3. Ансамбли методов классификации. . . . . . . . . . . . . . . . . . . . . . . . . . 244 Список литературы. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256
ВВЕДЕНИЕ Развитие информационной отрасли, переход к информационному обществу, цифровизация экономики приводят к появлению новых профессий, переосмыслению традиционных, определению новых трудовых функций и профессиональных компетенций, связанных с использованием информационных систем и информационно-коммуникационных технологий. В Указе Президента Российской Федерации «О стратегии развития информационного общества в Российской Федерации на 2017–2030 годы» дано определение понятия «цифровая экономика». Под ней в данном определении понимается хозяйственная деятельность, в которой ключевым фактором производства являются данные в цифровом виде, обработка больших объемов, использование результатов анализа которых по сравнению с традиционными формами хозяйствования позволяет существенно повысить эффективность различных видов производства, технологий, оборудования, хранения, продажи, доставки товаров и услуг1. В приведенном определении предполагается, что следствием цифровизации является стремительный рост объемов информации. По данным отдельных источников2, объем данных всего мира к 2025 г. достигнет 175 зеттабайт (напомним, что 1 зеттабайт составляет 1021 байт). Их экспоненциальный рост привел к проблеме больших данных. Сегодня даже при значительно меньшем объеме оцифрованных данных проанализировано только около одного их процента. Более 19 часов в неделю сотрудники офисов проводят в поиске необходимых данных, их обработке и анализе. Данные теряются, не используются, как следствие, часто решения, в том числе и критические, 1 Указ Президента Российской Федерации от 09.05.2017 № 203 «О стратегии развития информационного общества в Российской Федерации на 2017–2030 годы» [Электронный ресурс]. — URL: http://kremlin.ru/acts/ bank/41919 (дата обращения: 02.12.19). 2 Объем данных всего мира к 2025 году увеличится в 10 раз [Электронный ресурс]. — URL: https://aboutdata.ru/2017/04/27/volume-of-data-by-2025 (дата обращения: 02.12.19).
Введение принимаются без наличия достаточной для этого информации. На сегодняшний день используется менее 3% из 23% потенциально полезных данных3. Для борьбы с проблемой размерности необходимо ее сокращение за счет использования различных методов обобщения, агрегирования данных, нахождения полезных данных, извлечения из них знаний, чему должны служить различные методы и теории. За последние годы стремительно развиваются методы анализа данных, в том числе интеллектуального анализа. Появилась новая наука, наука о данных (data science), получившая широкое развитие в начале 2000-х гг. В «Википедии» под ней понимается раздел информатики, изучающий проблемы анализа, обработки и представления данных в цифровой форме. Наряду с наукой о данных стремительно развиваются и другие науки: искусственный интеллект, машинное обучение, data mining, которые также исследуют большие объемы данных. Границы между этими науками нечетки, размыты. Они взаимодействуют друг с другом, пользуются одинаковыми методами, одинаковыми инструментальными средствами. В отчете ООН за 2018 г., посвященном анализу состояния электронного правительства [40], указывается, что данные науки, например искусственный интеллект, развиваются с 1950-х гг. Однако прогресс цифровых технологий, четвертая промышленная революция, как следствие, их конвергенция, многократное увеличение вычислительных мощностей, цифровизация, наличие открытых данных приводят к экспоненциальному росту их применения. Заметим, что в данном отчете дается определение науки о данных (data science), под которой понимается наука, изучающая общие принципы получения знаний из данных при помощи машинного обучения, предиктивных и прескриптивных технологий для получения прямой выгоды спонтанным экспериментальным методом. Данное определение подтверждает близость понятий машинного обучения и аналитики данных. Профессия data scientist, по данным международного кадрового агентства CarrierCast, вошла в число лидеров рейтинга, ежегодно формируемого данным агентством, в 2015 г. и с этого времени не 3 На сегодняшний день используется менее 3 из 23% потенциально полезных данных [Электронный ресурс]. — URL: http://lib.tssonline.ru/articles2/ fix-corp/rost-obema-informatsii--realii-tsifrovoy-vselennoy (дата обращения: 01.12.19).
покидает первую десятку лучших профессий американского рынка труда. По данным за 2016 и 2019 гг., она признана лучшей среди двухсот. Рейтинг определялся как свертка четырех частных показателей: уровня доходов, перспектив карьерного роста, уровня стресса, а также состояния окружающей среды, включающей эмоциональные и физические факторы. Отметим, что в топ-десятку лучших в последние годы также постоянно входят профессии статистика, инженера-программиста, которые по ряду трудовых функций совпадают с профессией data scientist (специалиста по данным). В ресурсах Kdnuggets4, крупнейшего портала интеллектуального анализа данных, поддерживаемого его президентом Григорием Пятецким-Шапиро, одним из основателей data mining, указывается, что претендент на должности, связанные с data science, должен обладать девятью техническими навыками, к которым относятся: навыки и компетенции, формируемые во время получения высшего образования; навыки в программировании на языке R; на языке Python; знание платформы Hadoop; фреймворка Apache Spark; владение навыками работы с базами данных и языком SQL; знания и умения в использовании методов машинного обучения и искусственного интеллекта; умение работать с неструктурированными, текстовыми данными; использовать средства графической аналитики, визуализации данных. Указано, что эти технические навыки должны быть дополнены нетехническими навыками и качествами, интеллектуальным любопытством, деловой хваткой, навыками общения. Успех в профессии определяется не только уровнем образования, но и желанием и стремлением его совершенствовать, использовать современные инструментальные средства, решать практические задачи. Приведем цитату К. Корнильева, который занимал позицию генерального директора IBM в России и СНГ с 2002 по 2015 гг., свидетельствующую о важности науки о данных. «Мы говорили о нехватке программистов, но неожиданно мы столкнулись с нехваткой математиков. То есть управление бизнесом сейчас, из-за внедрения аналитики, потребовало высшей математики в гораздо большем объеме. И дефицит профессии, которую условно можно назвать «аналитик» (или data scientist), сейчас налицо. А математика это вам не пальчиком на планшете двигать, математику учить надо. Тут время 4 Портал по интеллектуальному анализу Kdnuggets.com [Электронный ресурс]. — URL: https://www.kdnuggets.com (дата обращения: 20.11.19).
Введение понадобится — поэтому эффект от внедрения аналитики будет нарастать довольно долго»5. Это определяет актуальность рассмотрения вопросов, связанных с анализом данных и машинным обучением, чему и посвящена настоящая книга. В ней рассматриваются основные методы, модели и алгоритмы, приводится характеристика используемых инструментальных средств. Все рассматриваемые вопросы сопровождаются решением отдельных примеров анализа данных и машинного обучения. Эти примеры ориентируются на классические наборы данных, может быть, кому-то даже набившие оскомину. Однако данные наборы всегда можно найти и самостоятельно решить с их помощью примеры, рассматриваемые в книге. К ним, например, относятся датасеты iris, titanic. В одном из материалов, найденных в Сети автором, было сказано, что при разработке резюме на вакантную должность аналитика не следует указывать, что имеется опыт решения задач на этих наборах. Их нужно рассматривать как учебные, позволяющие освоить соответствующие методы и алгоритмы. Именно для этого они включены в данное пособие. В первой главе дается определение и приводится общая характеристика анализа данных и машинного обучения, рассматриваются отдельные инструментальные средства, позволяющие решать прикладные задачи по обработке, анализу, агрегированию данных. Рассматриваются известные рейтинги данных средств. Делается обзор программных средств, которые будут рассматриваться далее. Во второй главе приводится понятие разведочного анализа, перечисляются задачи, решаемые в ходе такого анализа. Обращается внимание на его роль в формировании различных гипотез, которые будут исследоваться в дальнейшем. Одной из проблем, рассматриваемых в данной главе, является проблема сокращения размерности данных. Не менее важной является противоположная ей проблема, направленная на повышение размерности за счет повторных выборок. Методы, их реализующие, включены во все современные мощные пакеты аналитики и математической статистики. Третья глава посвящена рассмотрению задач регрессионного анализа. Автор понимает многообразие методов решения данных задач. 5 Мы говорили о нехватке программистов, но неожиданно сейчас мы столкнулись с нехваткой математиков [Электронный ресурс]. — URL: https:// www.slideshare.net/StanislavM/big-data-63198127 (дата обращения: 21.12.19).
В главе рассмотрен только самый популярный и простой — классический метод наименьших квадратов для построения парной и множественной линейных регрессий. Однако, несмотря на его простоту и разработанность соответствующей теории, при решении задач анализа данных все равно возникает много вопросов и частных проблем, в первую очередь связанных с верификацией построенной регрессионной модели. Поэтому здесь приведены основные критерии и инструменты оценки качества. Практические примеры их определения и использования показывают на нетривиальность задач регрессионного анализа. Отметим, что в данной главе регрессионный анализ рассмотрен как средство аналитики, а не как средство эконометрического анализа, чему посвящено большое число публикаций [36; 37], в том числе и публикации автора [18; 24]. В четвертой главе исследуются задачи кластерного анализа. Кроме общей характеристики данного метода приведены три основных класса алгоритмов, первый из которых основан на агломеративной иерархии, второй — на разделении объектов, а третий — на анализе графов. Решение одной и той же задачи с их помощью позволяет сравнить данные методы. В главе проведен такой анализ для одного из классических примеров, а также приведены различные критерии оценки качества выполненной кластеризации. Последняя, пятая глава посвящена задачам классификации. В данной главе рассмотрены наиболее популярные методы классификации, такие как метод деревьев решений, нейронные сети и др. Указано, как и с помощью каких критериев оценить качество решения задачи классификации. Приведены ансамбли методов классификации на основе объединения деревьев решений в случайные леса. Большинство методов классификации базируются на одном и том же наборе данных, что позволяет сравнить полученные результаты. Рассматриваемые в книге инструментальные средства не только являются одними из наиболее популярных при решении задач анализа данных и машинного обучения, но и установлены в компьютерных классах Северо-Западного института управления — филиала РАНХиГС. Поэтому приведенные в книге примеры могут быть решены в данном образовательном учреждении без необходимости поиска средств, их приобретения и установки. Кроме того, большинство из них относятся к категории отрытых программных средств, что позволяет пользоваться ими при самостоятельной работе по освоению инструментальных средств в данной предметной области.
Введение В книге, к сожалению, рассмотрены самые простые и популярные задачи анализа данных и машинного обучения. Автор не претендует на полноту изложения материала, на его фундаментальность. Он ставил перед собой более узкую и скромную цель: поделиться своим опытом преподавания нескольких учебных дисциплин, связанных с предметом, рассматриваемым в книге, таких как «Эконометрика», «Анализ данных», «Методы прогнозирования», а также с опытом организации и руководства образовательным направлением «Бизнесинформатика» в Северо-Западном институте управления РАНХиГС. При написании книги были использованы материалы отечественных и иностранных публикаций [2; 3; 4; 5; 12], в частности, одной из наиболее полных отечественных книг об аналитике данных, написанной Н. Паклиным и В. Орешковым [26]. При рассмотрении практических задач автор ориентировался на одну из лучших книг, посвященных статистической обработке в среде R, — монографию Р. Кабакова [16]. В предисловии переводчицы к ней говорится, что, по ее мнению, для неспециалистов книга является лучшей из публикаций, посвященных обработке данных в статистической среде R. Автор также основывался на серии книг и интернет-публикаций С. Мастицкого и В. Шитикова [33; 41; 42], а также на других публикациях по R [14; 15; 20; 30; 32]. Знаменательным является тот факт, что в последние годы появилось большое количество изданий, в том числе переведенных на русский язык, в которых излагаются с разной степенью подробности вопросы анализа данных и машинного обучения. Большинство из них принадлежит американским издательствам Manning6 и O’Reilly7. Животные, которые изображаются на многих обложках O’Reilly, попавшие туда благодаря идее креативного директора издательства Э. Фридмана, чтобы отличить книги данного издательства от других, не должны пугать читателя. Они хорошо иллюстрированы, содержат большое число примеров и ориентированы на обычного читателя. В приведенном списке литературы можно найти ссылки на эти издания, это, например, [5; 8; 21]. То же самое можно сказать о книгах издательства Manning, на обложках которых изображены националь6 Сайт издательства Manning [Электронный ресурс]. — URL: https://www. manning.com (дата обращения: 04.11.19). 7 Сайт издательства O’Reilly [Электронный ресурс]. — URL: https://www. oreilly.com (дата обращения: 04.11.19).
ные костюмы разных стран мира. Приведенные костюмы свидетельствуют об особенностях региональных культур, что можно сказать и о различных ИТ-технологиях и инструментальных средствах. В настоящей книге полностью отсутствуют вопросы, связанные с анализом текстов и анализом изображений. Кроме того, несмотря на имеющийся опыт, автор не поместил в нее вопросы, связанные с прогнозированием [18]. Все это существенно снижает ее практическую ценность, однако стимулирует автора на дальнейшую работу. Наконец, следует отметить, что одним из мотивов написания данной книги, наряду с другими, явилось участие автора в курсах повышения квалификации «Основы анализа данных», которые проводились в корпоративном университете г. Пушкина в мае 2019 г. Уровень квалификации лектора и слушателей показал повышенный интерес к данному направлению и актуальность рассмотрения вопросов анализа данных и машинного обучения. В целом, по мнению автора, содержание книги позволит понять некоторые особенности профессии специалиста по данным, бизнесаналитика, возможности информационных технологий и инструментальных средств, которые он может использовать в своей практической деятельности. Книга может быть полезной студентам, обучающимся по направлению «Бизнес-информатика», преподавателям, аспирантам, проводящим исследования в данной области [23; 25], а также аналитикам, начинающим осваивать данные методы для их применения в своей практической деятельности.