Интеллектуальный анализ больших данных
Покупка
Основная коллекция
Тематика:
Базы и банки данных. СУБД
Издательство:
Новосибирский государственный технический университет
Год издания: 2023
Кол-во страниц: 66
Дополнительно
Вид издания:
Учебное пособие
Уровень образования:
ВО - Бакалавриат
ISBN: 978-5-7782-4899-1
Артикул: 875895.01.99
В учебном пособии рассматриваются теоретические основы интеллектуального анализа данных. Дается общее представление о современных инструментах обработки больших данных и приводятся примеры их практического применения. Учебное пособие построено с учетом требований к специалистам в области информатики. Предназначено для студентов УГСН, обучающихся по направлению 09.00.00, аспирантов, а также может быть полезно специалистам в области компьютерной обработки данных.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.03: Прикладная информатика
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Министерство науки и высшего образования Российской Федерации НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ А. А. АЛЕТДИНОВА М. Ш. МУРТАЗИНА ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ БОЛЬШИХ ДАННЫХ Утверждено Редакционно-издательским советом университета в качестве учебного пособия НОВОСИБИРСК 2023
УДК 004.6:004.89.087.5(075.8)
А 487
Рецензенты:
М. Г. Гриф, д-р техн. наук, профессор,
профессор кафедры АСУ НГТУ
Г. В. Пушкарева, канд. техн. наук, доцент,
доцент кафедры ММиЦРБС СибГУТИ
Алетдинова А. А.
А 487
Интеллектуальный анализ больших данных : учебное пособие / А. А. Алетдинова, М. Ш. Муртазина. – Новосибирск : Изд-во
НГТУ, 2023. – 66 с.
ISBN 978-5-7782-4899-1
В учебном пособии рассматриваются теоретические основы интеллектуального анализа данных. Дается общее представление о современных инструментах обработки больших данных и приводятся примеры их практического применения. Учебное пособие построено
с учетом требований к специалистам в области информатики. Предназначено для студентов УГСН, обучающихся по направлению 09.00.00,
аспирантов, а также может быть полезно специалистам в области компьютерной обработки данных.
Работа выполнена на кафедре
автоматизированных систем управления
УДК 004.6:004.89.087.5(075.8)
ISBN 978-5-7782-4899-1
Алетдинова А. А.,
Муртазина М. Ш., 2023
Новосибирский государственный
технический университет, 2023
ВВЕДЕНИЕ Развитие информационно-коммуникационных технологий перевело на новый качественный уровень возможности преобразования информации в данные, их обработку, анализ и получение новых знаний. В настоящее время умение применять на практике анализ данных становится обязательным требованием к специалистам и исследователям, которые работают в различных областях и сферах и при этом постоянно используют разнообразные потоки информации. Понятие интеллектуального анализа данных достаточно широкое. Его можно рассматривать как обобщающий термин для группы методов обнаружения новых нетривиальных знаний. В то же время так называют область знаний, включающую в себя математику, математическую статистику, программирование, машинное обучение, традиционные исследования и экспертизу предметной области. Применение интеллектуального анализа данных оправдывается в случае, если получены новые, нетривиальные и практически полезные знания, доступные пониманию пользователей. При этом допустимо, что пользователи могут не всегда понимать и интерпретировать преобразования и действия в используемой модели. Настоящее учебное пособие посвящено описанию моделей и методов интеллектуального анализа больших данных и их реализации. В работе изложены теоретические основы интеллектуального анализа больших данных, а также рассмотрены вопросы практического применения инструментов обработки и интеллектуального анализа больших данных. Большее внимание уделено таким инструментам, как среда Orange и специализированные библиотеки языка Python. Учебное пособие может быть полезно как студентам вузов, так и специалистам, преподавателям и ученым в области информатики и других областях науки, где необходимо проведение обработки
и анализа больших данных. Авторы надеются, что эта работа ста- нет проводником в выборе принципов и технологий анализа боль- ших данных. Учебное пособие содержит три главы. В первой главе для формирования у обучающихся целостного представления об интеллектуальном анализе больших данных рассматривается понятийный аппарат дисциплины, дается обзор этапов анализа, приводятся основные положения стандартизированных методологий интеллектуального анализа данных (KDD, SEMMA и CRISPDM). Выделены особенности работы с онлайн-данными, описана технология получения геопространственных данных с помощью сервиса YourMaps.Io. Рассмотрены модели машинного обучения. Во второй главе дается представление о возможностях среды Orange. Описаны техники проведения интеллектуального анализа, наибольшее внимание уделено задаче кластеризации. Рассмотрены примеры с числовыми данными и изображениями. Описан подход к интеллектуальному анализу геопространственных данных. В третьей главе рассматриваются основы обработки текстовых данных, представленных на естественном языке с использованием как специализированных инструментов (UDPipe, MaltParser, RML AOT, Томита-парсер), так и встроенных библиотек языка Python. Для улучшения усвоения учебного материала приведенные теоретические сведения сопровождаются богатым иллюстративным материалом (таблицами, рисунками). В конце каждой главы имеется список контрольных вопросов. Материал, изложенный в учебном пособии, поможет студентам получить представление о состоянии и перспективах применения моделей и методов интеллектуального анализа больших данных.
ГЛАВА 1 ОСНОВНЫЕ ПОНЯТИЯ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА БОЛЬШИХ ДАННЫХ 1.1. Термин «большие данные» Термин «большие данные» используется с начала 1990-х гг. Неизвестно, кто впервые использовал этот термин, но он стал популярен благодаря выступлению главного научного сотрудника компании Silicon Graphics (SGI) Дж. Маши со слайд-презентацией под названием «Большие данные и следующая волна Инфрастресса», которое состоялось в 1998 г. [1]. Исторически сложилось так, что термин «большие данные» довольно расплывчатый и широко применяется в различных значениях. Многие профессиональные аналитики данных подразумевают под этим технологии извлечения, преобразования и загрузки для больших наборов данных. Популярное определение термина «большие данные» основано на трех основных атрибутах данных, таких как физический объем, скорость прироста и разнообразие типов структурированных и полуструктурированных данных [2]. Эта модель (3V) для определения сути больших данных была предложена в 2001 г. Дугласом Лэйни [3]. Ученый заметил, что из-за роста активности в электронной коммерции данные выросли по трем параметрам: 1) объему (volume) – входящему потоку данных и совокупному объему данных; 2) скорости (velocity) прироста данных, используемых для поддержки взаимодействия и генерируемых взаимодействиями; 3) разнообразию (variety) совместимых и несовместимых форматов данных и структур данных. После того как Д. Лэйни представил эти три атрибута данных, появились определения с дополнительными атрибутами. Так, компания
IBM использует четыре атрибута, а компания Microsoft – шесть атрибутов (рис. 1.1) [2]. В модели 4V четвертым атрибутом является достоверность (veracity). Аспект достоверности больших данных касается соответствия данных истине и их точности. Достоверность определяет уровень доверия к данным. Из-за скорости прироста различных больших объемов данных поддержание и проверка достоверности действительно является большой проблемой для больших данных [4]. IBM Microsoft Oбъем Oбъем Достоверность Достоверность Скорость Скорость Разнообразие Разнообразие Вариативность Видимость Рис. 1.1. Интерпретация термина «большие данные» [2] Ради максимизации ценности (value) для бизнеса компания Microsoft расширила атрибуты модели 3V Дугласа Лэйни до шести, добавив следующие три атрибута: 1) достоверность (veracity), что предполагает необходимость сфокусироваться на надежности источников данных; 2) вариативность (variability), представляющую собой количество переменных в наборах данных; 3) видимость (visibility) – это означает, что данные должны быть видны нужному пользователю в нужное время и правильным способом. Согласно ГОСТ Р ИСО/МЭК 20546–2021 большие данные (big data) – это большие массивы данных, отличающиеся главным образом такими характеристиками, как объем, разнообразие, скорость обработки и (или) вариативность, которые требуют использования технологии масштабирования для эффективного хранения, обработки, управления и анализа [5]. С самого начала развития цивилизации люди пытались использовать данные для принятия более эффективных решений. Если до 1960-х гг.
бо́льшая часть анализа данных выполнялась вручную и на бумаге, то с появлением систем управления базами данных ситуация изменилась. По мере увеличения объемов накопленных данных совершенствовались и технологии их анализа. Эволюцию больших данных можно условно разделить на три основных этапа, каждый из которых имеет свои особенности. Краткая характеристика этапов эволюции больших данных приведена в табл. 1.1. Т а б л и ц а 1.1 Этапы эволюции больших данных [5–7] № п/п Период Краткое описание 1 1970–2000 гг. (зарождение больших данных) Этап обусловлен появлением системы управления реляционными базами данных. В 1970-х гг. приобрели популярность конвейеры данных ETL (Extract, Transform, Load), организации тогда начали использовать несколько репозиториев данных или баз данных для хранения различных типов деловой информации. В конце 1980-х гг. появились первые хранилища данных, их задачей было обеспечить обмен данными между операционными базами данных и системами поддержки принятия решения. В 1990-х гг. Эдгаром Коддом была предложена концепция оперативной аналитической обработки OLAP (Online analytical processing); количество форматов данных, источников и систем значительно расширилось, благодаря проведению специализированных конференций значительно возросла популярность интеллектуального анализа данных 2 2000–2010 гг. Этап обусловлен бурным развитием веб-приложений, при работе с которыми генерировались огромные объемы данных. Это привело к появлению множества систем управления базами данных NoSQL, с помощью которых пытались решить проблемы масштабируемости при сохранении простоты и гибкости 3 2010 гг. – настоящее время Этап обусловлен быстрым внедрением мобильных технологий и устройств, а также данных, которые они генерируют. Мобильные устройства не только дают возможность анализировать поведенческие данные (такие как клики и поисковые запросы), но также дают возможность хранить и анализировать данные GPS на основе местоположения