Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Интеллектуальный анализ больших данных

Покупка
Основная коллекция
Артикул: 875895.01.99
Доступ онлайн
500 ₽
В корзину
В учебном пособии рассматриваются теоретические основы интеллектуального анализа данных. Дается общее представление о современных инструментах обработки больших данных и приводятся примеры их практического применения. Учебное пособие построено с учетом требований к специалистам в области информатики. Предназначено для студентов УГСН, обучающихся по направлению 09.00.00, аспирантов, а также может быть полезно специалистам в области компьютерной обработки данных.
Алетдинова, А. А. Интеллектуальный анализ больших данных : учебное пособие / А. А. Алетдинова, М. Ш. Муртазина. - Новосибирск : Изд-во НГТУ, 2023. - 66 с. - ISBN 978-5-7782-4899-1. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2246179 (дата обращения: 18.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Министерство науки и высшего образования Российской Федерации 
 
НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ 
 
 
 
 
А. А. АЛЕТДИНОВА 
М. Ш. МУРТАЗИНА 
 
 
 
 
 
ИНТЕЛЛЕКТУАЛЬНЫЙ 
АНАЛИЗ  
БОЛЬШИХ ДАННЫХ 
 
 
Утверждено  
Редакционно-издательским советом университета  
в качестве учебного пособия 
 
 
 
 
 
 
 
 
 
 
НОВОСИБИРСК 
2023 


УДК 004.6:004.89.087.5(075.8) 
   А 487 
 
Рецензенты: 
М. Г. Гриф, д-р техн. наук, профессор,  
профессор кафедры АСУ НГТУ 
Г. В. Пушкарева, канд. техн. наук, доцент,  
доцент кафедры ММиЦРБС СибГУТИ 
 
 
 
 
Алетдинова А. А. 
А 487  
Интеллектуальный анализ больших данных : учебное пособие / А. А. Алетдинова, М. Ш. Муртазина. – Новосибирск : Изд-во 
НГТУ, 2023. – 66 с. 
ISBN 978-5-7782-4899-1 
В учебном пособии рассматриваются теоретические основы интеллектуального анализа данных. Дается общее представление о современных инструментах обработки больших данных и приводятся примеры их практического применения. Учебное пособие построено  
с учетом требований к специалистам в области информатики. Предназначено для студентов УГСН, обучающихся по направлению 09.00.00, 
аспирантов, а также может быть полезно специалистам в области компьютерной обработки данных. 
 
 
Работа выполнена на кафедре  
автоматизированных систем управления 
 
 
 
УДК 004.6:004.89.087.5(075.8) 
 
 
ISBN 978-5-7782-4899-1 
 Алетдинова А. А.,  
 
    Муртазина М. Ш., 2023 
 
 Новосибирский государственный  
 
    технический университет, 2023 


 
 
 
 
 
 
 
ВВЕДЕНИЕ 
Развитие информационно-коммуникационных технологий перевело на новый качественный уровень возможности преобразования информации в данные, их обработку, анализ и получение новых знаний. 
В настоящее время умение применять на практике анализ данных становится обязательным требованием к специалистам и исследователям, 
которые работают в различных областях и сферах и при этом постоянно используют разнообразные потоки информации.  
Понятие интеллектуального анализа данных достаточно широкое. 
Его можно рассматривать как обобщающий термин для группы методов обнаружения новых нетривиальных знаний. В то же время так 
называют область знаний, включающую в себя математику, математическую статистику, программирование, машинное обучение, традиционные исследования и экспертизу предметной области. 
Применение интеллектуального анализа данных оправдывается  
в случае, если получены новые, нетривиальные и практически полезные знания, доступные пониманию пользователей. При этом допустимо, что пользователи могут не всегда понимать и интерпретировать 
преобразования и действия в используемой модели.  
Настоящее учебное пособие посвящено описанию моделей и методов интеллектуального анализа больших данных и их реализации.  
В работе изложены теоретические основы интеллектуального анализа 
больших данных, а также рассмотрены вопросы практического применения инструментов обработки и интеллектуального анализа больших 
данных. Большее внимание уделено таким инструментам, как среда 
Orange и специализированные библиотеки языка Python.  
Учебное пособие может быть полезно как студентам вузов, так  
и специалистам, преподавателям и ученым в области информатики  
и других областях науки, где необходимо проведение обработки  


и анализа больших данных. Авторы надеются, что эта работа ста- 
нет проводником в выборе принципов и технологий анализа боль- 
ших данных.  
Учебное пособие содержит три главы. 
В первой главе для формирования у обучающихся целостного 
представления об интеллектуальном анализе больших данных рассматривается понятийный аппарат дисциплины, дается обзор этапов 
анализа, приводятся основные положения стандартизированных методологий интеллектуального анализа данных (KDD, SEMMA и CRISPDM). Выделены особенности работы с онлайн-данными, описана технология получения геопространственных данных с помощью сервиса 
YourMaps.Io. Рассмотрены модели машинного обучения. 
Во второй главе дается представление о возможностях среды  
Orange. Описаны техники проведения интеллектуального анализа, 
наибольшее внимание уделено задаче кластеризации. Рассмотрены 
примеры с числовыми данными и изображениями. Описан подход  
к интеллектуальному анализу геопространственных данных. 
В третьей главе рассматриваются основы обработки текстовых 
данных, представленных на естественном языке с использованием как 
специализированных инструментов (UDPipe, MaltParser, RML AOT, 
Томита-парсер), так и встроенных библиотек языка Python.  
Для улучшения усвоения учебного материала приведенные теоретические сведения сопровождаются богатым иллюстративным материалом (таблицами, рисунками). В конце каждой главы имеется список 
контрольных вопросов. Материал, изложенный в учебном пособии, 
поможет студентам получить представление о состоянии и перспективах применения моделей и методов интеллектуального анализа больших данных.  
 


 
 
 
 
 
 
 
ГЛАВА 1  
ОСНОВНЫЕ ПОНЯТИЯ ИНТЕЛЛЕКТУАЛЬНОГО 
АНАЛИЗА БОЛЬШИХ ДАННЫХ 
1.1. Термин «большие данные»  
Термин «большие данные» используется с начала 1990-х гг. Неизвестно, кто впервые использовал этот термин, но он стал популярен 
благодаря выступлению главного научного сотрудника компании 
Silicon Graphics (SGI) Дж. Маши со слайд-презентацией под названием 
«Большие данные и следующая волна Инфрастресса», которое состоялось в 1998 г. [1]. Исторически сложилось так, что термин «большие 
данные» довольно расплывчатый и широко применяется в различных 
значениях. Многие профессиональные аналитики данных подразумевают под этим технологии извлечения, преобразования и загрузки для 
больших наборов данных. Популярное определение термина «большие 
данные» основано на трех основных атрибутах данных, таких как физический объем, скорость прироста и разнообразие типов структурированных и полуструктурированных данных [2]. Эта модель (3V) для 
определения сути больших данных была предложена в 2001 г. Дугласом Лэйни [3]. Ученый заметил, что из-за роста активности в электронной коммерции данные выросли по трем параметрам: 
1) объему (volume) – входящему потоку данных и совокупному 
объему данных; 
2) скорости (velocity) прироста данных, используемых для поддержки взаимодействия и генерируемых взаимодействиями; 
3) разнообразию (variety) совместимых и несовместимых форматов 
данных и структур данных.  
После того как Д. Лэйни представил эти три атрибута данных, появились определения с дополнительными атрибутами. Так, компания 


IBM использует четыре атрибута, а компания Microsoft – шесть атрибутов (рис. 1.1) [2].  
В модели 4V четвертым атрибутом является достоверность (veracity). Аспект достоверности больших данных касается соответствия 
данных истине и их точности. Достоверность определяет уровень доверия к данным. Из-за скорости прироста различных больших объемов 
данных поддержание и проверка достоверности действительно является большой проблемой для больших данных [4].  
 
IBM 
Microsoft 
Oбъем 
Oбъем 
Достоверность 
Достоверность 
Скорость 
Скорость 
Разнообразие 
Разнообразие
Вариативность 
Видимость 
 
Рис. 1.1. Интерпретация термина «большие данные» [2] 
Ради максимизации ценности (value) для бизнеса компания 
Microsoft расширила атрибуты модели 3V Дугласа Лэйни до шести, 
добавив следующие три атрибута: 
1) достоверность (veracity), что предполагает необходимость сфокусироваться на надежности источников данных; 
2) вариативность (variability), представляющую собой количество 
переменных в наборах данных; 
3) видимость (visibility) – это означает, что данные должны быть 
видны нужному пользователю в нужное время и правильным способом. 
Согласно ГОСТ Р ИСО/МЭК 20546–2021 большие данные (big 
data) – это большие массивы данных, отличающиеся главным образом 
такими характеристиками, как объем, разнообразие, скорость обработки и (или) вариативность, которые требуют использования технологии 
масштабирования для эффективного хранения, обработки, управления 
и анализа [5]. 
С самого начала развития цивилизации люди пытались использовать 
данные для принятия более эффективных решений. Если до 1960-х гг. 


бо́льшая часть анализа данных выполнялась вручную и на бумаге, то  
с появлением систем управления базами данных ситуация изменилась. 
По мере увеличения объемов накопленных данных совершенствовались и технологии их анализа. Эволюцию больших данных можно 
условно разделить на три основных этапа, каждый из которых имеет 
свои особенности. Краткая характеристика этапов эволюции больших 
данных приведена в табл. 1.1. 
Т а б л и ц а  1.1 
Этапы эволюции больших данных [5–7] 
№ 
п/п 
Период 
Краткое описание 
1 
1970–2000 гг. 
(зарождение 
больших  
данных) 
Этап обусловлен появлением системы управления реляционными базами данных.  
В 1970-х гг. приобрели популярность конвейеры данных 
ETL (Extract, Transform, Load), организации тогда начали 
использовать несколько репозиториев данных или баз данных для хранения различных типов деловой информации.  
В конце 1980-х гг. появились первые хранилища данных, 
их задачей было обеспечить обмен данными между операционными базами данных и системами поддержки 
принятия решения.  
В 1990-х гг. Эдгаром Коддом была предложена концепция 
оперативной аналитической обработки OLAP (Online 
analytical processing); количество форматов данных, источников и систем значительно расширилось, благодаря проведению специализированных конференций значительно 
возросла популярность интеллектуального анализа данных 
2 
2000–2010 гг. 
 
Этап обусловлен бурным развитием веб-приложений, при 
работе с которыми генерировались огромные объемы 
данных. Это привело к появлению множества систем 
управления базами данных NoSQL, с помощью которых 
пытались решить проблемы масштабируемости при сохранении простоты и гибкости
3 
2010 
гг. 
–
настоящее 
время 
 
Этап обусловлен быстрым внедрением мобильных технологий и устройств, а также данных, которые они генерируют. Мобильные устройства не только дают возможность 
анализировать поведенческие данные (такие как клики  
и поисковые запросы), но также дают возможность хранить 
и анализировать данные GPS на основе местоположения


Доступ онлайн
500 ₽
В корзину