Методы и технологии обработки больших данных

УДК 004.9
ББК 32
Ж51  
Рецензенты:
кандидат технических наук, доцент П. Б. Каган,  
доцент кафедры информационных систем, технологий и автоматизации  
в строительстве НИУ МГСУ; 
кандидат экономических наук О. И. Карасев,  
руководитель направления Центра компетенций НТИ по направлению 
«Технология хранения и анализа больших данных» на базе МГУ им. М.В. Ломоносова
Железнов, М.М.
Ж51		  		   Методы и технологии обработки больших данных [Электронный ресурс] : учебнометодическое пособие / М.М. Железнов ; Министерство науки и высшего образования 
Российской Федерации, Национальный исследовательский Московский государственный строительный университет, кафедра информационных систем, технологий и автоматизации в строительстве. — Электрон. дан. и прогр. (2 Мб). — Москва : Издательство МИСИ – МГСУ, 2020. — 
Режим доступа:  http://lib.mgsu.ru/ — Загл. с титул экрана.
             ISBN 978-5-7264-2193-3
Учебно-методическое пособие включает материалы для подготовки к практическим занятиям и самостоятельной работе по теме «Методы и технологии обработки больших данных». Представлены возможности методов и технологий больших данных в задачах обработки информации, дан список вопросов для 
самоконтроля. 
Для обучающихся по направлению подготовки 09.04.01 Информатика и вычислительная техника.
Учебное электронное издание
© Национальный исследовательский 
Московский государственный 
строительный университет, 2020

Редактор, корректор А.А. Космина 
Компьютерная верстка О.Г. Горюновой
Дизайн первого титульного экрана Д. Л. Разумного
Для создания электронного издания использовано:
Microsoft Word 2010, Adobe InDesign CS6, ПО Adobe Acrobat
Подписано к использованию 05.05.2020 г. Объем данных 7.03 Мб.
Федеральное государственное бюджетное образовательное учреждение
высшего образования 
«Национальный исследовательский 
Московский государственный строительный университет»
129337, Москва, Ярославское ш., 26
Издательство МИСИ – МГСУ
Тел.: (495) 287-49-14, вн. 13-71, (499) 188-29-75, (499) 183-97-95
E-mail: ric@mgsu.ru, rio@mgsu.ru

ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ ............................................................................................................................................
5
1.	
ВВЕДЕНИЕ В МЕТОДЫ И ТЕХНОЛОГИИ БОЛЬШИХ ДАННЫХ .......................................
5
2.	
МЕТОДЫ И МЕТОДИКИ ОБРАБОТКИ ИНФОРМАЦИИ В ТЕХНОЛОГИЯХ БОЛЬШИХ ДАННЫХ .............................................................................................................................
8
3.	
ТЕХНОЛОГИИ БОЛЬШИХ ДАННЫХ ....................................................................................... 14
4.	
ПЕРСПЕКТИВЫ ТЕХНОЛОГИЙ БОЛЬШИХ ДАННЫХ .
........................................................ 21
5.	
ИССЛЕДОВАТЕЛЬСКИЕ ПОДХОДЫ К  ПРЕДМЕТНОЙ ОБЛАСТИ АНАЛИЗА
ДАННЫХ ........................................................................................................................................ 27
6.	
ОПРЕДЕЛЕНИЕ И ПОДГОТОВКА ДАННЫХ ДЛЯ АНАЛИЗА ............................................. 31
7.	
КА
ЧЕСТВЕННЫЕ МЕТОДЫ АНАЛИЗА ДАННЫХ .
................................................................ 39
8.	
КОЛИЧЕСТВЕННЫЕ И СМЕШАННЫЕ МЕТОДЫ АНАЛИЗА БОЛЬШИХ ДАННЫХ ...... 42
Библиографический список .................................................................................................................. 46

ВВЕДЕНИЕ
Данное учебно-методическое пособие предназначено для изучения и практического применения 
методов и технологий обработки больших данных. Учебное издание позволяет самостоятельно получать более глубокие знания в предметной области и использовать их в качестве справочной поддержки при выполнении практических занятий. Для самоконтроля осваиваемых предметных знаний 
в конце каждого раздела присутствуют контрольные вопросы и задания.
В результате ознакомления с учебным изданием обучающиеся могут получить исчерпывающие 
знания по основам предметной области больших данных, методам обработки больших данных, современным специализированным программно-аппаратным средствам реализации механизмов аналитической и инженерной обработки больших данных на основе глобальных облачных информационных платформ.
В качестве специализированного раздела приведены возможности использования больших данных в задачах мониторинга жизненного цикла строительного объекта на всех этапах. В качестве 
примера больших данных выступают геопортальные решения, реализующие автоматизированные 
методы обработки данных аэрокосмического мониторинга.
1. ВВЕДЕНИЕ В МЕТОДЫ И ТЕХНОЛОГИИ БОЛЬШИХ ДАННЫХ
Больши
́ е данные (англ. big data) — ​
обозначение структурированных и неструктурированных 
данных огромных объемов и значительного многообразия, генерируемых на основе информационно-коммуникационных технологий.
По сути дела «большие данные» — ​
это феномен XXI века, который заключается в появлении новых технологических возможностей генерации бесконечно больших массивов данных, а также техники и технологий их обработки.
Впервые термин «большие данные» был введен в обращение в 2008 г. Специальный выпуск журнала «Nature» был посвящен вопросам развития науки и техники в условиях высокого темпа роста 
объемов информации, генерируемых, в первую очередь, информационно-коммуникационными технологиями. Авторы задались вопросом, каким образом будут развиваться методы обработки информации и каким образом подготовиться к переводу «количества в качество».
С начала 2010-х годов началось развитие облачных технологий как основного инструмента 
хранения и обработки больших данных. Стали появляться первые решения по их систематизации 
и обработке.
В соответствии с современными представлениями большие данные обладают тремя основными 
свойствами: величиной, скоростью и многообразием.
Величина (англ. Volume) — ​
характеристика больших данных, определяющая величину физического объема информации.
Скорость (англ. Velocity) — ​
характеристика больших данных, определяющая скорость увеличения объемов (приумножения) информации и скорости ее оперативной обработки в целях получения необходимых результатов.
Многообразие (англ. Variety) — ​
характеристика больших данных, определяющая возможности 
обработки различных видов структурированной и неструктурированной информации одновременно.
Собранные воедино три основные характеристики больших данных реализуют принцип трех V 
(Volume, Velocity, Variety) — ​
VVV.
На сегодняшний день развитие информационных технологий привело к тому, что количество 
информации, с которой приходится взаимодействовать во всех сферах деятельности, непрерывно 
увеличивается. В различных источниках все чаще встречаются термины «Четвертая промышленная революция», «Industry 4.0», описывающие внедрение новейших технологий в производственные процессы как зарубежных, так и отечественных предприятий. Стремительными темпами развиваются технологии, которые предлагают новый взгляд на получение и обработку такого потока 
данных — Big Data и Data mining. Процесс цифровизации происходит во всех современных отраслях промышленности, строительная индустрия — ​
не исключение. Для успешного внедрения и использования подобных технологий недостаточно лишь желания и денежных ресурсов, необходима 
5

площадка, аккумулирующая в себе как знания, опыт, практические примеры реализации таких технологий, так и обучающие материалы.
Примеры применения технологий больших данных в отраслях
В транспортной отрасли технологии больших данных в первую очередь ориентированы на отслеживание парка транспортных средств (автомобилей, кораблей, локомотивов, самолетов) и мониторинг их технического состояния. Ярким примером эффективной технологии по обработке больших данных на транспорте являются информационные системы/приложения Яндекс.такси и Яндекс.
пробки (рис. 1.1).
Рис. 1.1. Яндекс.пробки
Ярким примером применения технологий больших данных в медицине являются телемедицинские технологии. В качестве примера можно привести принципы организации перспективной диагностической телемедицинской системы города Москвы (рис. 1.2), в которой показания диагностических средств передаются в аналитический центр для автоматизированной обработки.
Рис. 1.2. Материалы сайта «Радиология Москвы»
Положительный зарубежный опыт применения технологий больших данных ориентирован на 
предупреждение чрезвычайных ситуаций (Япония, Австралия и др.), реализацию концепций умных 
городов (Китай, Испания и др.), развитие системы здравоохранения (Канада) и многие другие проекты.
6