Программно-аппаратные средства сбора, хранения и обработки информации

 
 
 
 
 
 
 
 
 
 
 
ПРОГРАММНО-АППАРАТНЫЕ СРЕДСТВА СБОРА, 
ХРАНЕНИЯ И ОБРАБОТКИ ИНФОРМАЦИИ 
 
 
 
Учебное пособие 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Москва    Вологда 
«Инфра-Инженерия» 
2024 
 
 
ϭ


УДК 004 
ББК 32.97 
 
П78 
 
 
 
Авторы: 
Скворцова Н. Н., Козак А. К., Иванов В. А., Позднякова Е. А.,  
Конькова А. С., Богачев Н. Н. 
 
Рецензенты: 
д. ф.-м. н., профессор МГТУ им. Н. Э. Баумана Чирков А. Ю.; 
д. ф.-м. н., профессор МТУСИ Казанцев С. Ю. 
  
 
 
 
П78   
Программно-аппаратные средства сбора, хранения и обработки 
информации : учебное пособие / [Скворцова Н. Н. и др.]. - Москва ;  
Вологда : Инфра-Инженерия, 2024. - 124 с. : ил., табл.  
ISBN 978-5-9729-1933-8 
 
Представлены основы сбора и хранения различных данных большого объема на примерах модельных радиофизических данных, экспериментальных данных экологического мониторинга, параметров плазменных флуктуаций, получаемых в установке управляемого термоядерного синтеза, и многопараметрических данных в волновых технологиях модификации  
и обработки материалов. Рассмотрены базовые понятия теории проектирования и основные 
модели структурированных и неструктурированных данных больших объёмов. Представлены 
примеры обработки данных численными методами анализа. В приложении приведены практические задания и лабораторные работы для студентов. 
Для студентов технических, информационных и естественных направлений и специальностей укрупненных групп 11.00.00 «Электроника, радиотехника и системы связи» (в том 
числе 11.03.01 и 11.04.01 «Радиотехника»), 05.00.00 «Науки о земле» (в том числе 05.03.06  
и 05.04.06 «Экология и природопользование»), 01.00.00 «Математика и механика», 02.00.00 
«Компьютерные и информационные науки», 03.00.00 «Физика и астрономия» (в том числе 
03.05.01 «Радиофизика»), 09.00.00 «Информатика и вычислительная техника», 13.00.00 
«Электро- и теплоэнергетика», 14.00.00 «Ядерная энергетика и технологии», 15.00.00 «Машиностроение», 16.00.00 «Физико-технические науки и технологии», 20.00.00 «Техносферная 
безопасность и природообустройство», 21.00.00 «Прикладная геология, горное дело, нефтегазовое дело и геодезия», 27.00.00 «Управление в технических системах», 18.00.00 «Химические 
технологии», 06.00.00 «Биологические науки», 30.00.00 «Фундаментальная медицина».  
 
УДК 004 
ББК 32.97 
 
 
ISBN 978-5-9729-1933-8 
” Издательство «Инфра-Инженерия», 2024 
 
” Оформление. Издательство «Инфра-Инженерия», 2024 
Ϯ


СПИСОК СОКРАЩЕНИЙ 
 
БД - база данных. 
ПАС - программно-аппаратные системы. 
САПР - система автоматизированного проектирования. 
САИР - система автоматизации инженерных расчётов. 
СУБД - система управления базой данных. 
ПО - программное обеспечение. 
РМД - реляционная модель данных. 
IMS - information management system. 
IDE - integrated development environment. 
ООБД - объектно-ориентированная база данных. 
ЯП - язык программирования. 
РК - primary key. 
FK - foreign key. 
FPGA - field-programmable gate array. 
НФ - нормальная форма. 
ИОФ РАН - Институт общей физики им. А. М. Прохорова Российской академии 
наук. 
ЕМЕП - международная совместная программа мониторинга и оценки дальних 
переносов атмосферных загрязняющих веществ в Европе. 
ЕАНЕТ - сеть мониторинга кислотных выпадений в Восточной Азии. 
МСП КМ - Международная совместная программа комплексного мониторинга 
воздействий загрязнения воздуха на экосистемы. 
КФМ - комплексный фоновый мониторинг. 
ICP-Vegetation - Международная кооперативная программа по воздействию  
загрязнения воздуха на растительность. 
ГПД ФГБУ «ГГО» ௅ Госфонд Росгидромета. 
ФГБУ «ИГКЭ» ௅ Федеральное государственное бюджетное учреждение  
«Институт глобального климата и экологии имени академика Ю.А. Израэля». 
ЮНЕСКО (англ. UNESCO. United Nations Educational, Scientific and Cultural 
Organization) - специализированное учреждение Организации Объединённых 
Наций по вопросам образования, науки и культуры, включающая достопримечательности в список Всемирного наследия. 
УГМС ௅ управление по гидрометеорологии и мониторингу окружающей среды. 
УТС ௅ управляемый термоядерный синтез. 
АЦП ௅ аналого-цифровой преобразователь. 
АКФ ௅ автокорреляционная функция. 
БПФ ௅ быстрое преобразование Фурье (алгоритм). 
ДВРФ ௅ дискретно-временной ряд Фурье. 
СЭМ и ПЭМ - сканирующая и просвечивающая микроскопия. 
ЭДС - энергодисперсионный анализ поверхности. 
РФС - рентгенофазовая микроскопия. 
СВЧ - сверхвысокочастотное излучение. 
ϯ


АЦП - аналого-цифровые преобразователи. 
ЕГФД - единый государственный фонд данных (ЕГФД). 
ХОП - хлорорганические пестициды. 
Į-ГХЦГ - Į-Гексахлорциклогексан. 
Ȗ-ГХЦГ - Ȗ-Гексахлорциклогексан. 
ДДЭ - 1,1ƍ-дихлор-2,2-бис(n-хлорфенил)этилена. 
ДДД  4,4ƍ-дихлордифенилдихлорметилметан.  
ДДТ  4,4ƍ-дихлордифенилтрихлорметилметан. 
ПХБ - полихлорбифенилы. 
 
 
 
ϰ


СОДЕРЖАНИЕ 
 
ВВЕДЕНИЕ .................................................................................................................. 7 
ГЛАВА 1. ИНФОРМАЦИОННЫЕ СИСТЕМЫ  
...................................................... 8 
1.1. Предметная область ................................................................................... 8 
1.2. Абстрагирование ........................................................................................ 9 
ГЛАВА 2. ПРОЕКТИРОВАНИЕ БАЗ ДАННЫХ .................................................... 9 
2.1. Система управления базами данных 
...................................................... 10 
2.2. Модели данных 
......................................................................................... 11 
2.2.1. Иерархическая модель данных ...................................................... 12 
2.2.2. Сетевая модель данных 
 
.............................................................. 14 
2.2.3. Реляционная модель данных 
.......................................................... 14 
2.2.4. Объектно-ориентированная и гибридная модели данных 
.......... 20 
2.3. Концептуальная модель 
........................................................................... 22 
2.4. Нормализация базы данных .................................................................... 26 
2.4.1. Первая нормальная форма 
.............................................................. 26 
2.4.2. Вторая нормальная форма 
.............................................................. 27 
2.4.3. Третья нормальная форма .............................................................. 28 
2.5. Языковые и программные средства ....................................................... 29 
2.5.1. Популярные языки программирования ........................................ 30 
2.5.2. Интегрированная среда разработки .............................................. 33 
2.6. Big data ...................................................................................................... 35 
ГЛАВА 3. СБОР ДАННЫХ 
...................................................................................... 37 
3.1. Сбор данных компьютерного моделирования ...................................... 37 
3.1.1. Особенности базы данных CST STUDIO SUITE 
......................... 38 
3.1.2. Особенности базы данных кода КАРАТ ...................................... 40 
3.2. Сбор данных в системах экологического мониторинга 
....................... 42 
3.2.1. Получение данных экологического мониторинга ....................... 46 
3.2.2. Формат базы данных в экологическом мониторинге 
.................. 50 
3.2.3. Базы данных для обучения студентов РТУ МИРЭА 
................... 50 
3.3. Сбор экспериментальных данных в физических  
 и технологических лабораторных установках ...................................... 53 
3.3.1. Сбор данных о флуктуациях плазмы в стеллараторе Л-2М ....... 54 
3.3.2. Сбор многопараметрических данных в радиоволновых  
технологиях модификации и обработки материалов .................. 61 
ГЛАВА 4. ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ БАЗ ДАННЫХ  
В ЭКСПЕРИМЕНТАЛЬНЫХ ИССЛЕДОВАНИЯХ ............................................. 65 
4.1. Базы временных выборок флуктуаций плазмы на  
 стеллараторе Л-2М 
................................................................................... 65 
4.2. Базы данных в исследовании модификации и обработки  
материалов волновыми методами ........................................................... 69 
4.2.1. Требования к разработке базы данных ......................................... 71 
4.2.2. Электронный журнал для плазмохимических исследований .... 70 
ϱ


4.2.3. Итоги разработки электронного журнала для  
плазмохимических исследований ................................................. 75 
ГЛАВА 5. ПРОГРАММНАЯ ОБРАБОТКА ИНФОРМАЦИИ ИЗ БАЗ  
ДАННЫХ ................................................................................................................... 76 
5.1. Корреляционный анализ временных выборок плазменных  
 флуктуаций ............................................................................................... 76 
5.1.1. Коэффициент корреляции ............................................................ 76 
5.1.2. Свойство эргодичности ................................................................ 79 
5.1.3. Корреляционные функции случайных квазиэргодических  
процессов ................................................................................................. 80 
5.2. Спектральный Фурье-анализ временных выборок плазменных  
 флуктуаций  ............................................................................................ 83 
5.2.1. Весовые функции .......................................................................... 85 
5.2.2. Метод Велча .................................................................................. 88 
5.2.3. Комплексный Фурье-спектр ........................................................ 90 
5.3. Вероятностный анализ временных выборок плазменных  
 флуктуаций ............................................................................................... 91 
5.4. Практическая реализация ........................................................................ 96 
5.4.1. Практическая реализация расчета автокорреляционной  
функции сигнала ........................................................................... 98 
5.4.2. Практическая реализация расчета Фурье-спектра сигнала.  
Алгоритм Велча .......................................................................... 101 
5.4.3. Практическая реализация расчета комплексного  
Фурье-спектра сигнала ............................................................... 103 
5.4.4. Практическая реализация расчета вероятностных  
параметров ................................................................................... 105 
ПРИЛОЖЕНИЕ А. ЗАДАЧИ ДЛЯ ПРАКТИКУМА ПО КУРСУ 
...................... 107 
ПРИЛОЖЕНИЕ Б. ЛАБОРАТОРНЫЕ РАБОТЫ ПО КУРСУ ........................... 109 
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ ............................................... 118 
 
 
ϲ


ВВЕДЕНИЕ 
 
Постоянное увеличение объемов информации, связанное как с развитием 
новых знаний, так и с переводом в цифровой вид ранее полученных данных, совершенствованием вычислительной техники и т. д., привело к необходимости 
создания и развития инструментов для хранения данных, позволяющих проводить их структурирование и обработку в соответствии с критериями пользователя.  
В ходе научных и инженерных работ исследователи сталкиваются с необходимостью сбора, хранения, структурирования и обработки полученных данных. К настоящему времени разработано множество инструментов, позволяющих осуществлять анализ как модельных, так и с экспериментальных данных 
независимо от получаемой природы. Однако требования к структурированию  
и хранению отличаются для баз данных, получаемых в разных областях науки  
и техники. 
Данное пособие посвящено одному из разделов курса «Программно-аппаратные системы сбора хранения и обработки данных», который преподается  
в институте Радиоэлектроники и информатики Российского технологического 
университета МИРЭА.  
Необходимо отметить, что в современных стандартах существуют разные 
определения понятия «базы данных». 
База данных - совокупность данных, организованных по определенным 
правилам, предусматривающим общие принципы описания, хранения и манипулирования данными, независимых от прикладных программ [1]. 
База данных - совокупность взаимосвязанных данных, организованных в 
соответствии со схемой БД таким образом, чтобы с ними мог работать пользователь [2]. 
База данных - собрание данных, организованных в соответствии с концептуальной структурой, описывающей характеристики этих данных и взаимоотношения между ними, причем такое собрание данных, которое поддерживает одну 
или более областей применения [3]. 
Часть первая настоящего пособия посвящена знакомству с базами данных (БД). На нескольких примерах рассмотрены особенности сбора и хранения 
радиофизических модельных данных, баз данных экологического мониторинга  
и многопараметрических данных, получаемых в волновых технологиях модификации и обработки материалов. В этой части пособия рассмотрены основы теории проектирования и основные модели структурированных и неструктурированных данных больших объёмов. Приведен пример по созданию электронного 
журнала для сбора и хранения многопараметрических данных. Представлены 
примеры обработки данных. В приложении представлены практические задания 
и лабораторные работы для студентов по курсу «Программно-аппаратные системы сбора хранения и обработки данных». 
 
 
ϳ


ГЛАВА 1. ИНФОРМАЦИОННЫЕ СИСТЕМЫ 
 
Большие массивы данных об объектах и явлениях реального мира вместе 
с программно-аппаратными средствами для их обработки называют информационными системами (ИС). 
ИС - это совокупность структурированных данных и комплекса аппаратно-программных средств, предназначенных для хранения, поиска и обработки информации. ИС является сложной человеко-машинной системой, включающей в себя организационные ресурсы (человеческие, технические, финансовые и т. д.) для обеспечения надежного, эффективного и продолжительного во 
времени функционирования. Особое внимание уделяется способам структурирования данных, так как от этого зависит определение требований к остальным ресурсам, используемым для реализации ИС. Основа ИС, объект ее обработки - 
база данных.  
В структуре ИС выделяют следующие компоненты: 
x информационная база (база данных); 
x лингвистические средства; 
x программные средства; 
x технические средства; 
x организационно-административные подсистемы и нормативно-методическое обеспечение. 
Каждая информационная система в зависимости от ее назначения имеет 
дело с той или иной частью конкретного мира, которую принято называть предметной областью информационной системы.  
 
1.1. Предметная область 
 
Предметная область - это совокупность процессов и объектов (сущностей), выделенных из множества реального мира в зависимости от направленности и задач, которые решаются в рамках информационной системы или другой 
области деятельности. Анализ предметной области является необходимым 
начальным этапом разработки любой информационной системы. Именно на этом 
этапе определяются информационные потребности всей совокупности пользователей будущей системы, которые, в свою очередь, предопределяют содержание 
ее БД. 
БД содержит (отражает) информацию о некоторой предметной области - 
наборе объектов, представляющих интерес для пользователей. 
Выбор существенных понятий и связей для описания предметной области 
является предпосылкой того, что пользователь, владеющий основными понятиями, представляющими предметную область, будет иметь знания об объектах 
предметной области, необходимые ему в рамках задачи.  
Во всех случаях субъект, работая с информацией, имеет дело с абстракцией, представляющей интересующий его фрагмент реального мира - той совоϴ


купностью характеристических свойств (атрибутов), которые важны для решения его прикладной задачи. Атрибут - это показатель, который характеризует 
объект предметной области БД. 
Абстрагирование позволяет построить модель предметной области, которая будет удовлетворять информационные потребности пользователя при работе 
с описаниями экземпляров объектов, хранимых в базе данных.  
 
1.2. Абстрагирование 
 
Абстрагирование - это способ упрощения совокупности фактов, относящихся к реальному объекту. При этом некоторые свойства объекта игнорируются, поскольку считается, что для решения той или иной прикладной задачи 
они не являются определяющими и не влияют на конечный результат действий 
при решении. Цель такого абстрагирования - построение рабочей модели, которая используется с максимально возможной эффективностью при работе с большими объемами информации: обработка, пополнение, обновление, управление  
и др., как для пользователей, так и с точки зрения проектирования и реализации 
программно-аппаратными средствами. 
 
ГЛАВА 2. ПРОЕКТИРОВАНИЕ БАЗ ДАННЫХ 
 
Современные БД позволяют хранить и обрабатывать информацию об объектах реального мира и их взаимосвязях, которые с развитием науки, техники  
и других сфер жизни приводит к усложнению рабочей модели, которая бы обеспечивала многоаспектные информационных потребности пользователей.  
При проектировании БД стоит учитывать, что конечными пользователями 
ИС могут быть люди с разным уровнем подготовки, владением предметной области и задачами обращения с данными. В связи с этим необходимо стремиться 
к созданию интуитивно понятного интерфейса, который бы позволил повысить 
эффективность работы пользователя и снизить порог входа с точки зрения владения техническими средствами.  
Основные требования, предъявляемые к БД, можно сформулировать следующим образом: 
x целостность БД; 
x многократное использование данных; 
x быстрая обработка запросов, в том числе поиск и получение данных; 
x простота обновления данных; 
x уменьшение избыточности данных; 
x защита от несанкционированного доступа, искажения и уничтожения 
данных. 
Этапы проектирования базы можно разделить на три основных блока: концептуальное проектирование, логическое проектирование и физическое проектирование. Целью концептуального проектирования является создание концепϵ


туальной модели данных, исходя из предметной области и информационных потребностей пользователей. Логическое проектирование подразумевает преобразование концептуальной модели на основе выбранной модели данных в логическую модель, независимую от особенностей используемой в дальнейшем СУБД 
для физической реализации БД. В рамках этапа физического проектирования 
проводится описание конкретной реализации БД. 
В процессе разработки модели данных необходимо выделить информационные объекты, соответствующие требованиям нормализации данных, и определить связи между ними. Эта модель позволяет создать реляционную базу данных 
без дублирования, в которой обеспечивается однократный ввод данных при первоначальной загрузке и корректировках, а также целостность данных при внесении изменений. 
 
2.1. Система управления базами данных 
 
Для обеспечения доступа к информации, хранящейся в базе данных,  
а также для управления ею, применяют систему управления базами данных 
(СУБД).  
СУБД - это совокупность языковых и программных средств, которая позволяет ими управлять, использоваться многими пользователями, а также обеспечивает безопасность данных и позволяет связать БД между собой. В целом СУБД 
является системой, которая позволяет создавать БД и манипулировать сведениями из них. Доступ к данным СУБД осуществляется посредством специального 
языка. 
СУБД делятся на однопользовательские (предназначенные для создания  
и использования БД на персональном компьютере) и многопользовательские 
(предназначенные для работы с единой БД нескольких компьютеров, объединенных в локальные сети). Схема двух типов СУБД представлена на рисунке 1.  
Выглядит схематично деление СУБД следующим образом. 
 
 
 
Рисунок 1. Характер использования СУБД 
 
На сегодняшний день число используемых СУБД исчисляется десятками. 
Наиболее известные:  
ϭϬ