Основы теории информационных процессов и систем

 
 
А. В. ЛЕВЕНЕЦ 
 
 
 
 
 
 
ОСНОВЫ ТЕОРИИ  
ИНФОРМАЦИОННЫХ ПРОЦЕССОВ И СИСТЕМ 
 
 
Учебное пособие 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Москва    Вологда 
«Инфра-Инженерия» 
2024 

УДК 519.711 
ББК 22.18 
Л35 
Р е ц е н з е н т ы :  
доктор технических наук, доцент, заведующий лабораторией  
информационных технологий Вычислительного центра ДВО РАН  
Кривошеев Игорь Александрович; 
доктор технических наук, профессор, профессор Высшей школы  
кибернетики и цифровых технологий Тихоокеанского государственного 
университета Чье Ен Ун 
Левенец, А. В. 
Л35   
Основы теории информационных процессов и систем : учебное  
пособие / А. В. Левенец. - Москва ; Вологда : Инфра-Инженерия, 
2024. - 324 с. : ил., табл.  
ISBN 978-5-9729-1859-1 
Рассматриваются базовые положения теории систем и системного анализа, 
дается представление о процессе обработки данных в информационно-измерительных системах, которɵɣ раскрыт на примере задач сжатия данных и помехоустойчивого кодирования, а также рассматриваются основные вопросы теории 
передачи данных. 
Для студентов и аспирантов, изучающих дисциплины «Теория информацион
ных процессов и систем», «Информационно-измерительные системы» и др. Мо
жет быть полезно преподавателям соответствующих направлений подготовки. 
УДК 519.711 
ББК 22.18 
ISBN 978-5-9729-1859-1 
” Левенец А. В., 2024 
” Издательство «Инфра-Инженерия», 2024 
” Оформление. Издательство «Инфра-Инженерия», 2024 
2 

 
 
ОГЛАВЛЕНИЕ 
 
Введение  ............................................................................................................. 7 
 
ЧАСТЬ 1. ОСНОВНЫЕ ЭЛЕМЕНТЫ ТЕОРИИ  ............... 9 
Глава 1. Основы теории систем  .................................................................... 9 
1.1. Краткая историческая справка  
......................................................... 9 
1.2. Основные определения и понятия  
................................................. 11 
1.3. Классификация систем  ................................................................... 15 
1.4. Основы системного анализа  
........................................................... 18 
1.5. Методы системного анализа  .......................................................... 23 
1.5.1. Качественные методы системного анализа  
..................... 24 
1.5.2. Количественные методы системного анализа  ................ 31 
Контрольные вопросы  ..................................................................................... 34 
Глава 2. Информационные процессы в ИИС  ........................................... 35 
2.1. Информационные процессы  .......................................................... 35 
2.2. Информационно-измерительная система  
..................................... 39 
2.3. Методы описания сообщений в ИИС  ........................................... 43 
Контрольные вопросы  ..................................................................................... 48 
Глава 3. Моделирование информационных систем и процессов  ......... 49 
3.1. Математические модели систем  
.................................................... 49 
3.2. Моделирование потоков сообщений  ............................................ 52 
3.3. Стандартные модели потоков сообщений  
.................................... 58 
3.3.1. Поток Пуассона  
.................................................................. 58 
3.3.2. Нестационарный поток Пуассона  .................................... 59 
3.3.3. Потоки Пальма и Эрланга  
................................................. 60 
3.4. Инструментальные средства моделирования  .............................. 62 
3.4.1. Специализированные средства моделирования  ............. 61 
3.4.2. Принципы построения моделирующих алгоритмов  ...... 63 
3.4.3. Основные подходы к построению моделей  .................... 65 
Контрольные вопросы  ..................................................................................... 67 
Глава 4. Сжатие данных в ИИС  .................................................................. 68 
4.1. Теоретические основы сжатия информации  ................................ 68 
4.2. Характеристики методов сжатия  
................................................... 71 
4.3. Аппроксимирующие алгоритмы сжатия данных  ........................ 74 
4.3.1. Экстраполяционные алгоритмы  ....................................... 75 
4.3.2. Интерполяционные алгоритмы  ........................................ 79 
4.4. Алгоритмы сжатия данных без потерь  ......................................... 80 
Контрольные вопросы  ..................................................................................... 83 
Глава 5. Согласование потоков данных с каналом связи  ..................... 84 
5.1. Информационно-измерительная система со сжатием данных  
... 84 
3 
 

 
 
5.2. Базовые структуры устройств согласования  
................................ 87 
5.3. Обратные связи в устройствах согласования  
............................... 92 
5.3.1. Управляющая ОС по апертуре  ......................................... 92 
5.3.2. Управляющая ОС по частоте считывания  ...................... 95 
5.3.3. Управляющая ОС по существенному отсчету  
................ 96 
5.3.4. ОС по алгоритму сжатия  
................................................... 97 
5.3.5. Приоритетная ОС  
............................................................... 98 
Контрольные вопросы  ....................................................................................  99 
Список использованных источников к Части 1 ..................................... 100 
ЧАСТЬ 2. ОБРАБОТКА ДАННЫХ  
                           КАК ИНФОРМАЦИОННЫЙ ПРОЦЕСС .................... 102 
Глава 6. Обработка данных в ИИС ........................................................... 102 
6.1. Информационно-измерительные системы  ................................. 102 
6.2. Классификация данных ИИС  
....................................................... 107 
6.3. Основные задачи обработки данных в ИИС  .............................. 114 
6.4. Обобщенная структура подсистемы обработки данных ИИС  . 115 
Контрольные вопросы  ................................................................................... 120 
Глава 7. Задача сжатия данных  
................................................................. 121 
7.1. Основные принципы сжатия цифровых и аналоговых данных 
.... 121 
7.2. Перспективные направления развития процедур сжатия  
......... 126 
7.3. Многоуровневая система сжатия данных ................................... 129 
Контрольные вопросы  ................................................................................... 131 
Глава 8. Алгоритмы сжатия цифровых данных  
.................................... 132 
8.1. Алгоритм Хаффмана  
..................................................................... 132 
8.2. Арифметическое кодирование  
..................................................... 134 
8.3. Словарные алгоритмы сжатия  ..................................................... 137 
8.3.1. Общие принципы  ............................................................. 137 
8.3.2. Алгоритм LZ77  
................................................................. 138 
8.3.3. Алгоритм LZSS  ................................................................ 140 
8.3.4. Алгоритм LZ78  
................................................................. 141 
8.3.5. Другие словарные алгоритмы  
......................................... 143 
8.4. Линейно-предсказывающее кодирование  .................................. 144 
8.5. Алгоритмы двумерного блочного сжатия  .................................. 145 
8.6. Сжатие на основе оптимизации логической функции  .............. 148 
8.7. Сжатие измерительных данных как графических объектов ..... 151  
Контрольные вопросы  ................................................................................... 162 
Глава 9. Предварительная обработка данных  ....................................... 163 
9.1. Задача предварительной обработки данных  .............................. 163 
9.2. Преобразование Барроуза - Уиллера  
.......................................... 166 
9.3. Методы структуризации измерительных данных  ..................... 171 
9.4. Выбор разрядности сжимаемых данных  .................................... 174 
4 
 

 
 
9.5. Выбор оптимальной структуры кода переменной длины  ........ 177 
Контрольные вопросы  ................................................................................... 181  
Глава 10. Помехоустойчивое кодирование данных  .............................. 182 
10.1. Основы помехоустойчивого кодирования  ............................... 182 
10.2. Блочные помехоустойчивые коды  ............................................ 187 
10.2.1. Код четности ................................................................... 187 
10.2.2. Инверсный код  ............................................................... 188 
10.2.3. Кодирование Хемминга  ................................................ 189 
10.2.4. Циклические коды  ......................................................... 191 
10.2.5. Итеративные коды  ......................................................... 193 
10.3. Непрерывные помехоустойчивые коды  ................................... 194 
10.3.1. Код Финка - Хагельбаргера  
.......................................... 194 
10.3.2. Сверточные коды  ........................................................... 196 
10.3.3. Кодирование с перемежением ....................................... 201 
Контрольные вопросы  ................................................................................... 203  
Список использованных источников к Части 2 ..................................... 204 
 
ЧАСТЬ 3. ПЕРЕДАЧА ДАННЫХ  .......................... 206 
Глава 11. Системы передачи данных  
....................................................... 206 
11.1. Основные сведения  ..................................................................... 206 
11.2. Источник информации и кодер источника  
............................... 207 
11.3. Кодер канала  
................................................................................ 211 
11.4. Канал связи  .................................................................................. 212 
11.5. Помехи в канале связи  
................................................................ 217 
11.6. Декодер канала и декодер источника  ....................................... 223 
Контрольные вопросы  ................................................................................... 225  
Глава 12. Методы модуляции и демодуляции  
........................................ 226 
12.1. Классификация методов модуляции .......................................... 226 
12.2. Амплитудная модуляция  
............................................................ 228 
12.3. Частотная и фазовая модуляции  
................................................ 232 
12.4. Импульсная модуляция  .............................................................. 235 
12.5. Узкополосный сигнал  ................................................................. 239 
12.6. Основы технической реализации модуляторов  ....................... 242 
12.7. Детектирование амплитудно-модулированных сигналов  ...... 245 
12.8. Частотные и фазовые детекторы  ............................................... 248 
Контрольные вопросы  ................................................................................... 250 
Глава 13. Дискретизация и квантование  
непрерывных сообщений  
............................................................................ 251 
13.1. Основные понятия и определения  
............................................. 251 
13.2. Методы дискретизации  
............................................................... 253 
13.3. Равномерная дискретизация  ...................................................... 255 
13.4. Адаптивная дискретизация  ........................................................ 259 
5 
 

 
 
13.5. Квантование по уровню  
.............................................................. 260 
Контрольные вопросы  ................................................................................... 262 
Глава 14. Каналы передачи данных  
......................................................... 263 
14.1. Общие сведения о каналах передачи данных  .......................... 263 
14.2. Анализ непрерывных каналов  ................................................... 265 
14.3. Анализ дискретных каналов  ...................................................... 269 
Контрольные вопросы  ................................................................................... 274 
Глава 15. Синхронизация в системах передачи данных ....................... 275 
15.1. Основные принципы синхронизации  
........................................ 275 
15.2. Выделение сигналов тактовой синхронизации  
........................ 276 
15.3. Выделение сигналов групповой синхронизации 
................... 282 
Контрольные вопросы  ..................................................................................  287 
Глава 16. Элементы теории приема и обработки данных  ................... 288 
16.1. Общие сведения о приеме сигналов  
.......................................... 288 
16.2. Метод накопления  
....................................................................... 290 
16.3. Методы когерентного и некогерентного приема  
..................... 291 
16.4. Корреляционный и автокорреляционный прием  
..................... 293 
16.5. Прием на согласованный фильтр  .............................................. 294 
16.6. Критерий оптимального приема сигналов  ............................... 296 
16.7. Оптимальный прием дискретных сигналов  ............................. 298 
Контрольные вопросы  ................................................................................... 299 
Глава 17. Основы многоканальной передачи данных  ......................... 300 
17.1. Элементы теории разделения сигналов  .................................... 300 
17.2. Способы разделения сигналов  
................................................... 303 
17.2.1. Частотное разделение сигналов  ................................... 303 
17.2.2. Временной способ разделения каналов  
....................... 305 
17.2.3. Комбинационное разделение сигналов  ....................... 308 
17.3. Системы передачи с шумоподобными сигналами  .................. 310 
17.4. Пропускная способность многоканальных  
систем передачи  ................................................................................... 313 
Контрольные вопросы  ................................................................................... 315 
Список использованных источников к Части 3  .................................... 316 
Заключение  
.................................................................................................... 317 


6 
 

 
 
 
ВВЕДЕНИЕ 
 
Информационно-измерительные системы (ИИС) являются важной составной частью большинства современных технических систем различного 
назначения - от контроллеров посудомоечных машин до систем авиакосмической техники. Такое широкое распространение ИИС стало возможным  
в связи с бурным развитием микроэлектроники и вычислительной техники, 
что позволило разрабатывать мощные вычислительные устройства, способные реализовать такие методы обработки данных, которые ранее были 
принципиально недоступны для такого рода устройств. Это в свою очередь 
привело к усложнению информационных процессов, протекающих в ИИС 
и, следовательно, к усложнению задачи проектирования как ИИС в целом, 
так и отдельных их подсистем.  
По мере увеличения сложности систем важной задачей становится поиск закономерностей их функционирования. Для этого следует распознать 
систему, провести ее декомпозицию на элементарные составляющие, определить законы взаимодействия элементов в каждой подсистеме и затем 
вновь синтезировать систему. Успешное решение этих задач требует разработки и применения ряда специальных формальных методов, которые 
предоставляют общая теория систем и системный анализ. Следует отметить, 
что эти научные направления реализуют принципы системного подхода,  
в основе которого лежит рассмотрение объекта как совокупности взаимодействующих объектов. Этим вопросам, в основном, и посвящена первая 
часть данного пособия. Кроме того, в этой части кратко рассматриваются 
базовые модели информационных процессов, а также некоторые вопросы 
сокращения избыточности информации, предполагающие наличие погрешностей восстановления. 
Вторая часть пособия посвящена раскрытию особенностей такого  
важного информационного процесса как обработка данных в ИИС. Сле- 
дует отметить, что развитие ИИС привело к заметному увеличению объе- 
мов обрабатываемой и пересылаемой по каналам связи информации,  
причем это увеличение происходит непрерывно, по мере увеличения сложности решаемых ИИС задач. В первое время эта проблема решалась увеличением пропускной способности линий связи, однако такой подход очень 
быстро привел к достижению пределов технических возможностей  
в этой области. Кроме того, обрабатываемую информацию необходимо 
было хранить, поэтому еще одной проблемой стало ограниченность объемов существующих запоминающих устройств. Общим решением этих проблем стало применение методов сжатия, что привело к дальнейшему усложнению ИИС. 
7 
 

 
 
При всем широком многообразии методов обработки данных следует 
подчеркнуть, что очень часто смысл обработки сводится к операции сокращения избыточности информации, реализуемой в том или ином виде. Действительно, например, высокочастотная фильтрация заключается в исключении из исходного сигнала «ненужной» информации - низкочастотных составляющих. Аналогичные рассуждения можно провести для операции 
усреднения, когда удаляется ненужная шумовая составляющая, операции 
спектрального оценивания, которая базируется на фильтрации и т. д. Таким 
образом, задачу сжатия можно, с определенными ограничениями, считать 
наиболее общей задачей обработки данных, поэтому в пособии ей уделяется 
большое внимание.  
В каком-то смысле обратной функцией, по сравнению с операцией сжатия, обладает процедура помехоустойчивого кодирования, основная цель 
которой достигается за счет увеличения избыточности закодированной информации. Промежуточное положение занимают алгоритмы предварительной обработки данных перед сжатием, которые могут увеличить объем исходных данных, но только для того, чтобы последующее процедура сжатия 
работала бы более эффективно. 
В третьей части рассматриваются основные положения теории передачи данных. Передача данных является одним из основных информационных процессов и фактически входит как составная часть во многие задачи, 
решаемые ИИС. Теоретическим обоснованием методов передачи и приема 
занимается общая теория связи, основы которой были заложены работой  
В. А. Котельникова «О пропускной способности «эфира» и проволоки», 
опубликованной в 1933 г. Этой теории уделяли пристальное внимание известные отечественные и зарубежные ученые К. Шеннон, Р. Хартли,  
A. A. Xapкевич, A. H. Колмогоров, H. Винер, Р. Фано, Л. M. Финк и многие 
другие.  
В этой части приведены основные сведения о принципах построения 
систем передачи данных, типовая структура таких систем, а также кратко 
рассмотрены базовые задачи, решаемые ее основными элементами. Также 
рассматриваются основные методы модуляции, процедуры дискретизации 
и квантования непрерывных сообщений, а также приведены основные сведения о каналах передачи данных и их базовая классификация. Рассматриваются основные методы и принципы анализа непрерывных и дискретных 
каналов связи. Также даются краткие сведения о теории приема и обработки 
данных. 
Учебное пособие может использоваться аспирантами, магистрами  
и бакалаврами, обучающимися по специальности «Информационные системы и технологии» и «Управление в технических системах», а также может быть использовано студентами других специальностей при изучении 
дисциплин «Информационно-измерительные системы», «Передача данных» и др. 
 
8 
 

 
 
 
Часть 1 
ОСНОВНЫЕ ЭЛЕМЕНТЫ ТЕОРИИ 
 
 
 
ГЛАВА 1. ОСНОВЫ ТЕОРИИ СИСТЕМ 
 
1.1. Краткая историческая справка 
 
Одним из следствий бурного развития научной деятельности  
в XVIII-XIX вв. стала все более явная дифференциация как научных, так и 
прикладных направлений. В результате этого появилось большое количество специальных дисциплин, причем все сильнее стал проявляться главный 
недостаток такого разделения: специалисты, работающие в разных прикладных областях (так называемые «узкие специалисты»), перестали понимать 
друг друга, даже несмотря на то, что в своей деятельности они применяли 
сходные формальные методы. При этом с конца XIX века стало резко увеличиваться число проектов и проблем, требующих участия специалистов 
различных областей знаний.  
Интегративную роль в научной деятельности, т. е. организацию взаимосвязей и взаимодействия между различными научными направлениями, 
всегда выполняла философия. Например, Исаак Ньютон сделал открытия 
своих основных законов в рамках натурфилософии (так в те времена называлась физика), являвшаяся частью философского знания. Поэтому неудивительно, что в 30-е годы ХХ века философия также явилась источником 
возникновения обобщающего направления, названного общей теорией систем, в рамках которой появился новый подход к анализу систем, который 
сейчас принято называть системным подходом [1]. 
К числу задач, решаемых теорией систем, относятся:  
x определение общей структуры системы;  
x организация взаимодействия между подсистемами и элементами;  
x учет влияния внешней среды;  
x выбор оптимальной структуры системы;  
x выбор оптимальных алгоритмов функционирования системы.  
Интерес к системным представлениям проявлялся не только как к удобному обобщающему понятию, но и как к средству постановки задач с большой неопределенностью. Вообще, можно считать, что зачатки теории систем возникли с появлением первого изобретателя, сообразившего, что соединение более простых вещей в одно целое (систему), может привести к 
появлению новых полезных свойств и функций, обеспечить которые составными частями системы по отдельности невозможно. 
9 
 

 
 
Основоположником теории систем считается биолог Людвиг фон Берталанфи, чья основная идея состояла в признании изоморфизма законов, 
управляющих функционированием системных объектов [2]. Здесь необходимо отметить, что до Л. фон Берталанфи важный вклад в становление системных представлений внес в начале XIX века А. А. Богданов, однако  
в силу ряда исторических причин предложенная им всеобщая организационная наука тектология не нашла распространения и практического применения.  
Сначала теорию систем активно развивали философы, ими были разработаны концептуальные основы, терминологический аппарат, исследованы 
закономерности функционирования и развития сложных систем, поставлены другие проблемы, связанные с философскими и общенаучными основами системных исследований. Однако философская терминология не всегда легко применяется в практической деятельности, поэтому почти одновременно со становлением теории систем возникло направление, названное 
исследованием операций [3], первоначально предназначенная для решения 
задач военного характера. Однако впоследствии это направление получило 
довольно широкое распространение в других прикладных областях благодаря развитому математическому аппарату, базирующемуся на методах оптимизации, математического программирования и математической статистики.  
Применительно к задачам управления более широкое распространение 
получил термин кибернетика, введенный в 1830 г Андре-Мари Ампером  
(от древнегреческого țȣȕİȡȞȘIJȚțȒ - «искусство управления») и принятый 
Норбертом Винером в 1948 г. для названия новой «науки об управлении в 
живых организмах и машинах» [4]. В 60-е годы ХХ века, при постановке  
и исследовании сложных проблем проектирования и управления, широкое 
распространение получил термин системотехника.  
Термин «кибернетика» использовался в период становления работ  
по автоматизации управления как обобщающий для названия всех системных направлений, однако в настоящее время он используется в более уз- 
ком смысле, как одно из направлений теории систем, занимающееся процессами управления техническими объектами, а для обобщения дисциплин, 
связанных с исследованием и проектированием сложных систем, используется термин системные исследования (системный подход). Наиболее конструктивным из направлений системных исследований считается системный анализ, который появился в связи с задачами военного управления  
в 1948 г. 
По Л. фон Берталанфи [2] в основу теории систем помимо кибернетики 
в той или иной мере входят следующие научные дисциплины: 
x Теория информации - раздел прикладной математики, аксиоматически определяющий понятие информации, ее свойства и устанавливающий предельные соотношения для систем передачи данных. 
10