Теория информационных процессов и систем

 
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ 
РОССИЙСКОЙ ФЕДЕРАЦИИ 
Федеральное государственное автономное  
образовательное учреждение высшего образования  
«ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ» 
Инженерно-технологическая академия 
 
 
 
О. Д. ГЛОД  
 
 
 
ТЕОРИЯ ИНФОРМАЦИОННЫХ  
ПРОЦЕССОВ И СИСТЕМ 
 
Учебное пособие 
 
 
 
 
 
 
 
 
 
 
 
 
 
Ростов-на-Дону – Таганрог 
Издательство Южного федерального университета 
2023 
 
 
 

 
УДК 004.89(075.8) 
ББК 32.81я73 
Г54 
Печатается по решению кафедры прикладной информатики и инноватики 
Института высоких технологий и пьезотехники Южного федерального 
университета (протокол № 9 от 11 мая 2023 г.) 
Рецензенты: 
доктор технических наук, заведующий кафедрой «Информационных  
и измерительных технологий» Южного федерального университета 
В. Л. Земляков 
кандидат технических наук, заведующая кафедрой «Машиностроение» 
филиала ДГТУ в г. Таганроге Л. В. Толмачёва 
 
Глод, О. Д.  
Г54     Теория информационных процессов и систем : учебное пособие /  
О. Д. Глод ; Южный федеральный университет. – Ростов-на-Дону ; 
Таганрог : Издательство Южного федерального университета, 2023. – 
120 с. 
ISBN 978-5-9275-4586-5 
В учебном пособии представлен материал для теоретического изучения дисциплины «Теория информационных процессов и систем». Предлагаемое учебное 
пособие рекомендуется для студентов бакалавриата, обучающихся по направлению 
09.03.03 «Прикладная информатика». Структура учебного пособия отличается лаконичностью и содержит основные разделы, необходимые студентам для приобретения теоретических знаний в области информационных процессов и систем. 
Учебное пособие содержит основные понятия и определения теории связи, математическое описание сигналов и их преобразование, модели каналов связи и рассматривает вопросы передачи и кодирования сообщений. Затрагивает принципы 
искусственного интеллекта. Содержит тесты для контроля усвоения материала. 
 
УДК 004.89(075.8) 
ББК 32.81я73 
ISBN 978-5-9275-4586-5 
© Южный федеральный университет, 2023 
© Глод О. Д., 2023 
© Оформление. Макет. Издательство  
Южного федерального университета, 2023 
 
 

 
СОДЕРЖАНИЕ 
 
ВВЕДЕНИЕ ................................................................................................ 
5 
ГЛАВА 1. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СВЯЗИ ........................... 6 
1.1. Общие сведения о системах связи. Информация, сообщение, сигнал ... 6 
1.2. Связь, сеть связи, система связи 
............................................................... 8 
1.3 
. Основные характеристики систем связи 
................................................ 11 
ГЛАВА 2. ДЕТЕРМИНИРОВАННЫЕ СИГНАЛЫ И ИХ 
МАТЕМАТИЧЕСКИЕ МОДЕЛИ 
.............................................................. 12 
2.1. 
 Разложение детерминированных функций в ортогональные ряды ..... 12 
2.2. Спектральная плотность сигнала ........................................................... 13 
2.3. Геометрические представления сигналов 
.............................................. 15 
2.4. Теорема Котельникова ............................................................................ 17 
ГЛАВА 3. МЕТОДЫ ФОРМИРОВАНИЯ И ПРЕОБРАЗОВАНИЯ 
ДЕТЕРМИНИРОВАННЫХ СИГНАЛОВ В СИСТЕМАХ СВЯЗИ ...... 19 
3.1. Линейные преобразования дискретного спектра ................................... 19 
3.2. 
Преобразование частоты. Модуляция и детектирование ...................... 20 
3.3.1. Преобразование частоты ................................................................ 20 
3.3.2. Модуляция ...................................................................................... 20 
3.3. 
Частотная модуляция непрерывного гармонического переносчика ..... 23 
3.3.1. Непрерывный частотно-модулированный сигнал с малым  
индексом модуляции 
................................................................................ 23 
3.3.2.  Дискретная частотная модуляция 
................................................. 24 
3.4. 
Фазовая модуляция гармонического переносчика 
................................. 26 
3.4.1. Непрерывная фазовая модуляция 
.................................................. 26 
3.4.2. Дискретная двоичная фазовая модуляция..................................... 27 
3.5. 
Амплитудно-импульсная модуляция 
...................................................... 29 
3.6. Импульсно-кодовая модуляция .............................................................. 30 
3.7. Принципы цифровой обработки сигналов 
............................................. 32 
3.7.1. Дискретные преобразования Фурье (прямое и обратное)  ........... 32 
3.7.2. Квантование 
.................................................................................... 35 
ГЛАВА 4. СЛУЧАЙНЫЕ СИГНАЛЫ И ИХ МАТЕМАТИЧЕСКИЕ 
МОДЕЛИ ....................................................................................................... 37 
4.1. 
Математические модели непрерывных случайных процессов ............. 37 
4.2. 
 Математические модели случайных дискретных процессов 
................ 38  
3 
 

Содержание 
4.3. Нормальный случайный процесс ............................................................ 
39 
4.4. 
 Математические модели сообщений ...................................................... 
42 
ГЛАВА 5. КАНАЛЫ СВЯЗИ 
....................................................................... 
45 
5.1 Классификация каналов. Помехи в каналах связи 
.................................. 
45 
5.2. Математические модели каналов связи 
............................................... 46 
5.2.1. Модель непрерывного канала без шума 
...................................... 46 
5.2.2. Математические модели дискретных каналов связи .................... 
47 
5.2.3. Особенности оптических каналов связи 
........................................ 
47 
ГЛАВА 6. ТЕОРИЯ ПЕРЕДАЧИ И КОДИРОВАНИЯ  
СООБЩЕНИЙ .............................................................................................. 
48 
6.1. 
 Общие сведения ....................................................................................... 
48 
6.1.1. Количество информации в дискретных сообщениях.  
Понятие энтропии 
..................................................................................... 
48 
6.1.2. Производительность источника дискретных сообщений. 
Скорость передачи информации 
.............................................................. 
51 
6.2. 
 Эффективное кодирование источников дискретных сообщений ......... 
52 
6.3. 
 Пропускная способность канала связи ................................................... 
53 
6.3.1. Пропускная способность дискретного канала связи 
..................... 
53 
6.3.2. Пропускная способность непрерывного канала связи 
.................. 
54 
6.4. Основы теории помехоустойчивого кодирования ................................. 
55 
6.4.1. Теорема кодирования для канала с помехами 
............................... 
55 
6.4.2. Принципы построения помехоустойчивых кодов......................... 
55 
6.4.3. Классификация помехоустойчивых кодов .................................... 
60 
6.4.4. Линейные двоичные блочные коды 
............................................... 
61 
ГЛАВА 7. ИСЧИСЛЕНИЕ ВЫСКАЗЫВАНИЙ 
.................................... 
64 
ТЕСТЫ И КОНТРОЛЬНЫЕ ЗАДАНИЯ ....................................................... 
67 
ЗАКЛЮЧЕНИЕ 
............................................................................................. 
118 
СПИСОК ЛИТЕРАТУРЫ ............................................................................ 
119 
4 
 

 
ВВЕДЕНИЕ 
 
Развитие современных технологий невозможно без систем связи. 
Курс, который бы знакомил студентов с основными положениями теории 
информационных процессов и систем, просто необходим современным бакалаврам, обучающимся по техническим направлениям. В учебном пособии 
представлен материал для теоретического изучения дисциплины «Теория 
информационных процессов и систем». Предлагаемое учебное пособие рекомендуется для студентов бакалавриата, обучающихся по направлению 
09.03.03 «Прикладная информатика». Структура учебного пособия содержит основные разделы, необходимые студентам для приобретения теоретических знаний в области информационных процессов и систем, в учебном 
пособии даны основные понятия теории связи, рассмотрены математические модели сигналов. Внимание уделено рассмотрению методов формирования и преобразования детерминированных сигналов в системах связи. 
Рассмотрены модели случайных сигналов. Студентам дано теоретическое 
представление о каналах связи, рассмотрены основные положения теории 
кодирования сообщений. В конце учебного пособия предложены к рассмотрению основы систем искусственного интеллекта. Содержит тесты для 
контроля усвоения материала.  
 
 
5 
 

 
ГЛАВА 1. ОСНОВНЫЕ ПОНЯТИЯ ТЕОРИИ СВЯЗИ 
1.1. Общие сведения о системах связи.  
Информация, сообщение, сигнал 
Под словом «информация» будем понимать сведения, которые описывают то или иное событие или свойство какого-либо объекта. Когда эти 
сведения становятся объектом передачи, распределения, преобразования, 
хранения или непосредственного использования, то они могут быть представлены в виде символов (знаков) или в каком–либо другом виде, например, в виде фотографии, рисунка, кинопленки, произнесенных слов, выражающих мысль говорящего и т.д. [4]. 
Сообщение является формой представления информации.  
Сообщение, передаваемое по сети связи, таким образом содержит 
информационную часть и дополнительную (вспомогательную) часть, позволяющую доставить сообщение. 
Различают аналоговые и дискретные сообщения. Аналоговое сообщение, например, разговорная речь, описывается функцией времени и непрерывным множеством возможных значений. Источник, на выходе которого вырабатывается непрерывное сообщение, называется непрерывным. 
Источник, на выходе которого вырабатывается дискретное сообщение, 
называется дискретным [4]. 
Физический процесс (колебания электрического тока или напряжения, 
звуковые и электромагнитные волны), один или несколько параметров которого изменяются случайно в соответствии с передаваемым случайным 
сообщением или детерминированно (по заранее заданному закону), называется сигналом [4]. Сигнал, предназначенный для передачи информации, 
является формой представления этой информации. В канале связи эта форма, как правило, не остается постоянной, так как сигнал подвергается различным преобразованиям. Преобразование одного (преобразуемого) сигнала в другой (преобразованный) путем изменения параметров третьего 
сигнала переносчика называется модуляцией. Особенностью сигнала переносчика является постоянство его параметров до передачи и их изменение в 
соответствии с сообщением при передаче. Сигнал переносчик в режиме 
передачи является преобразованным (модулированным) сигналом. Преобразуемый сигнал называется модулирующим, а сигнал переносчик – моду6 
 

 1.1. Общие сведения о системах связи. Информация, сообщение, сигнал 
лируемым. Поскольку сообщение является случайным по своей природе, т.е. 
непредсказуемым для получателя, то как модулирующий, так и модулированный сигналы являются случайными [4]. 
Модулирующий сигнал, полученный непосредственным преобразованием сообщения, называется первичным. Преобразованный сигнал на 
выходе модулятора по отношению к преобразованному первичному сигналу 
называется вторичным [4]. 
Параметр сигнала переносчика, отображающий изменения передаваемого сообщения, называется представляющим (информационным). Для 
гармонического колебания это амплитуда, фаза или частота [4]. 
Сигнал, у которого представляющий параметр описывается функцией 
непрерывного или дискретного времени и непрерывным множеством возможных значений, называется аналоговым. 
Сигнал, у которого представляющий параметр описывается функцией 
непрерывного времени и конечным множеством возможных значений, 
называется дискретным. 
Дискретный сигнал, у которого представляющий параметр описывается функцией дискретного времени и конечным множеством возможных 
значений, называется цифровым. Если возможные значения представлены 
совокупностью двоичных чисел, то цифровой сигнал называется двоичным. 
Двоичные цифровые сигналы являются самыми простыми и по этой причине используются чаще других сигналов [4]. 
Кроме двоичных, в системах связи применяются троичные, четверичные, восьмеричные и т.д. n-ичные цифровые сигналы [4]. 
Основными параметрами сигнала с точки зрения транспортировки 
являются длительность Тс, ширина спектра Fc, динамический диапазон Dc 
[4]. 
Длительность сигнала определяет интервал времени, в котором этот 
сигнал существует. Ширина спектра сигнала – это интервал (диапазон) 
частот, в пределах которого сосредоточена основная часть энергии сигнала. 
Для сигнала, определенного функцией времени u(t), его энергия равна [4]: 
                                   𝐸= ∫
𝑢2
𝑇𝑐
0
(𝑡)𝑑𝑡.                                              (1.1) 
Динамический диапазон – это отношение наибольшей мгновенной 
мощности сигнала к наименьшей. Динамический диапазон обычно выражают в децибелах [4]: 
7 
 

1. Основные понятия теории связи 
                                              𝐷= 10𝑙𝑔
𝑃𝑚𝑎𝑥
𝑃𝑚𝑖𝑛 ,                                                (1.2) 
 
где Pmax, Pmin – максимальное и минимальное значения мгновенной мощности. 
Обобщающей характеристикой является объем сигнала, равный произведению его длительности, ширины спектра и динамического диапазона [4]: 
                                                 𝑉
𝑐 = TcFcDc. 
                                  (1.3) 
1.2. Связь, сеть связи, система связи 
Связь классифицируется по видам в зависимости от характера передаваемых сообщений или среды распространения сигналов (рис. 1.1) [4]. 
Совокупность узлов и трактов, позволяющая соединять два и более 
определенных пункта для обеспечения связи между ними, называется сетью 
связи.  
 
 
Рис. 1.1. Виды электросвязи 
8 
 

 1.2. Связь, сеть связи, система связи 
Система, посредством которой источник может достаточно эффективно и надежно передавать информацию в пункт назначения, называется 
системой связи. Система связи, таким образом, является подсистемой сети 
связи. Обобщенная структурная схема системы электросвязи приведена на 
рис. 1.2 [4]. 
В состав системы связи входит передатчик 1, среда распространения 2 и приемник 3. Источник сообщения 4 и получатель сообщения 5 в состав системы не входят [4]. 
 
 
Рис. 1.2. Обобщённая структурная схема системы связи: 1 – передатчик; 2 – линия связи; 
3 – приемник; 4 – источник сообщения; 5 – получатель сообщения; 6 – источник помех 
 
Передатчик является устройством, которое преобразует сообщение в 
сигнал. Вначале сообщение преобразуется в первичный сигнал [4].  
Среда распространения 2 – это физическая цепь, которая содержит 
одну или две пары токопроводящих металлических проводов или светопроводящих стеклянных волокон. В качестве среды распространения используется также открытое пространство. Соответственно системы связи 
называются проводными, радио или оптическими [4]. 
Приемник является устройством, с помощью которого осуществляется восстановление сообщения по принятому сигналу [4].  
Помехи, действующие на выходе источники помех 6, подразделяются 
на внешние и внутренние. К внешним относятся космические, атмосферные, 
промышленные, помехи от посторонних радиостанций и каналов. Внут9 
 

1. Основные понятия теории связи 
ренние помехи возникают в аппаратуре систем связи. Они обусловлены 
хаотическим движением носителей заряда в резисторах, электронных и 
других приборах, взаимным влиянием друг на друга каналов в многоканальных системах связи [4]. 
По типу передаваемых сообщений системы связи делятся на аналоговые и дискретные (цифровые). Аналоговые системы предназначены для 
передачи непрерывных, а цифровые – для передачи цифровых сигналов. 
Используются также и смешанные системы, в которых непрерывные сообщения преобразуются в дискретные с целью использования цифровых 
методов передачи. 
Система связи называется многоканальной, если она обеспечивает 
передачу нескольких сообщений по одной среде распространения. 
Понятие канал связи поясним с использованием структурной схемы 
цифровой системы связи (рис. 1.3). В данной системе, кроме пути прохождения сигнала от входа (точка А) до выхода (точка А), могут быть выделены 
также другие отрезки пути: от точки А до точки D*, от точки В до точки В* и 
т.д. [4]. 
 
 
Рис. 1.3. Структурная схема цифровой системы передачи [4]: 1 – кодер источника (блок 
эффективного кодирования); 2 – кодер канала (блок помехоустойчивого кодирования);  
3 – модулятор; 4 – линия связи; 5 – демодулятор; 6 – декодер канала (блок помехоустойчивого декодирования); 7 – декодер источника (блок эффективного декодирования) 
 
Соответствующие этим отрезкам технические средства и среда распространения являются каналами связи. В зависимости от характера сигналов на входе и выходе каналы делятся на дискретные, дискретно-непрерывные и непрерывные. 
10