Основы теории информации и кодирования

 
 
 
 
А. В. Хмелевская  
 
 
 
 
 
 
ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ И КОДИРОВАНИЯ 
 
 
Учебное пособие 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Москва    Вологда 
«Инфра-Инженерия» 
2024 
 
 

УДК 621.391:519.7 
ББК 32.811.4 
Х65 
 
 
 
Рецензенты: 
доктор технических наук, генеральный конструктор по специальным проектам  
АО «"Авиаавтоматика" имени В. В. Тарасова», старший научный сотрудник И. Е. Мухин; 
доктор технических наук, главный научный сотрудник НИИЦ (г. Курск) 18 ЦНИИ МО РФ, 
доцент В. Г. Довбня 
 
 
 
 
 
 
 
 
 
 
 
Хмелевская, А. В.  
Х65   
Основы теории информации и кодирования : учебное пособие / 
А. В. Хмелевская. ௅ Москва ; Вологда : Инфра-Инженерия, 2024. ௅ 196 с. : 
ил., табл. 
ISBN 978-5-9729-1840-9 
 
Содержит краткие теоретические положения основ теории информации и кодирования, а именно: основы теории информации, основы теории кодирования и передачи 
информации по каналам связи. Для удобства пользования пособие содержит краткие 
справочные сведения по теории вероятностей, которые крайне необходимы при рассмотрении основных положений теории информации, теории кодирования и передачи 
информации по каналам связи. 
Для студентов высших учебных заведений по техническим специальностям и 
направлениям подготовки, в том числе по специальностям 10.05.02 и 10.05.03 и направлениям подготовки 10.03.01 и 11.03.02. 
 
 
УДК 621.391:519.7 
ББК 32.811.4 
 
 
ISBN 978-5-9729-1840-9 
” Хмелевская А. В., 2024 
 
” Издательство «Инфра-Инженерия», 2024 
 
” Оформление. Издательство «Инфра-Инженерия», 2024 
 
 

 
ОГЛАВЛЕНИЕ 
 
Предисловие 
............................................................................................................. 6 
Введение ................................................................................................................... 7 
Глава 1. Введение в теорию информации 
........................................................... 10 
1.1. Информация. Общие понятия ....................................................................... 10 
1.1.1. Информация и материя ............................................................................... 10 
1.1.2. Информация в адаптивной системе 
........................................................... 11 
1.2. Методологическая схема формирования и материализации  
информации ........................................................................................................... 12 
1.3. Этапы обращения информации .................................................................... 13 
1.4. Виды информации 
.......................................................................................... 14 
1.5. Структура информации ................................................................................. 17 
Контрольные вопросы и задания ......................................................................... 21 
Глава 2. Измерение информации ......................................................................... 22 
2.1. Структурные меры количества информации .............................................. 22 
2.2. Статистические меры информации .............................................................. 29 
2.2.1. Вероятность и информация ........................................................................ 29 
2.2.2. Понятие энтропии ....................................................................................... 30 
2.2.3. Энтропия ансамбля ..................................................................................... 33 
2.2.4. Свойства энтропии ...................................................................................... 35 
2.2.5. Энтропия объединения ............................................................................... 38 
2.2.6. Количество информации и избыточность ................................................ 44 
2.2.7. Производительность источника 
................................................................. 46 
2.3. Семантические меры информации ............................................................... 47 
2.3.1. Содержательность информации ................................................................ 49 
2.3.2. Целесообразность информации ................................................................. 49 
2.3.3. Динамическая энтропия 
.............................................................................. 52 
2.3.4. Существенность информации .................................................................... 53 
Контрольные вопросы 
........................................................................................... 54 
Контрольные задания 
............................................................................................ 55 
Глава 3. Дискретизация и квантование сигналов 
............................................... 57 
3.1. Виды дискретизации (квантования) ............................................................. 57 
3.1.1. Критерии точности представления квантованного сигнала ................... 60 
3.1.2. Элементы обобщенной спектральной теории сигналов 
.......................... 61 
3.2. Дискретизация по времени 
............................................................................ 64 
3.2.1. Разложение в ряд Котельникова (Теорема Котельникова) 
..................... 64 
3.2.2. Выбор периода дискретизации (квантования по времени)  
по критерию наибольшего отклонения 
............................................................... 67 
3.2.3. Выбор интервала дискретизации по критерию  
среднеквадратического отклонения .................................................................... 76 
3.3. Квантование по уровню 
................................................................................. 78 
3.3.1. Оптимальное квантование по уровню ...................................................... 78 
3 

 
3.3.2. Дисперсия ошибки в случае использования равномерной шкалы 
квантования по уровню 
......................................................................................... 82 
3.3.3. Расчет неравномерной оптимальной в смысле максимума количества 
информации в квантованном сигнале шкалы квантования .............................. 88 
3.3.4. Закон компандирования при условии равномерного закона  
распределения квантуемого сигнала ................................................................... 89 
3.4. Энтропия непрерывных сообщений 
............................................................. 89 
3.4.1. Экстремальные свойства энтропии непрерывных сообщений 
............... 93 
3.4.2. Эпсилон-энтропия источника непрерывных сообщений 
........................ 98 
3.4.3. Энтропия дискретного сообщения, получаемого  
из непрерывного путем его квантования по уровню 
....................................... 104 
Контрольные вопросы 
......................................................................................... 105 
Глава 4. Кодирование информации ................................................................... 106 
4.1. Элементы теории кодирования 
................................................................... 108 
4.1.1. Неравенство Крафта 
.................................................................................. 110 
4.1.2. Теорема об обобщении некоторых результатов, полученных  
для префиксных кодов, на все однозначно декодируемые коды ................... 111 
4.1.3. Основная теорема кодирования для канала связи без шума ................ 113 
4.1.4. Теорема о минимальной средней длине кодового слова  
при поблочном кодировании 
.............................................................................. 115 
4.2. Оптимальные неравномерные коды 
........................................................... 116 
4.2.1. Коды Хаффмена 
......................................................................................... 120 
4.2.2. Коды Шеннона í Фано ............................................................................. 122 
4.2.3. Параметры эффективности оптимальных кодов ................................... 125 
4.2.4. Особенности эффективных кодов. .......................................................... 126 
4.3. Помехоустойчивое кодирование ................................................................ 127 
4.3.1. Классификация кодов ............................................................................... 128 
4.3.2. Простейшие модели цифровых каналов связи с помехами .................. 130 
4.3.3. Расчет вероятности искажения кодового слова в ДСМК...................... 131 
4.3.4. Общие принципы использования избыточности ................................... 131 
4.3.5. Граница Хэмминга .................................................................................... 135 
4.3.6. Избыточность помехоустойчивых кодов 
................................................ 136 
4.3.7. Математическое введение к алгебраическим кодам ............................. 136 
4.3.8. Линейные коды 
.......................................................................................... 138 
4.3.9. Упрощённый способ построения линейного кода 
................................. 139 
4.3.10. Порядок декодирования ......................................................................... 142 
4.3.11. Двоичные циклические коды ................................................................. 146 
4.3.12. Некоторые свойства циклических кодов .............................................. 150 
4.3.13. Построение кода с заданной корректирующей  способностью ......... 152 
4.3.14. Матричное описание циклических кодов 
............................................. 153 
4.3.15. Выбор образующего полинома 
.............................................................. 154 
Контрольные вопросы 
......................................................................................... 156 
Контрольные задания 
.......................................................................................... 157 
Глава 5. Передача информации 
.......................................................................... 158 
4 

 
5.1. Виды каналов передачи информации......................................................... 158 
5.2. Разделение каналов связи ............................................................................ 159 
5.3. Пропускная способность каналов связи .................................................... 166 
5.3.1. Пропускная способность дискретного канала связи с шумом ............. 168 
5.3.2. Типичные последовательности и их свойства ....................................... 172 
5.3.3. Основная теорема Шеннона для дискретного канала с шумом ........... 173 
5.3.4. Пропускная способность непрерывного канала при наличии  
аддитивного шума ............................................................................................... 177 
Контрольные вопросы 
......................................................................................... 182 
Контрольные задания 
.......................................................................................... 182 
Заключение 
........................................................................................................... 183 
Рекомендательный список литературы 
............................................................. 184 
Приложение ......................................................................................................... 186 
 
 
 
5 

 
ПРЕДИСЛОВИЕ 
 
Целью данного учебного пособия является изучение теоретических основ 
дисциплин «Теория информации», «Основы теории информации», «Теория 
информации и кодирования». 
Содержание учебного пособия соответствует требованиям Федерального 
государственного образовательного стандарта высшего образования для студентов специальностей 10.05.02 и 10.05.03 и направления подготовки 10.03.01 
и 11.03.02, рабочим программам соответствующих дисциплин и основным задачам их освоения. 
Читательский адрес издания ௅ для студентов высших учебных заведений, 
обучающихся по направлениям подготовки 11.03.02 «Инфокоммуникационные 
технологии и системы связи» и 10.03.01 «Информационная безопасность», и по 
специальностям 10.05.02 «Информационная безопасность телекоммуникационных систем» и 10.05.03 «Информационная безопасность автоматизированных систем» очной и заочной форм обучения. 
Тип учебного издания и его место в системе других изданий ௅ учебное пособие (теоретическое). 
Пособие состоит из пяти теоретических глав и приложения. В первой главе 
содержатся общие сведения по основам теории информации. Во второй главе 
рассматриваются вопросы измерения информации, третья глава посвящена 
краткому изложению вопросов дискретизации и квантования сигналов, в четвёртой главе приведены основы теории кодирования, в пятой главе кратко изложена теория передачи информации по каналам связи. 
Изложение теоретических глав написано в предположении, что студенты 
знакомы с основными понятиями из курса высшей математики. 
Приложение содержит краткий справочный материал по основам теории 
вероятностей, знание которого необходимо при изучении основного теоретического материала, представленного в пособии. 
При подготовке пособия использованы теоретические положения, отраженные в научных статьях, в учебной литературе и монографиях. 
 
 
6 

 
ВВЕДЕНИЕ 
 
Понятие информации – это одно из основных понятий кибернетики. Существует много определений информации:  
 в переводе с греческого языка informatikoa (лат. Informatio) означает сообщение, разъяснение, однако в настоящее время показано, что не всякое сообщение имеет информацию; 
 философское определение информации  – это отражение окружающего 
мира в человеческом сознании; 
 энциклопедическое определение информации – это совокупность сведений, определяющих меру наших знаний об объектах, процессах, событиях, явлениях и т. д.; 
 техническое определение информации – это совокупность данных, являющихся объектом получения, преобразования, воспроизведения (отображения) и использования, т. е. информация отождествляется с материей (одной из 
её форм) и является объектом исследования в научных и практических целях. 
Появление теории информации связывают с публикацией книги американского математика Клода Шеннона «Математическая теория связи» в 1948 г. 
Именно К. Шеннон ввёл понятие информации для описания процессов в каналах связи. Однако ещё в 1928 г. была опубликована статья английского инженера Ричарда Хартли «Передача информации», а в 1946 г. опубликована книга 
советского учёного академика В. А. Котельникова «Теория потенциальной помехоустойчивости». Тем не менее основоположником теории информации считают К. Шеннона. 
К теории информации (в ее узкой классической постановке) относят результаты решения ряда фундаментальных теоретических вопросов, касающихся 
повышения эффективности функционирования систем связи. Это в первую 
очередь:  
௅ анализ сигналов как средства передачи сообщений, включающий вопросы оценки переносимого ими «количества информации»;  
௅ анализ информационных характеристик источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналу связи, как при отсутствии, так и при наличии помех.  
Прикладные результаты приводятся здесь только для пояснения основ теории. При более широкой трактовке теории информации результаты рассмотрения указанных вопросов составляют ее основу.  
Если расширение связано с приложением теории в технике связи, а именно 
рассмотрением проблемы разработки конкретных методов и средств кодирования сообщений, то совокупность излагаемых вопросов называют «Теорией информации и кодирования» или «Прикладной теорией информации».  
Другая точка зрения состоит в том, что глобальной проблемой теории информации следует считать разработку принципов оптимизации системы связи в 
7 

 
целом. В этом случае к ней относят все локальные проблемы систем связи, 
включая, например, проблему оптимального приема и др.  
В соответствии с третьей крайней точкой зрения к компетенции теории 
информации относят все проблемы и задачи, в формулировку которых входит 
понятие информации. Ее предметом считают изучение процессов, связанных с 
получением, передачей, хранением, обработкой и использованием информации. 
В такой постановке она затрагивает проблемы многих наук (в частности, кибернетики, биологии, психологии, лингвистики, педагогики) на всех трех уровнях (синтаксическом, семантическом и прагматическом).  
Попытки широкого использования идей теории информации в различных 
областях науки связаны с тем, что в основе своей эта теория математическая. 
Основные ее понятия (энтропия, количество информации, пропускная способность) определяются только через вероятности событий, которым может быть 
приписано самое различное физическое содержание. Подход к исследованиям в 
других областях науки с позиций использования основных идей теории информации получил название теоретико-информационного подхода. Его применение в ряде случаев позволило получить новые теоретические результаты и ценные практические рекомендации. Однако нередко такой подход приводит к созданию моделей процессов, далеко не адекватных реальной действительности. 
Поэтому в любых исследованиях, выходящих за рамки чисто технических проблем передачи и хранения сообщений, теорией информации следует пользоваться с большой осторожностью. Особенно это касается моделирования умственной деятельности человека, процессов восприятия и обработки им информации.  
В настоящем пособии термин «Информация» понимается в узком смысле, 
принятом при описании так называемых информационных систем. 
К ним относятся телекоммуникационные и вычислительные сети, автоматизированные системы управления и контроля и т. п. В данном случае понятие 
количества информации определяется как частота употребления знаков. Количество информации в указанном смысле не отражает ни семантики, ни прагматической ценности информации. 
Информационные системы – это класс технических систем, предназначенных для хранения, передачи и преобразования информации. Соответственно 
информация – это сведения, являющиеся объектом хранения, передачи и преобразования, а теория информации – раздел кибернетики, занимающийся математическим описанием методов передачи, хранения, извлечения (обработки)  
и классификации информации. Заметим, что сама информация, как правило, 
используется для осуществления каких-либо управляющих воздействий. 
Таким образом, предметом нашего рассмотрения является теория информации в классическом смысле – решение теоретических вопросов, касающихся 
повышения эффективности и функционирования информационных систем, в 
частности систем связи. Она включает в себя: 
1) анализ сигналов как средства передачи информации; 
8 

 
2) анализ информационных характеристик источников сообщения и каналов связи; 
3) теорию кодирования; 
4) методы приема и обработки информации. 
Каждый из указанных разделов может быть (и, как правило, является) 
предметом самостоятельного глубокого изучения в соответствующих дисциплинах различных специальностей информационного направления. В настоящем курсе автор стремился акцентировать внимание на наиболее общих фундаментальных законах, имеющих существенное значение для восприятия указанных разделов как единого целого. На взгляд автора, таким общим фундаментом являются теоремы К. Шеннона о кодировании. 
 
 
 
 
 
 
9 

 
ГЛАВА 1. ВВЕДЕНИЕ В ТЕОРИЮ ИНФОРМАЦИИ 
 
При исследовании или наблюдении любого физического процесса, объекта 
или явления можно ввести понятие информации. Существует достаточно много 
определений понятия «информация», существенно различающихся в зависимости от сферы деятельности, в применении к которой даётся конкретное определение этого понятия.  
Такое положение, при котором существует множество различных определений и отсутствует единое  общепринятое и точное определение этого понятия, вытекает из того, что понятие информации, наряду с такими фундаментальными понятиями, как материя и энергия в физике или как множество или 
точка в математике, является первичным понятием, и поэтому не может иметь 
четкого формализованного определения, т. е. не может быть определено через 
более простые известные объекты, имеющие четкие определения.  
Поэтому при определении основных фундаментальных первичных понятий используют интуитивный подход, определяя понятие через совокупность 
присущих ему свойств. Действительно, исходя из практического опыта, интуитивно, можно представить информацию как совокупность содержательных сведений, заключенных в том или ином объекте или явлении, и перечислить ее основные свойства, тем самым интуитивно, исходя из этих свойств, её определить. 
 
1.1. Информация. Общие понятия 
 
1.1.1. Информация и материя 
 
С точки зрения философии информация – наиболее общее понятие наряду 
с материей, можно сказать, что она отражает организацию материи. При этом 
информация не только пассивно характеризует структуру материи, но и способна активно создавать и воспроизводить эту структуру. Например, любой 
созданный человеком объект первоначально существует в виде идеи (образа) в 
голове его творца, а свойства самого человека в значительной степени запрограммированы информацией, хранящейся в его геноме.  
«Антиподом» информации, характеризующей структурированность материи является энтропия, которая отражает ее неупорядоченность («хаоc»). 
Соотношение материи, информации и энтропии показано на рисунке 1.1. 
 
10