Применение теории информации к системам обработки сигналов

Московский государственный технический университет 
имени Н.Э. Баумана 
С.И. Силин 
 
 
Применение теории информации 
к системам обработки сигналов 
 
 
Учебное пособие 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1 

УДК 621.391.8+519.2(075.8) 
ББК 32.81 
С36 
 
Издание доступно в электронном виде на портале ebooks.bmstu.ru  
по адресу: http://ebooks.bmstu.ru/catalog/173/book1696.html 
Факультет «Специальное машиностроение» 
Кафедра «Автономные информационные и управляющие системы» 
 
Рекомендовано Редакционно-издательским советом  
МГТУ им. Н.Э. Баумана в качестве учебного пособия 
С36 
 
 
Силин, С. И. 
Применение теории информации к системам обработки сигналов : учебное пособие / С. И. Силин. — Москва : Издательство 
МГТУ им. Н. Э. Баумана, 2017. — 30, [2] с. : ил. 
 
ISBN 978-5-7038-4735-0 
 
Изложены основы теории информации, которые используются в теории обработки радиолокационных сигналов. Рассмотрены понятие количества информации, содержащейся в сообщении, а также понятия источника и его энтропии как меры неопределенности его состояния и понятие 
энтропии канала как меры разрушения информации при прохождении 
сигнала через канал. Описаны непрерывные источники и обоснован переход от энтропии дискретного источника к непрерывному случаю. Приведены теоремы Шеннона о пропускной способности каналов. 
Для студентов МГТУ им. Н.Э. Баумана, изучающих дисциплину 
«Обработка сигналов в АИУС».  
 
УДК 621.391.8+519.2(075.8) 
                                              ББК 32.81 
 
 
 МГТУ им. Н.Э. Баумана, 2017 
 
 
 Оформление. Издательство  
ISBN 978-5-7038-4735-0                                             МГТУ им. Н.Э. Баумана, 2017 
2 

Предисловие 
Представленное учебное пособие предназначено для студентов МГТУ им. Н.Э. Баумана, изучающих дисциплину «Обработка 
сигналов в АИУС» и овладевших материалом по теории вероятности, математической статистики, началами математического 
анализа и радиотехнических цепей и сигналов. 
Цель учебного пособия — формирование у обучающихся 
представлений об информационном аспекте радиолокационных 
систем вообще и систем ближней локации в частности. 
В первом разделе учебного пособия приведены понятия информации, во втором разделе — основные информационные характеристики источников, понятие энтропии. Кроме того, описаны дискретные и непрерывные каналы информации, передаваемой с искажениями и без. 
В третьем разделе представлены три теоремы Шеннона для 
различных каналов. 
В следующих разделах показано применение теории информации к радиолокационным системам. Приведен расчет минимальной пропускной способности, при которой радиолокационная система может выполнять свои функции. Описан принцип 
разделения радиолокационных систем на основе информационных параметров. Показана связь между пропускной способностью информационной системы, помехоустойчивостью и эффективностью. Описаны способы увеличения помехоустойчивости 
для радиолокационных систем. 
В пособии приведены задачи для самостоятельного решения, 
список контрольных вопросов, предназначенных для проверки 
собственных знаний, а также список литературы.  
После изучения материала учебного пособия студенты будут 
знать основные понятия теории информации и основные теоремы 
теории информации и смогут сформировать представления о 
процессе передачи через каналы. 
 
 
3 

1. Информация в сообщении 
Рассмотрим группу событий A, состоящую из отдельных событий 
1, ...,
.
N
a
a
 События группы A могут возникать в связи с 
различными происходящими процессами, которые обозначим как 
исходные события и объединим в группу B . Сами события из 
группы B  обозначим 
1, ...,
M
b
b (где индекс М — размер алфавита 
в теории информации) и будем считать, что в общем случае число таких событий группы B  не совпадает с числом событий 
группы A, при этом каждая из групп составляет полную группу 
событий. В этом случае можно говорить о том, что событие a  
несет некоторую информацию о событии b . 
Теорию информации удобно иллюстрировать на примере сообщений компьютеризированных систем.  
Пусть имеется некоторая бортовая радиолокационная система, обладающая системой встроенной диагностики, т. е. управляющая система, которая в состоянии контролировать процессы, 
протекающие в тракте обработки, измерять уровни шумов в разных антенных каналах, учитывать текущее потребление каждого 
входящего в нее блока и на основании этих данных принимать 
решение о собственной исправности и сообщать его оператору по 
телеметрии или выводить на соответствующий индикатор, 
например зажигать или гасить соответствующие светодиоды. 
Предположим, что на индикаторе есть два светодиода: «Исправно» и «Неисправно». Первый из них загорается в том случае, 
если контроль был выполнен корректно и ни один из контролируемых параметров не вышел за пределы допуска, т. е. система 
находится в состоянии а1. Второй загорается, когда в ходе контроля обнаружена неисправность (например, мощность шумов в 
одном из каналов существенно отличается от мощности шумов в 
другом канале, потребление тока одним или несколькими модулями равно нулю, управляющее устройство нашло дефект в работе периферийных устройств, например, не работает флеш-память 
или оперативная память и др.). Назовем это состояние а2. 
Перечень всех выявленных возможных неисправностей 
устройства и исправное состояние составляют полную группу 
событий B , в которой событие 
1
b  — слабый шум в канале, 
2
b  — 
4