Применение теории информации к системам обработки сигналов

Московский государственный технический университет 
имени Н.Э. Баумана 
С.И. Силин 
 
 
Применение теории информации 
к системам обработки сигналов 
 
 
Учебное пособие 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1 

УДК 621.391.8+519.2(075.8) 
ББК 32.81 
С36 
 
Издание доступно в электронном виде на портале ebooks.bmstu.ru  
по адресу: http://ebooks.bmstu.ru/catalog/173/book1696.html 
Факультет «Специальное машиностроение» 
Кафедра «Автономные информационные и управляющие системы» 
 
Рекомендовано Редакционно-издательским советом  
МГТУ им. Н.Э. Баумана в качестве учебного пособия 
С36 
 
 
Силин, С. И. 
Применение теории информации к системам обработки сигналов : учебное пособие / С. И. Силин. — Москва : Издательство 
МГТУ им. Н. Э. Баумана, 2017. — 30, [2] с. : ил. 
 
ISBN 978-5-7038-4735-0 
 
Изложены основы теории информации, которые используются в теории обработки радиолокационных сигналов. Рассмотрены понятие количества информации, содержащейся в сообщении, а также понятия источника и его энтропии как меры неопределенности его состояния и понятие 
энтропии канала как меры разрушения информации при прохождении 
сигнала через канал. Описаны непрерывные источники и обоснован переход от энтропии дискретного источника к непрерывному случаю. Приведены теоремы Шеннона о пропускной способности каналов. 
Для студентов МГТУ им. Н.Э. Баумана, изучающих дисциплину 
«Обработка сигналов в АИУС».  
 
УДК 621.391.8+519.2(075.8) 
                                              ББК 32.81 
 
 
 МГТУ им. Н.Э. Баумана, 2017 
 
 
 Оформление. Издательство  
ISBN 978-5-7038-4735-0                                             МГТУ им. Н.Э. Баумана, 2017 
2 

Предисловие 
Представленное учебное пособие предназначено для студентов МГТУ им. Н.Э. Баумана, изучающих дисциплину «Обработка 
сигналов в АИУС» и овладевших материалом по теории вероятности, математической статистики, началами математического 
анализа и радиотехнических цепей и сигналов. 
Цель учебного пособия — формирование у обучающихся 
представлений об информационном аспекте радиолокационных 
систем вообще и систем ближней локации в частности. 
В первом разделе учебного пособия приведены понятия информации, во втором разделе — основные информационные характеристики источников, понятие энтропии. Кроме того, описаны дискретные и непрерывные каналы информации, передаваемой с искажениями и без. 
В третьем разделе представлены три теоремы Шеннона для 
различных каналов. 
В следующих разделах показано применение теории информации к радиолокационным системам. Приведен расчет минимальной пропускной способности, при которой радиолокационная система может выполнять свои функции. Описан принцип 
разделения радиолокационных систем на основе информационных параметров. Показана связь между пропускной способностью информационной системы, помехоустойчивостью и эффективностью. Описаны способы увеличения помехоустойчивости 
для радиолокационных систем. 
В пособии приведены задачи для самостоятельного решения, 
список контрольных вопросов, предназначенных для проверки 
собственных знаний, а также список литературы.  
После изучения материала учебного пособия студенты будут 
знать основные понятия теории информации и основные теоремы 
теории информации и смогут сформировать представления о 
процессе передачи через каналы. 
 
 
3 

1. Информация в сообщении 
Рассмотрим группу событий A, состоящую из отдельных событий 
1, ...,
.
N
a
a
 События группы A могут возникать в связи с 
различными происходящими процессами, которые обозначим как 
исходные события и объединим в группу B . Сами события из 
группы B  обозначим 
1, ...,
M
b
b (где индекс М — размер алфавита 
в теории информации) и будем считать, что в общем случае число таких событий группы B  не совпадает с числом событий 
группы A, при этом каждая из групп составляет полную группу 
событий. В этом случае можно говорить о том, что событие a  
несет некоторую информацию о событии b . 
Теорию информации удобно иллюстрировать на примере сообщений компьютеризированных систем.  
Пусть имеется некоторая бортовая радиолокационная система, обладающая системой встроенной диагностики, т. е. управляющая система, которая в состоянии контролировать процессы, 
протекающие в тракте обработки, измерять уровни шумов в разных антенных каналах, учитывать текущее потребление каждого 
входящего в нее блока и на основании этих данных принимать 
решение о собственной исправности и сообщать его оператору по 
телеметрии или выводить на соответствующий индикатор, 
например зажигать или гасить соответствующие светодиоды. 
Предположим, что на индикаторе есть два светодиода: «Исправно» и «Неисправно». Первый из них загорается в том случае, 
если контроль был выполнен корректно и ни один из контролируемых параметров не вышел за пределы допуска, т. е. система 
находится в состоянии а1. Второй загорается, когда в ходе контроля обнаружена неисправность (например, мощность шумов в 
одном из каналов существенно отличается от мощности шумов в 
другом канале, потребление тока одним или несколькими модулями равно нулю, управляющее устройство нашло дефект в работе периферийных устройств, например, не работает флеш-память 
или оперативная память и др.). Назовем это состояние а2. 
Перечень всех выявленных возможных неисправностей 
устройства и исправное состояние составляют полную группу 
событий B , в которой событие 
1
b  — слабый шум в канале, 
2
b  — 
4 

малое потребление тока, 
M
b
 — исправное состояние. Перечень 
всех состояний светодиодов составляет группу A, где 
1
a  — исправное состояние; 
2
a  — неисправное. 
При этом группа A будет неполной, поскольку есть еще два 
неохваченных состояния светодиодов: 1) оба светодиода не горят 
(что может свидетельствовать о том, что светодиоды не работают 
или нет питания); 2) оба светодиода горят (что может свидетельствовать о пробое управляющих светодиодами каскадов). Если 
обозначить их в качестве событий 
3
a  и 
4
a  соответственно, то 
группа A из четырех событий будет полной группой, так как в 
ней невозможно появление непредусмотренных событий. Таким 
образом, в данном случае количество сообщений в каждой из 
групп может быть разным. 
Определение 1. Под информацией подразумевается совокупность передаваемых сведений о характеристиках и состоянии некоторого объекта или процесса. 
Определение 2. Сообщение — это совокупность сведений, 
представленных в виде, предназначенном для передачи. 
Определение 3. Объект, информация о котором передается 
посредством сообщений, называется источником сообщений. 
В рассмотренном выше случае источником сообщений является система встроенной диагностики. Принимаемые этой системой решения являются сообщениями 1, ...,
.
M
b
b
 
Все сообщения, как правило, передаются через канал передачи информации. 
Определение 4. Каналом называется среда, через которую 
передается сообщение. 
Каналом передачи информации в системе встроенной диагностики являются светодиоды. То есть сообщение формируется на 
выходе этой системы, а светодиоды передают сформированное 
системой сообщение оператору. 
Каналы подразделяются на несколько видов: каналы с достоверной передачей информации, в которых сообщение доходит до 
получателя без искажений, и каналы с недостоверной передачей, 
в которых сообщение на выходе канала может отличаться от сообщения на его входе. 
Например, в системе встроенной диагностики светодиодный 
канал передачи информации является каналом с недостоверной 
5 

передачей, так как светодиоды могут выйти из строя и не будут 
соответствовать сообщениям, передаваемым самой системой. 
Бóльшая часть рассматриваемых в теории информации каналов — это каналы с недостоверной передачей. 
Рассмотрим современные системы связи, в которых речь говорящего человека оцифровывается и предстает в виде последовательности цифровых отсчетов сигнала, полученного с мембраны микрофона.  
Цифровой отсчет сигнала — это цифровой код, который соответствует 
некоторому 
напряжению 
на 
входе 
аналогоцифрового преобразователя (АЦП). Отсчеты сигнала могут быть 
предобработаны. Например, можно пропустить цифровой сигнал через цифровой фильтр или применить цифровое преобразование Фурье и получить цифровые отсчеты на выходе фильтра или цифровые отсчеты спектра, представляющие собой 
цифровые коды, которые нужно передать другому абоненту. 
Для передачи используется высокочастотный несущий сигнал, 
который модулируется сигналом, соответствующим цифровому 
коду. 
Представим оцифрованную последовательность в виде последовательности байтов 
0,
d
 
1,
d  
2,
d
...,
N
d , где 
i
d  — это целое 
число в диапазоне [0; 255]. Каждому i-му числу можно поставить в соответствие амплитуду передаваемого сигнала, сдвиг по 
частоте, начальную фазу или одновременное изменение нескольких параметров. Тогда на выходе будет получен сигнал с 
соответствующей манипуляцией. На рис. 1 представлены уровни амплитуд в зависимости от цифрового кода, а на рис. 2 — 
пример сигнала с амплитудной манипуляцией в соответствии с 
этим кодом. 
 
 
 
Рис. 1. Уровни амплитуд 
цифрового сигнала 
Рис. 2. Пример амплитудноманипулированного сигнала 
6 

Сигнал излучается передающей антенной, распространяется 
в эфире и принимается приемной антенной приемника. При 
этом приемная антенна также принимает помеховые сигналы, 
сформированные как естественными природными процессами 
(гроза, космическое излучение), так и искусственными (частотные боковые лепестки других радиоизлучающих объектов, 
преднамеренные помехи), после чего к принятому сигналу добавляются собственные шумы приемного устройства. После  
демодуляции и детектирования сигнала, т. е. при попытке восстановить исходные значения измененных параметров и по их 
значениям оценить сообщение, которое было сформировано передатчиком, из-за действия всех помех и шумов может произойти ошибка. 
Важно оценить количество передаваемой информации. Для 
этого уточним, какими свойствами должна обладать мера информации. Согласно определению 1, информация — это совокупность сведений о некотором объекте или процессе. Предположим, что о наблюдаемом явлении известно все, т. е. обладаем 
полной совокупностью сведений. В этом случае любое сообщение, которое будет получено в дальнейшем, будет содержать 
только то, что и так уже известно. Следовательно, для получателя 
информации это сообщение никакой информации не несет.  
А значит, информация не получена, и мера информации в этом 
случае должна быть равна нулю. 
Предположим, что ничего об объекте не известно. Тогда любое сообщение об этом объекте будет информативным. Если 
имеется частичное знание об объекте, то полученные через канал сведения можно разделить на те, что известны, и те, которые еще не известны. При этом мера первой части сообщения 
равна нулю, а мера второй части зависит от количества новых 
сведений. Таким образом, первым свойством, которым должна 
обладать количественная мера информации, является ее способность отражать уменьшение неопределенности представления о 
состоянии объекта. 
Классическая теория информации характеризует именно количество передаваемых сведений, а не степень их важности.  
То есть с точки зрения теории информации сообщение о том, 
что, например, ваш знакомый умеет шевелить ушами, или со7 

общение о том, что, сегодня отменили электричку, на которой 
вы собирались поехать отдохнуть за город, одинаково информативны, если раньше вы не подозревали о таких способностях 
своего знакомого или о том, что электричку могут отменить (несмотря на важность второго сообщения). Для распределения 
сообщений в зависимости от их важности используется другая 
теория — теория ценности информации. В пособии эта теория 
не рассматривается. 
Вторым свойством, которым должна обладать количественная 
мера информации, является аддитивность меры. То есть информация, которая содержится в двух последовательных сообщениях, должна быть равна сумме информаций в каждом из них. 
Априорные представления о состоянии объекта удобно описывать посредством вероятностей. Пусть источник сообщений B  
формирует последовательность сообщений 
,
i
b  каждое из которых связано с его состоянием. 
Определение 5. Все возможные значения сообщения, появляющиеся на выходе источника информации, называются алфавитом этого источника. 
Определение 6. Количество возможных значений сообщения 
называется объемом алфавита источника. 
Пусть каждому сообщению соответствует априорная вероятность появления на выходе источника 


1
2
0
/
,
, ...,
i
i
i
p b
b
b
b


. Эта 
вероятность отражает представления об объекте после получения 
(
1
i )-го сообщения о его состоянии. Представления об объекте 
могут измениться после получения символа 
1

i
b
, что найдет свое 
отражение в наборе вероятностей 

1
1
2
0
/
,
,
, ...,
.
i
i
i
i
p b
b b
b
b



 
Пример. Рассмотрим случай, когда для системы встроенной 
диагностики существуют вероятность 0,5  выхода из строя после 
сборки и вероятность q  после первого включения, если устройство не сломалось сразу. Неисправность представим сообщением 
0
b , а исправность — сообщением 1
b . 
Тогда 




11
10
0,5.
p
p


 То есть вероятности сформировать в 
результате самодиагностики сообщение об исправности или сообщение о неисправности одинаковы. Предположим, что первое сообщение соответствовало исправному состоянию аппаратуры, тогда 
8 

вероятность увидеть неисправное состояние 


20
11
/
p b
b
q

, а вероятность увидеть исправное 

21
11
/
1
p b
b
q

.  
Пусть имеется N  сообщений об исправном состоянии. При 
1

N
 сообщений (все за исключением самого первого) была одинаковая вероятность получить неисправность, которая характеризуется заданной надежностью аппаратуры. 
Пусть после N  сообщений получено сообщение о неисправности 
10

N
b
. Тогда вероятность последующего получения сообщения об исправности чрезвычайно мала, поскольку аппаратура 
не сможет починить сама себя. 
Таким образом, получение каждого нового сообщения от источника изменяет представление о его состоянии и позволяет 
предположить с заданной степенью достоверности, в каком состоянии источник будет находиться в дальнейшем. 
Таким образом, вероятность получения сообщения характеризует знания об объекте, а количественная мера информации — 
изменение знаний об объекте. То есть можно сказать, что количество информации в одном сообщении является функцией априорной вероятности получения сообщения: 
 



.
i
i
I b
f
p b

 
(1) 
Если априорная вероятность получения сообщения равна 
единице, то знаний об объекте достаточно, чтобы предсказывать 
его дальнейшее поведение, т. е. получены все сведения, которые 
принесло данное сообщение. И тогда количество информации в 
нем равно нулю: 
 


1
0.
i
I b
f


 
(2) 
Свойство аддитивности для количества информации имеет вид 
I b b
I b
I b
f
p b b
b
b
,
,
/
, ...,




i
i
i
i
i
i
i
1
1
1
2
1




 









f
p b
b
b
f
p b
b
b
/
, ...,
/
, ...,
,


 
(3)
 
i
i
i
i
1
2
1
1
1











где 


1
2
1
,
/
, ...,
i
i
i
p b b
b
b


 — совместная вероятность наблюдения 
двух последовательно принятых символов.  
9 

Согласно теории вероятности, совместная вероятность событий равна произведению вероятности одного из них и 
условный вероятности наблюдения второго при условии получения первого: 
 





1
2
1
1
1
1
2
1
,
/
, ...,
/
, ...,
/
, ...,
.
i
i
i
i
i
i
i
p b b
b
b
p b b
b
p b
b
b






  
(4) 
Подставив (4) в (3) и обозначив 


1
1
/
, ...,
i
i
i
p b b
b
p


, а 


1
2
1
1
/
, ...,
,
i
i
i
p b
b
b
p




 получим 
 





1
1 .
i
i
i
i
f
p p
f
p
f
p



 
(5) 
Продифференцируем выражение (5) по 
i
p . Тогда 
 




1
1
.
i
i
i
i
p
f
p p
f
p





 
(6) 
Умножив (6) на 
i
p , получим 




1
1
.
i
i
i
i
i
i
p p
f
p p
p f
p





 
Тогда 
 
( )
ln( )
.
f x
k
x
C


 
(7) 
При условии (2) имеем 
ln(1)
0,
k
C


 
где 
0;
C 
 k  — коэффициент масштабирования, который зависит 
от используемых единиц измерения.  
Существуют две основные единицы измерения количества 
информации: бит и нат. 
Один нат соответствует коэффициенту 
1

k
 и, следовательно, основанию логарифма e и называется натуральной величиной 
количества информации. 
Один бит — это количество информации, содержащееся  
в сообщении с объемом алфавита, равным двум, и одинаковой 
вероятностью. 
10