Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Теория информатики

Покупка
Основная коллекция
Артикул: 875095.01.99
Доступ онлайн
500 ₽
В корзину
Учебное пособие содержит краткое изложение основных понятий и разделов теории информации, таких как энтропия, собственная и взаимная информация, условная энтропия. Рассмотрен пример вычисления этих характеристик для сложной системы. Приведены описание и параметры источников информации и текстов на выходе источников; параметров каналов связи без учета и с учетом помех. Рассмотрены вопросы кодирования и декодирования информации - в частности, эффективные и корректирующие коды. Многочисленные задачи и контрольные вопросы в конце каждого раздела повышают методическую ценность пособия. Учебное пособие предназначено для студентов, обучающихся по специальностям 10.05.03 «Информационная безопасность автоматизированных систем», 10.03.01 «Информационная безопасность», 12.03.01 «Приборостроение».
Хиценко, В. Е. Теория информатики : учебное пособие / В. Е. Хиценко. - Новосибирск : Изд-во НГТУ, 2025. - 76 с. - ISBN 978-5-7782-5369-8. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2244498 (дата обращения: 20.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Министерство науки и высшего образования Российской Федерации 
Федеральное государственное бюджетное образовательное учреждение высшего образования 
НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ 
 
 
 
 
 
В. Е. ХИЦЕНКО 
 
 
 
 
 
 
ТЕОРИЯ ИНФОРМАЦИИ 
 
Утверждено Редакционно-издательским советом университета 
в качестве учебного пособия 
 
 
 
 
 
 
 
 
 
 
 
 
 
НОВОСИБИРСК 
2025 
 


УДК 519.72(075.8) 
         Х529 
 
Рецензенты: 
д-р физ.-мат. наук, директор института вычислительной математики  
и математической геофизики СО РАН  М. А. Марченко 
канд. физ.-мат. наук, доцент кафедры 
защиты информации НГТУ  Ю. А. Котов 
 
Работа подготовлена на кафедре защиты информации 
 
 
Хиценко В. Е. 
Х529   
Теория информации : учебное пособие / В. Е. Хиценко. – 
Новосибирск : Изд-во НГТУ, 2025. – 76 с. 
ISBN 978-5-7782-5369-8 
Учебное пособие содержит краткое изложение основных понятий и разделов теории информации, таких как энтропия, собственная и взаимная информация, условная энтропия. Рассмотрен пример 
вычисления этих характеристик для сложной системы. Приведены 
описание и параметры источников информации и текстов на выходе 
источников; параметров каналов связи без учета и с учетом помех. 
Рассмотрены вопросы кодирования и декодирования информации – 
в частности, эффективные и корректирующие коды. Многочисленные задачи и контрольные вопросы в конце каждого раздела повышают методическую ценность пособия. 
Учебное пособие предназначено для студентов, обучающихся по 
специальностям 10.05.03 «Информационная безопасность автоматизированных систем», 10.03.01 «Информационная безопасность», 12.03.01 
«Приборостроение». 
 
УДК 519.72(075.8) 
 
ISBN 978-5-7782-5369-8  
 
 
 
 
 
 Хиценко В. Е., 2025 
 Новосибирский государственный  
    технический университет, 2025 
 


 
 
 
 
 
 
ВВЕДЕНИЕ 
Теория информации возникла в середине ХХ века с появлением работы Клода Шеннона «Математическая теория связи» [1]. Последующие затем успехи вычислительной техники и коммуникационных технологий во многом основаны на методах и математическом аппарате 
теории информации. 
Известно много определений понятия информации – от наиболее общего «Информация есть отображение реального мира» до наиболее узкого и прагматичного «Информация – это все данные, которые можно 
хранить, передавать и преобразовывать». В кибернетике и теории 
управления – в работах Винера, Эшби, Колмогорова, Глушкова – утверждается, что информация – это характеристика внутренней организованности системы, как потенциальные возможности ее изменений.  
Это третья равноправная субстанция наряду с материей и энергией, она 
существует объективно и переходит из одного состояния в другое.  
При этом информация проявляется лишь при взаимодействии систем. 
Уместно привести еще одно определение: «Информация – это то, 
что изменяет наш мозг», т. е. меняет наше состояние, поведение, отношение к окружению, контекст для принятия решений. Информация 
нужна именно для этого. Чем она полнее, тем более обоснованы наши 
решения. Как оценить полноту информации? Известны шесть вопросов 
журналистики для сообщения о происшествии: с кем случилось, что 
случилось, когда случилось, где случилось, почему случилось, как случилось. Это можно понимать как шаги последовательного снятия исходной неопределенности. 
Каково минимально необходимое число вопросов, чтобы наверняка 
угадать число из 32 возможных? Скоро мы убедимся, что это число 
равно пяти. Это число называется энтропией, т. е. мерой неопределенности ситуации. 


Как мы преодолеваем разнообразие реальных проблем? Например, 
нужно выбрать город для строительства филиала из 512 альтернативных 
городов [2]. Мы последовательно сужаем это разнообразие в ходе обсуждения на совете директоров, отвечая на следующие вопросы. 
1. В нашей стране или за границей? 
2. У моря или нет? 
3. В большом городе или нет? (И так далее.) 
После нескольких вопросов разнообразие сузится до трех-четырех 
городов, проблема будет локализована и решена. 
Чтобы сложность проблемы убывала наиболее быстро, желательно 
так ставить вопросы, чтобы разнообразие, число альтернатив, становилось примерно вдвое меньше. Тогда нам хватит девяти вопросов, так как 
9
512   2 .

 Так мы управляем сложностью и выживаем в этом сложном 
мире. 
Из триллиона 
12
(10 )  вариантов на основе 40 хорошо продуманных 
вопросов мы найдем решение, поскольку 
40
12
2
 1 0 .

 
Теория информации является частью кибернетики и теории связи. 
Теоретико-информационные представления используются для решения 
задач, связанных с кодированием, сжатием информации, ее хранением 
и передачей. Теоремы и результаты теории информации применяются  
в различных приложениях – например, при анализе источников сообщений и каналов связи, в математической лингвистике, генетике. 
Основные задачи теории информации – это поиск наиболее экономичных способов кодирования при наличии или отсутствии помех в канале, определение требуемой пропускной способности канала и объема 
запоминающих устройств. Кроме того, использование количественной 
меры информации позволяет определять параметры и предельные возможности источников информации, каналов связи, преобразователей 
информации в управляющих системах и вычислительных сетях. 
Понятно, что информация передается в виде сигналов (звуковые колебания, свет, радиосигналы и др.). Эти сигналы преобразуются для согласования с каналом связи, в котором могут действовать помехи  
и шумы как естественного, так и искусственного происхождения. Теория кодирования как раздел теории информации служит основанием 
при выборе методов кодирования и защиты информации. 


На рис. 1 показана схема системы передачи или хранения информации. Источник информации выдает знаки, составляющие сообщения. 
Кодер источника преобразует их в символы в максимально компактном 
виде. Кодер канала преобразует символы таким образом, чтобы защитить их от шумов в канале или искажений при хранении. Модулятор 
преобразует их в сигналы, согласованные с конкретной физической 
природой канала или среды хранения. Все блоки на приемной стороне 
системы выполняют обратные преобразования информации. 
 
Рис. 1. Схема системы передачи или хранения информации 
Согласно теории информации [3–6], информация подобна жидкости, имеет объем, но не имеет формы, т. е. количество информации является скалярной величиной. Время вытекания жидкости из сосуда через трубу определяется отношением объема жидкости к скорости вытекания. Так же и время передачи информации от источника к получателю равно отношению двух чисел, одно из которых зависит от источника и точности преобразований в передающем и приемном устройствах, а другое определяется каналом. Первое число – это количество 
информации, заключенное в источнике, а второе означает пропускную 
способность канала. При этом мерой служит количество информации, 
которое в среднем приходится на один знак источника. Под пропускной 


способностью канала понимается среднее количество информации, 
передающееся по нему в единицу времени. 
Важная задача теории информации – определение необходимой 
пропускной способности канала, позволяющей избежать задержек  
и искажений при передаче. В случае необходимости хранения информации аналогичная задача предполагает выбор объема запоминающих 
устройств и устройств ввода и вывода. К этим вопросам мы вернемся 
в разделе 2 «Источники сообщений и каналы связи». 
Отметим, что принципиальное отличие этой третьей субстанции от 
материи и энергии состоит в том, что информация не убывает. Если вы 
поделитесь яблоками с другом, яблок у вас станет меньше, а поделившись информацией, вы ее не теряете. Хотя, возможно, субъективная 
ценность вашей информации убывает от такого обмена. 
Для решения названных задач необходимы меры для измерения объема информации и пропускной способности, защищенности каналов,  
а также знание основных закономерностей процессов преобразования 
информации. К изучению этих проблем мы и переходим. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 


 
 
 
 
 
Г л а в а  1 
ЭНТРОПИЯ ДИСКРЕТНЫХ СИСТЕМ  
И СОБСТВЕННАЯ ИНФОРМАЦИЯ 
1.1. ЭНТРОПИЯ КАК МЕРА НЕОПРЕДЕЛЕННОСТИ 
Неопределенность – это непредсказуемость, хаотичность ситуации 
или системы, невозможность угадать, прогнозировать ее будущее состояние, поведение. Сведения о текущем состоянии системы и хороший 
прогноз тем ценнее и информативнее, чем больше была исходная неопределенность. Таким образом, для измерения количества информации нужно уметь измерять эту неопределенность. 
Мерой неопределенности является энтропия. Как ее измерить? Логично требовать, чтобы она зависела от числа возможных состояний системы n, то есть была функцией f(n). При этом она должна: 1) расти 
с ростом n, 2) равняться нулю при n = 1, f(1) = 0 и 3) должна быть аддитивной f(nm) = f(n) + f(m). Последнее свойство означает, что если мы 
имеем две системы с n и m состояниями, то общее число всевозможных 
состояний объединения этих систем равно произведению nm, а энтропия объединения должна равняться сумме энтропий: f(n) + f(m). 
Этим свойствам удовлетворяет логарифмическая функция. Таким 
образом, энтропия монеты равна 
2
 log 2 1,
H 

 энтропия игральной кости – 
2
log 6.
H 
 Следовательно, если мы узнаем, как упала монета, 
то получим один бит информации. Если узнаем, как упала игральная 
кость, то снимем неопределенность кости, равную 
2
log 6
2,585

 бит,  
и именно столько информации мы при этом получим. 
Размерность определяется основанием логарифма. Если используем 
логарифм по основанию 2, то энтропию измеряем в битах (binary digital). 


Натуральный логарифм, часто используемый в физико-технических 
приложениях, дает энтропию в натах. 
Бросаем монету и игральную кость. Возможны 12 исходов этого эксперимента. Энтропия равна 
2
2
2
log 12
log 2
log 6
1
2,585
3,585 бит,
H 




 
т. е. сумме энтропий монеты и кости. 
Например, бросаем 10 игральных костей. Энтропия огромна: H 
10
2
2
log
6
10log 6
25,85
(
)



 бит. Угадать исход опыта практически невозможно. Однако таким путем мы можем найти энтропию системы, все 
n состояний которой равновероятны. Выражение 
2
log
H
n

 называется 
формулой Хартли. 
Рассмотрим дискретную систему X, состояния которой 
,
1,
,
ix
i
n


 
имеют разные вероятности 
(
).
i
p x
 Энтропию системы можно получить, 
усредняя по вероятности логарифмы от вероятностей состояний: 
 
2
1
(
)
(
)log
(
).
n
i
i
i
H X
p x
p x


 
 (1.1) 
По сути, это математическое ожидание логарифма вероятности состояний. 
Выражение (1.1) называется формулой Шеннона. Легко убедиться, 
что в частном случае, когда вероятности всех состояний одинаковы, т. е. 
1/
co
)
s
(
n t,
i
p x
n


 мы получим формулу Хартли 
2
log
,
H
n

 и эта энтропия будет максимальной. 
Слово «энтропия» пришло из термодинамики. Энтропия замкнутого 
объема газа по Больцману равна 
1
ln
,
i
i
i
m
m
H 

M
M
M  
где M – общее число молекул; 
i
m
 – число молекул со скоростью 
[
].
i
i
v
v
v


 Сходство с формулой Шеннона неслучайно. Это степень 
разнообразия состояний системы, скоростей молекул. В дальнейшем мы 
не будем указывать основание логарифма, считая его равным двум. 


Доступ онлайн
500 ₽
В корзину