Специальные главы информатики и вычислительной техники

Москва 2022

М ИНИС ТЕРС ТВО НАУКИ И ВЫСШ ЕГО О Б РА З О ВА Н И Я РФ

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ОБРАЗОВАНИЯ
«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ «МИСиС»

ИНСТИТУТ ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ И КОМПЬЮТЕРНЫХ НАУК

Кафедра автоматизированных систем управления

В.В. Куприянов

СПЕЦИАЛЬНЫЕ ГЛАВЫ 
ИНФОРМАТИКИ 
И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ

Учебник

№ 4467

УДК 004.3 
 
К92

Р е ц е н з е н т ы : 
канд. техн. наук, доц., НИТУ «МИСиС», Е.Е. Карпович;  
канд. техн. наук, доц., зам. директора ООО «Авиньон» В.М. Уткин

Куприянов, Вячеслав Васильевич.
К92  
Специальные главы информатики и вычислительной 
техники : учебник / В.В. Куприянов. – Москва : Издательский Дом НИТУ «МИСиС», 2022. – 114 с.
ISBN 978-5-907227-88-0

Учебник является руководством для практического освоения 
основных положений системного анализа, теории информации, 
а также энтропийных оценок свойств информационных процессов. 
Освещены вопросы, связанные с определением количественных характеристик информации. Рассмотрено использование энтропийной меры для оценки информационных характеристик каналов 
связи и систем управления. Раскрыты вопросы дискретизации случайных сигналов на основе теоремы Котельникова. Описаны особенности применения идей Шеннона для построения модемов в сетях обработки данных. Рассмотрены проблемы методов измерений 
случайных физических величин с позиций получения информации 
в условиях шумов и указаны пути их решения; свойства и принципы системного подхода. Проанализированы современные тенденции формирования новых информационных технологий.
Для подготовки аспирантов по направлению 09.06.01 «Информатика и вычислительная техника».

УДК 004.3

 Куприянов В.В., 2022
ISBN 978-5-907227-88-0
 НИТУ «МИСиС», 2022

СОДЕРЖАНИЕ

Предисловие .................................................................. 4

Глоссарий ...................................................................... 6

1. Основные понятия теории информации .......................... 9
1.1. Определения теории информации ............................ 9
1.2. Характерные черты и некоторые свойства  
информации .............................................................. 10
1.3. Дискретная и непрерывная информация ................ 11
1.4. Теорема Котельникова ......................................... 13
1.5. Понятие о кодировании ....................................... 15
1.6. Информационные аспекты построения систем......... 21
1.7. Энтропия и ее использование для оценки 
информационных процессов и систем ........................... 26
1.8. Измерения и информация .................................... 61
Контрольные вопросы ................................................ 76

2. Основы системного подхода ........................................ 79
2.1. Появление системных концепций ......................... 79
2.2. Иерархия системности ......................................... 83
2.3. Сферы взаимодействия ........................................ 86
2.4. Классификация систем ........................................ 89
2.5. Свойства систем и принципы системного подхода .... 92
2.6. Современные тенденции и проблемы  
формирования новых информационных технологий ......100
Контрольные вопросы ...............................................109

Заключение ................................................................111

Библиографический список ...........................................112

ПРЕДИСЛОВИЕ

При проектировании современных систем управления, различных измерительных устройств все чаще применяются методы и средства информационных технологий, использующие положения классической теории информации. Непосредственное 
применение последней к задачам управления и измерений вызывает значительные трудности, связанные с тем, что указанные системы и приборы работают с определенной точностью. 
Для устранения этих трудностей получили развитие идеи теории информации в установлении количественных соотношений 
между потерями информации и точностью ее воспроизведения. 
Эти вопросы нашли отражение в предлагаемом учебнике.
Основу учебника составляют материалы лекций из дисциплины «Специальные главы информатики и вычислительной 
техники», которые в течение ряда лет читались автором в НИТУ 
«МИСиС» аспирантам, обучающимся по направлению 09.06.01 
«Информатика и вычислительная техника», профиль подготовки «Системный анализ, управление и обработка информации 
(в промышленности)». Предлагаемый учебник охватывает круг 
вопросов, соответствующих теоретическим основам получения 
и преобразования информации в приборах и системах управления. Существенное внимание уделено как дискретной, так и непрерывной информации, снимаемой с датчиков. Рассмотрены 
методы снижения потерь информации при измерениях непрерывных случайных физических величин при наличии всевозможных шумов и помех. Показана роль информации при любых измерениях. Приведена интерпретация работы модемов 
информационных сетей с позиций информатики. Достаточное 
внимание уделено информационному подходу к оценке точности измерений, а также свойствам и принципам системного подхода. Нашли свое отражение и вопросы квантования сигналов 
по уровню и времени на основе теоремы Котельникова, кодирования информации, шенновской трактовки пропускной способности системы.
Изложение материала учебника доступно для понимания 
не только аспирантами, но и студентами, обучающимися в магистратуре по направлению 09.04.01 «Информатика и вычис

ПРЕДИСЛОВИЕ

лительная техника». По возможности приведены выводы формул, так как только в процессе их вывода можно их полностью 
понять, а это залог успешного применения формул на практике.
В каждом разделе изложены основные теоретические сведения, приведены решения типовых примеров, а также контрольные вопросы для лучшего усвоения материала.
В библиографический список включены наиболее доступные публикации, в том числе классические литературные источники. Во избежание разночтений в вопросах терминологии 
учебник начинается с глоссария, в который включены основные используемые понятия и их определения.
В англоязычной научной литературе при возникновении 
терминологических споров всегда можно прибегнуть к помощи 
арбитров, каковыми являются:
 – в США и Канаде – словари Webster или IEEE Standart 
Dictionary, содержащие общепринятые и вновь введенные термины и определения и пополняемые ежегодно;
 – в Великобритании – Оксфордский толковый словарь английского языка.
Русскоязычная научная литература в большей степени 
лишена такой возможности, поэтому вопросы терминологии 
всегда являлись камнем преткновения при научном общении. 
Во избежание разночтений представляем перечень основных 
используемых определений и понятий, базирующихся на следующих источниках:
 – Большая советская энциклопедия, 3-е издание;
 – ГОСТы по научным исследованиям;
 – русскоязычная калька терминов, взятых из IEEE Dictionary.
Некоторые термины не включены в глоссарий, их определения формулируются непосредственно в тексте, в первую очередь это относится к уточненному определению понятий «система» и «активная система».

ГЛОССАРИЙ

Автоматизация (от греч. аutomatus – самодействующий) – 
процесс, при котором функции управления и контроля передаются от человека приборам и автоматическим устройствам.
Глосса (греч. glossa – язык, речь) – иноязычное или непонятное слово в тексте книги с толкованием, помещенным либо 
над самим словом, либо под ним, либо рядом на полях.
Глоссарий (лат. glossarium – собрание глосс) – толкование 
слов или выражений, непонятных мест с помощью определений или переводов.
Интеллект (лат. intelectus – понимание, рассудок) – относительно устойчивая структура умственных способностей индивида, способность к мышлению, рациональному пониманию.
Информатика (англ. informatics) – 1) наука, изучающая 
законы и методы накопления, передачи и обработки информации с помощью ЭВМ; 2) область человеческой деятельности, 
связанная с применением ЭВМ.
Информационная технология (составное определение) – способ, метод, процесс или программа преобразования информации, 
энергии или вещества из заданного начального состояния в заданное конечное состояние с помощью определенных средств информатики.
Информация (лат. information – изложение, разъяснение) – 
одно из основных понятий кибернетики, информатики, философии и т.д., являющееся предметом их изучения, в определенном 
отношении близкое понятиям «данные», «сведения», совокупность знаний об окружающем мире.
Исследование (англ. research) – процесс выработки научных знаний, один из видов познавательной деятельности.
Менеджмент (англ. management) – управление, заведование, 
умение справляться с работой (ср.: управление). В общем случае 
менеджмент – совокупность принципов, методов, средств и форм 
управления, разработанных с целью интенсификации производства и получения прибыли.
Моделирование (англ. simulation) – исследование объектов 
познания на моделях; обычно понимается как исследование 
с помощью компьютеров.

ГЛОССАРИЙ

Принятие решений – процесс осуществления рационального выбора из ряда альтернатив в условиях риска или неопределенности.
Прогнозирование (от греч. prognosis – предвидение, предсказание) – социальное научное исследование перспектив развития и выходных эффектов системы.
Проектирование (от лат. project – выдвинутый вперед) – 
процесс создания проекта – прототипа, прообраза предполагаемого или возможного объекта, состояния, организации.
Объект (лат. objectum – предмет) – 1) философская категория, обозначающая объективную реальность, внешний мир, 
существующий вне нашего сознания и независимо от человека 
(в противоположность субъекту); 2) предмет, явление, на которое направлена человеческая деятельность.
Системный анализ – совокупность средств и методов науки 
и практики, используемых для подготовки и обоснования решения при исследовании объектов как систем.
Системный подход – методология совокупной исследовательской деятельности на базе свойств и принципов, позволяющих формировать новые подходы.
Системология (англ. systemology) – наука, объединяющая общие закономерности описания мира (онтология), методологию научного познания систем на базе системного подхода (гносеология), 
методы практической оценки поведения систем (праксеология).
Технология (от греч. techne – искусство, мастерство и logos – 
слово, учение) – 1) совокупность методов обработки, изготовления, изменения состояния, свойств, формы сырья, материала 
или полуфабриката, осуществляемых в процесс производства 
продукции, а также научное описание способов производства; 
2) способ, метод или программа преобразования вещества, энергии или информационных сигналов из заданного начального 
состояния в заданное конечное состояние с помощью определенных технических объектов.
Управление (англ. control) – контроль, проверка, надзор, 
регулировка, управление, руководство (ср.: менеджмент). 
В общем случае это функция систем различной природы, обеспечивающая сохранение их структуры, режима деятельности, реализующая цель.

СПЕЦИАЛЬНЫЕ ГЛАВЫ ИНФОРМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ

Цель (англ. purpose) – один из элементов поведения и деятельности человека, который характеризует предвосхищение 
в мышлении результата деятельности и пути его реализации 
с помощью определенных средств.
Эффект (лат. effectus – исполнение, действие) – результат, 
следствие действий при достижении цели.

1. ОСНОВНЫЕ ПОНЯТИЯ 
ТЕОРИИ ИНФОРМАЦИИ

1.1. Определения теории информации

Понятие «информация» широко используется человеком. 
Это следует из того, что физические явления, воздействующие на 
человека, рассматриваются им как информация, получаемая от 
внешних источников. При оценке какого-либо события или для 
принятия решения человек преобразует (перерабатывает) информацию. Аналогичные процессы происходят в системах обработки данных, но, естественно, по более упрощенному сценарию.
В теории информации основным понятием является понятие информационного процесса или информации. Для раскрытия их содержания проследим возникновение информационных представлений на примере взаимодействия двух 
физических элементов – А и В. В результате взаимодействия 
элемент А создает на элементе В какие-либо изменения, т.е. 
у элемента В появляются новые свойства. Предположим, что 
свойства элемента В могут быть оценены элементом В или некоторым элементом С, который является получателем информации. Условимся новые свойства элемента В называть информацией, полученной элементом В от элемента А, если элемент В 
может их оценить. Если же оценку новых свойств элемента В 
осуществляет третий элемент С, то будем говорить, что элемент С получает информацию от элемента В.
Развивая рассмотренные представления, выделим основные свойства информации:
1) понятие информации всегда связано с понятием физического процесса;
2) информация, как всякое физическое явление, имеет не 
одно, а большое количество независимых свойств;
3) физическая модель информации основана на том, что 
информация, содержащаяся в физическом процессе, всегда 
связана с оценкой одного из его свойств человеком или ЭВМ/
системой. Другими словами, информационный процесс – это 
не всякий физический процесс, а лишь тот, хотя бы одному 
из свойств которого дается человеко-машинная оценка.

СПЕЦИАЛЬНЫЕ ГЛАВЫ ИНФОРМАТИКИ И ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ

Исходя из этого, информацию будем рассматривать как физический процесс, одно из свойств которого оценивается человеком или ЭВМ. Отсюда следует, что важно знать, на кого физические процессы воздействуют и кто проводит их оценку.

1.2. Характерные черты и некоторые свойства 

информации

Информационный процесс имеет неограниченное число различных свойств, к которым применяют оценки, причем различные для каждого свойства. Поэтому в теории информации 
должна рассматриваться не одна какая-либо оценка, характеризующая лишь одно из свойств, а все равноправные независимые 
оценки, используемые в инженерных науках. Например, свойства процесса могут оцениваться каким-либо моментом функции распределения или энтропией или могут использоваться 
минимаксные оценки.
Такое расширенное понимание теории информации позволяет решать широкий круг инженерных задач на основе общеинформационных представлений.
Таким образом, одну информацию можно оценивать поразному, давая ей различные оценки. Заметим, что результаты оценки какого-либо свойства информационного процесса 
можно преобразовать в новый информационный процесс с новой оценкой. Например, первой оценкой какого-либо свойства 
процесса может быть измерение, т.е. оценка свойства по алгоритму отношения. Можно провести оценку полученных результатов с использованием нового алгоритма, например при 
оценке достаточности объема измерений. Здесь оценкой является выход измеренной величины за допуск.
Иногда вводят «новые информации», отличные от энтропийной меры и называемые семантической информацией. Но 
это плата за стремление характеризовать большое число разных 
свойств информационного процесса какой-то одной оценкой.
Другим важным понятием при рассмотрении информационных процессов и систем являются их характеристики. Суть 
здесь в следующем. Каждое свойство информационного процесса стремятся описывать своей характеристикой относитель