Отказоустойчивые распределенные системы переработки информации

Москва

Горячая линия – Телеком

2016

УДК 004.046(3):629.7.018 
ББК 32.988-5+30.14 
 Б91 

Р е ц е н з е н т ы : зав. лабораторией Института проблем управления им. В. А. Трапезникова 
РАН, Заслуженный деятель науки РФ, доктор техн. наук, профессор  В. В. Кульба; 
начальник центра корпоративного обучения АО «Российские космические системы», 
чл.-корр. РАРАН, доктор техн. наук, профессор  В. В. Бетанов 

Бурый А. С. 
Б91     Отказоустойчивые распределенные системы переработки информации. – 
М.:  Горячая линия – Телеком, 2016. – 128 с.: ил. 
ISBN 978-5-9912-0608-2. 

Систематизирована обширная информация и дано общее представление о 
направлениях синтеза устойчивых распределенных систем переработки информации, обеспечивающих выполнение задач оценивания вектора состояния 
сложных динамических объектов (СДО). Рассмотрены вопросы обоснованности выбора технических и модельно-алгоритмических структур сложных систем. Рассмотрены методологические положения синтеза отказоустойчивых 
распределенных систем переработки информации при управлении сложными 
динамическими объектами, теоретические положения синтеза и оптимизации 
распределенных систем переработки измерительной информации (РСПИ). 
Обоснована методика трансформации (декомпозиции и интеграции) РСПИ при 
управлении СДО с учетом основных эксплуатационно-технических характеристик систем. 
Для научных работников и специалистов в области информационных технологий и надежности информационных систем, будет полезно аспирантам и 
студентам вузов инфокоммуникационных и радиотехнических специальностей. 

ББК 32.988-5+30.14 

Научное издание 
Бурый Алексей Сергеевич 
ОТКАЗОУСТОЙЧИВЫЕ РАСПРЕДЕЛЕННЫЕ 
СИСТЕМЫ  ПЕРЕРАБОТКИ ИНФОРМАЦИИ

Монография 

Тиражирование книги начато в 2016 г.       

Все права защищены.
Любая часть этого издания не может быть воспроизведена в какой бы то ни было форме и 
какими бы то ни было средствами без письменного разрешения правообладателя
© ООО «Научно-техническое издательство «Горячая линия – Телеком»
www.techbook.ru
© А. С. Бурый 

Предисловие

...нечего и рассчитывать на что-то большее, — но
лишь попытайтесь найти начало и направление
бесконечно долгой дороги
Георг Зиммель

Современный этап разработки сложных технических систем характеризуется активным внедрением новых информационных наукоемких технологий (НИТ) на этапах их жизненного цикла.
В практике испытаний сложных образцов техники остается актуальным повышение качества и эффективности процесса испытаний за счет сокращения сроков, повышения точности и надежности обработки измерительных данных, сокращения энергоресурсов и
материальных затрат.
Существующий подход к методам проведения летных испытаний при разработке сложных динамических объектов (СДО), формированию состава и структуры информационно-измерительных
комплексов (ИИК) практически не учитывает возможные случайные
изменения структур систем переработки (сбора, передачи, обработки) измерительной информации (ИИ). Кроме того, процедуры переработки ИИ в условиях аномальных данных используются недостаточно широко, а их разработка строится без учета функционального
состояния аппаратных и программных средств (АПС) ИИК. В этой
связи зачастую число планируемых систем для управления назначается из соображений «все, что есть», а не из рационально необходимого их количества, что ведет к значительным затратам ресурсов,
появлению узкоспециализированных измерителей, предназначенных
под конкретный объект управления (ОУ).
Методологическую основу применения методов анализа и синтеза сложных технических систем составляют работы ряда отечественных и зарубежных ученых В.В. Дружинина, Д.С. Конторова,
В.В. Кульбы,
В.И. Николаева,
А.В Петрова,
Б.А. Резникова,
А.Д. Цвиркуна, В.И. Цуркова, А.А. Яковлева, М. Месаровича, Я. Такахары, Дж. Касти, Дж. Клир. В многочисленных трудах названных специалистов заложена общетеоретическая основа исследования
сложных систем, раскрывается многообразие подходов и многоаспектность практического использования.

Предисловие

Немалый вклад в развитие идей методологии системных исследований в прикладных задачах внесли такие ученые, как И.В. Адерихин, О.А. Алексеев, В.В. Бетанов, В.Н. Брандин, В.В. Васильев,
Б.И. Глазов, Ю.А. Ерохин, Б.Ф. Жданюк, А.В. Лобан, Д.А. Ловцов,
А.В. Мячин, В.В. Омельченко, А.И. Полоус, А.И. Поцелуев, Г.Н. Розаренов, С.Д. Сильвестров, Б.В. Соколов. Однако в работах по синтезу систем подсистем оценивания и измерения, в рамках ряда комплексных задач в автоматизированных системах управления (АСУ)
СДО не достаточно исследованы ситуации структурных нарушений,
информационной неустойчивости, а также сочетания влияния дестабилизирующих факторов на технические и программные средства
информационных систем при управлении СДО. Стремление к наиболее эффективному использованию современной техники привели
к широкому применению методов оптимизации [1, 2, 11, 46, 120] и
планирования их функционирования [49, 104]. Однако процесс оценивания состояния СДО оптимизируется без учета многоэтапности
и распределенности (территориальной и временной) обработки данных [49] и для абсолютно надежных систем [109], когда применяемые
системные и технические показатели [5, 83, 87] (сложности, точности, наблюдаемости) не зависят от эксплуатационных свойств систем.
Вследствие высокой стоимости СДО и необходимости обеспечения
повышенной надежности их работы, методы оптимизации структур
построения ИИК и соответствующего программно-математического
обеспечения (ПМО) приобретают большое значение.
Эффективность решения задачи при определении параметров
движения СДО зависит от выбора типа измерителей, топологической структуры измерительного комплекса, алгоритмов обработки,
особенностей привлекаемых технических средств [5, 15, 109]. Анализ ряда работ по исследованию топологических структур сложных
систем [84, 120], по проблемам их декомпозиции [104, 108, 109] показывает, что для характеристики и формирования окончательного
варианта структуры системы выбираются показатели, учитывающие
связи между элементами. Однако рассматриваемые проблемы требуют комплексного подхода к технико-топологическим структурам
и программным (сетевые) методам. Один из комплексных подходов
реализуется на примере распределенных баз данных [68, 69].
Таким образом, целью представленных в монографии исследований является повышение точности оценивания состояния для объектов испытаний и обоснованности выбора технических и модельноалгоритмических структур распределенных систем переработки измерительной информации с учетом состояний и динамики функци

Предисловие
5

онирования аппаратно-программных средств при управлении объектами, путем разработки методологии синтеза отказоустойчивых
методов, моделей и алгоритмов.
В первой главе проведен анализ проблем синтеза структур распределенных систем переработки измерительной информации. Проанализированы задачи декомпозиции и интеграции подсистем при
управлении СДО, в ходе получения измерительной информации, ее
оценивания и выработки управляющих воздействий. В рамках структурно-информационного подхода исследованы понятия структурной
устойчивости, реконфигурации распределенных систем, математические модели представления процесса переработки информации в
распределенных многозвенных динамических системах.
Во второй главе разработаны методологические положения синтеза распределенных систем переработки информации, в результате
чего предложен [4, 17–19, 25, 26] и обоснован ряд системологических
показателей: условия наблюдаемости, декомпозируемости; сформулированы утверждения по оценке их сложности, точности, оперативности.
В третьей главе разработаны и исследуются теоретические вопросы синтеза распределенных систем оценивания измерительных
данных на этапах переработки информации, в результате чего осуществлен синтез комплексных навигационных систем и систем многоэтапного оценивания в условиях отказов аппаратных и программных средств [6, 28, 91]. Представлена задача планирования процесса оценивания для систем со случайным изменением топологии,
а также модель принятия решений в эргатических системах в условиях технической нестабильности, вызванных нештатными ситуациями [22, 27, 29, 32].
В четвертой главе обосновано применение распределенных систем переработки информации в условиях отказов аппаратно-программных средств, в результате чего вводится [20, 21, 23, 24, 30,
31] понятие «техническое состояние», а возможные его случайные
изменения предлагается рассматривать как динамическую систему.
Сопоставляются понятия живучести, отказоустойчивости и особенности их обеспечения для структур сложных технических систем,
программно-математического обеспечения подсистем распределенных информационно-управляющих систем. Рассматривается задача
резервирования в условиях структурных нарушений в системе при
их декомпозиции и агрегировании, а также алгоритм максимизации
надежности с учетом индивидуальных признаков элементов, приводится подход к оценке надежности распределенных систем на ос

Предисловие

нове аппарата полумарковских процессов методов фазового укрупнения.
Разделы
3.3
и
3.4
подготовлены совместно с
аспирантом
М.А. Шевкуновым.
Автор выражает искреннюю благодарность рецензентам профессору Владимиру Васильевичу Кульбе и профессору Владимиру
Вадимовичу Бетанову за внимательное отношение к работе, высказанные замечания которых были учтены и способствовали улучшению книги.
Выражаю глубокую признательность моему учителю
и наставнику — профессору Владимиру Владимировичу Васильеву,
за постоянное внимание и поддержку, а также коллективу кафедры
радиотехнических систем академии РВСН за плодотворное обсуждение представленных результатов. Отдельное почтение коллективу
кафедры МЭУ РГГУ, коллегам и сотрудникам ФГУП «Стандартинформ», где была написана данная работа, за теплоту и поддержку,
ценные и конструктивные замечания, способствующие улучшению
содержания представленной монографии.
Автор будет благодарен читателям, нашедшим время для ознакомления с книгой и приславшим свои отзывы, замечания и пожелания.

Анализ распределенных систем
переработки информации при
управлении сложными динамическими
объектами

Почему бы тебе не собрать словарь слов, которые составили бы одну книгу, и не дать возможность читателю самому построить из этих слов
свое целое?
Милорад Павич

Во многом эффективность разрабатываемых сложных динамических объектов определяется в ходе летных и летно-конструкторских испытаний (ЛИ) процедуры, доведенные как до машинных программ, так и представленные в виде устройств, реализующих методы
переработки данных процессов и систем [6, 91, 92], защищенных авторскими свидетельствами и патентами на изобретения. Практическое их использование позволило получить обоснованные результаты.
Оперативное, непрерывное и гибкое управление процессом переработки измерительной информации осуществляется посредством
информационных контуров в наземных автоматизированных комплексах управления СДО [11, 73, 86]. Для задач испытаний и управления СДО в рамках АСУ выделим задачи переработки информации
(передачи, обработки, отображения и т. д.), решаемые распределенными информационно-управляющими комплексами.
В главе рассматриваются задачи, решаемые распределенными
системами обработки информации, приводится анализ таких системных свойств, как декомпозируемость, агрегируемость и сложность.
На основе анализа структур исследуемых комплексов (информационно-измерительных, вычислительных), решаемых ими задач формируется задача синтеза в зависимости от уровня представления
комплексов и систем.

Г л а в а 1

1.1. Место распределенных систем переработки
информации при управлении СДО

Распределенная
система
переработки
информации
(РСПИ)
представляет собой совокупность пунктов наблюдения со средствами измерения параметров состояния, пунктов сбора и переработки информации различного уровня со специальным программноматематическим обеспечением. Другими словами, это информационные системы в виде взаимосвязанной совокупности программных,
аппаратных и информационных средств и персонала [52]. В качестве
пунктов наблюдения могут выступать радиотехнические и оптические системы измерений.
Динамическими объектами (объектами испытаний) в книге рассматриваются сложные объекты, например летательные аппараты
(космические аппараты, пилотируемые и беспилотные самолеты).
Пункты сбора измерительной информации, обработки, управления
и передачи данных в пункты потребления информации (региональные центры управления (РЦУ), центры управления полетом и т. д.)
[79, 95].
На рис. 1.1 представлена структура РСПИ, включающая измерительные комплексы космодромов (ИКК), где информация от
пунктов управления (ПУ) анализируется в информационно-вычислительном центре (ИВЦ). Распределенная переработка (сбор, обработка, регистрация, отображение, хранение, поиск и воспроизведение, распределение информации по потребителям, интерпретация,
интегрированное представление и целевое использование информации) осуществляется в ПУ, РЦУ, а также в Главном испытательном
центре (ГИЦ). Передача данных осуществляется как по наземным,
так и по космическим каналам связи.
Постоянное усложнение целевых задач РСПИ, повышение требований к значениям показателей качества функционирования (точности, информативности, надежности, оперативности и т. д.), появление новых типов объектов информационного взаимодействия привели к существенному усложнению их структуры и процессов функционирования.
Современные сетецентрические информационноуправляющие системы (ИУС) представляются в виде множества
процессорных устройств, разбитых на кластеры (по региональному
или по технологическому принципу), объединенные друг с другом
[78].
Выделим следующие особенности РСПИ, позволяющие рассматривать их как сложные системы:
• с т р у к т у р н ы е — иерархичность построения этапов переработки информации; многообразие структур и многосвязность

Анализ распределенных систем переработки информации
9

Рис. 1.1. Структура РСПИ при управлении СДО

элементов в зависимости от типа объекта испытания, привлекаемых технических средств, числа этапов переработки данных;
• ф у н к ц и о н а л ь н ы е — априорная неопределенность состояний аппаратно — программных средств (АПС), снижающая
качество переработки данных; изменение состава вектора измерений в зависимости от этапа испытаний и привлекаемых АПС;
• ц е л е в ы е — своевременный сбор измерительных данных
и их переработка в реальных условиях (помеховая обстановка,
состояние технических средств).
Так как РСПИ является, по сути, сегментом наземного автоматизированного комплекса управления, то для нее характерны те же
виды обеспечения, что и для АСУ [54, 110]. Непосредственно для
задач разработки систем переработки данных, методов построения
распределенных структур в АСУ сложными динамическими объектами рассмотрим математическое, программное и информационное
обеспечение (рис. 1.2). Роль технического обеспечения АСУ будем
учитывать при рассмотрении надежности функционирования РСПИ
в ходе анализа вероятностно-временных характеристик процесса переработки информации на распределенном комплексе технических
средств.
При выполнении ряда практических операций по управлению
СДО актуальным остается организация устойчивого функционирования аппаратных и программных средств. Последнее относится как
к созданию специального, так и общего программного обеспечения
(ОПО), систем управления базами данных (БД).
Совершенствование математического и программного обеспече

Г л а в а 1

Рис. 1.2. Обеспечение устойчивости видов обеспечения РСПИ

ния автоматизированных комплексов вызвано следующими требованиями к распределенным системам переработки информации:
• обеспечение в реальном масштабе времени (РМВ) обработки и
представления данных, многозадачный, многооконный режим
при работе со всеми ресурсами автоматизированных комплексов;
• модульный принцип построения и наращивания аппаратных и
программных средств, обеспечивающих работу в РМВ, и организация, при необходимости, взаимодействия с существующими
сетями, системами, комплексами средств автоматизации;
• общие с АСУ СДО аппаратные и программные средства, прикладная специфика которых должна иметь общие принципы
функционирования, состоять из единого ряда программных модулей задач, моделей и экспертных систем;
• обеспечение контроля и отображения состояния РСПИ и возможности управления с выделенных средств АСУ всеми процессами, циркулирующими в РСПИ;
• унификация ведения баз данных, единая система доступа, телекоммуникационная среда, протоколы и процедуры, АПС, позволяющие развивать систему, создавая новые расчетные модули в
составе модельно-алгоритмического обеспечения РСПИ;
• интегрированное использование существующих и новых каналов связи и передачи данных, многоуровневая реконфигурация,
регенерация и восстановление структуры РСПИ.