Полиномиальная аппроксимация для нелинейных задач

Богуславский И.А.

Полиномиальная

аппроксимация для
нелинейных задач

оценивания и
управления

МОСКВА

ФИЗМАТЛИТ ®

УДК 519.615
ББК 22.193
Б 74

Б о г у с л а в с к и й И. А.
Полиномиальная аппроксимация для нелинейных задач оценивания и управления. — М.: ФИЗМАТЛИТ, 2006. —
208 с. — ISBN 5-9221-0671-6.

В книге изложен новый вычислительный метод приближенного определения вектора параметров, удовлетворяющего системе нелинейных алгебраических уравнений, определенных явно или заданных некоторым вычислительным
процессом. При наличии случайных возмущений метод позволяет получить
оценку вектора условного математического ожидания. Метод апробирован при
численном решении значительного количества прикладных задач оценивания
и управления.
Книга адресована вычислителям-исследователям, а также студентам старших курсов и аспирантам соответствующих специальностей.

ISBN 5-9221-0671-6

c⃝ ФИЗМАТЛИТ, 2006

c⃝ И. А. Богуславский, 2006

ОГЛАВЛЕНИЕ

Предисловие . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7

Гл а в а
1. Линейные оценки вектора случайных параметров . . . .
9

§ 1. Линейная оценка, оптимальная в среднеквадратичном . .. . . . . . . .
9
§ 2. Векторная мера нелинейности вектора W1 по отношению к вектору θ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13
§ 3. Декомпозиция наблюдений . .. . . . . . . . . . . . . . . . . . . . . . . . . .
14
§ 4. Рекуррентная форма алгоритма для вектора оценки. .. . . . . . . . . .
17
§ 5. Задача оптимальной линейной фильтрации . .. . . . . . . . . . . . . . .
21
§ 6. Задача оптимальной линейной рекуррентной интерполяции (задача
оптимального сглаживания). .. . . . . . . . .. . . . . . . . . . . . . . . . . .
23

Гл а в а
2. Основы метода полиномиальной аппроксимации . . . . .
26

§ 1. Теорема М. Стоуна и базис семейства непрерывных функций . .. . .
26
§ 2. Основная теорема . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
27
§ 3. Полиномиальная аппроксимация . .. . . . . . . . . . . . . . . . . . . . . .
30
§ 4. Вычисление статистических моментов и выбор стохастической меры
32
§ 5. Фрагмент программы модифицированного метода трапеций . .. . . .
35

Гл а в а
3. Полиномиальная аппроксимация и оптимизация управления . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . .
38

§ 1. Введение . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
38
§ 2. Задача полиномиальной аппроксимации заданной функции. .. . . . .
39
§ 3. Прикладные примеры . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
1. Обнаружение полиномиальной функции. .. .. . . . . . . . . . . . . . .
41
2. Ошибки аппроксимации для вектора состояния динамической
системы . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
42
§ 4. Полиномиальная аппроксимация в задачах оптимизации управления
44
§ 5. Оптимизация управления линейной системой: линейный и квадратичный критерии оптимальности . .. . . . . . . . . . . . . . . . . . . . . .
47
§ 6. Приближенная оптимизация управления для нелинейной динамической системы . .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .
51
§ 7. Полиномиальная аппроксимация при наличии случайных ошибок
52
§ 8. Идентификация «черного ящика» . .. . . . . . . . . . . . . . . . . . . . . .
52

Гл а в а
4. Полиномиальная
аппроксимация
обратной
векторфункции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
55

§ 1. Введение . .. . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . .
55
§ 2. Задача полиномиальной аппроксимации обратной вектор-функции
59

Оглавление

§ 3. Наличие нескольких векторов корней и разбиение априорной области Ωθ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
63
§ 4. Корректность алгоритма оценки и учет случайных слагаемых
в наблюдениях . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
64
§ 5. Варианты реализации полиномиальной аппроксимации обратной
вектор-функции. .. . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .
66
§ 6. Численные решения недоопределенных и переопределенных систем
линейных алгебраических уравнений . .. . . . . . . . . . . . . . . . . . .
69
§ 7. Решение системы уравнений с нелинейностями вида целых степеней. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
73
§ 8. Решение системы уравнений с нелинейностями вида тригонометрических, показательных функций и функции вида модуль . .. . . . . .
75
§ 9. Решение двухточечной краевой задачи для системы нелинейных
дифференциальных уравнений . .. . . . . . . . . . . . . . . . . . . . .. . . .
76
§ 10. Система алгебраических уравнений с комплексными корнями . .. .
78

Гл а в а
5. Идентификация параметров нелинейной динамической
системы; сглаживание, фильтрация, прогнозирование вектора
состояния . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
82

§ 1. Постановка задачи . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
82
§ 2. Принципиальная схема организованного поиска . .. . . . . . . . . . . .
85
§ 3. Математическая модель для апробации алгоритмов . .. . . . . . . . . .
86
§ 4. Организованный
поиск
с
функцией
fmins
пакета
программ
MATLAB 5.2. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
88
§ 5. Система неявных алгебраических уравнений . .. . . . . . . . . . . . . .
90
§ 6. Сжимающий оператор. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
91
§ 7. Вычислительная схема организованного поиска при байесовской
интерпретации . .. . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . .
95
§ 8. Сглаживание, фильтрация и прогнозирование по наблюдениям
в шумах для нелинейной динамической системы. .. . . . . . . . . . . .
99
1. Математическая модель динамической системы и наблюдений. .
100
2. Принципиальный алгоритм сглаживания, фильтрации, прогнозирования (алгоритм СФП) . .. . . . . . . . . . . . . . . . . . . . . . . .
101
3. Качественное сравнение алгоритма СФП и алгоритма РФК . .. .
103
4. Рекуррентная форма для алгоритма СФП (РСФП) . .. . . . . . . .
105
5. О вычислении априорных первых и вторых статистических моментов . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . .
107
6. Сглаживание и фильтрация для модели двухступенчатого интегратора с нелинейной обратной связью . .. . . . . . . . . . . . . . . . .
109
7. Идентификация скоростной характеристики интегратора и нелинейности типа «люфт» . .. . . . . . . . . . . . . . . . . . . . . . . . . . .
112
8. Следящая система с релейным приводом и петлей гистерезиса
113
9. Оценка главных моментов инерции твердого тела . .. . . . . . . . .
114
10. Нелинейная фильтрация при конечной памяти алгоритма . .. . . .
116

Оглавление
5

Гл а в а
6. Оценка векторов состояния по углам визирования . . . .
120

§ 1. Оценка вектора состояния космического объекта . .. . . . . . . . . . .
120
1. Уравнения движения и модель результатов наблюдений . .. . . . .
121
2. Схема алгоритма оценивания . .. . . . . . . . . . . . . . . . . . . . . . .
121
3. Результаты моделирования . .. . . . . . . . . . . . . . . . . . . . . . . .
124
§ 2. Оценки вектора состояния летательного аппарата, углов ориентации местной вертикали и юстировка бортовой визирной системы. .
126
1. Первичные навигационные ошибки и постановка задачи. .. . . . .
127
2. Нелинейная задача оценки навигационных параметров. .. . . . . .
130
3. Схема вычислений и результаты оценивания . .. . . . . . . . . . . .
131

Гл а в а
7. Оценка параметров стохастических моделей. . . . . . .. . .
135

§ 1. Оценка параметров скрытой марковской модели посредством полиномиальной аппроксимации вектора корней системы алгебраических уравнений. .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
135
1. Постановка задачи . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
137
2. Ограничения . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .
138
3. Независимые параметры . .. . . . . . . . . . . . . . . . . . . . . . . . . .
138
4. Функция правдоподобия для СММ . .. . . . . . . . . . . . . . . . . . .
139
5. Эмпирические и аналитические статистики; уравнение для оценок параметров . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
140
6. Схема алгоритма для определения вектора оценок СММ . .. . . .
143
7. Оценка параметров СММ при n = m = 2. . . . . . . . . . . . . . . .
144
8. Последовательность СММ, демонстрирующая «сомнительность»
метода МП . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
147
§ 2. Оценка матрицы интенсивностей модели марковского процесса . .. .
150
1. Метод максимума правдоподобия при наблюдениях моментов
времени прямых переходов . .. . . . . . . . . . . . . . . . . . . . . . . .
151
2. Алгоритм оценки при наблюдениях состояний в моменты непрямых переходов . .. . . . . . . . . . . . . . . . . . . . . .. . . . . . . . .
154
3. Численный пример . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
156
4. Оценка прошлого и прогноз будущего . .. . . . . . . . . . . . . . . . .
158
Заключение . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
159

Гл а в а
8. Линейная оценка при плохо обусловленной матрице
и ошибках наблюдений — неопределенных функциях времени
160

§ 1. Введение . .. . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
160
§ 2. Варианты байесовского метода наименьших квадратов. .. . . . . . . .
162
§ 3. Алгоритм БМНК1 и анализ точности оценки . .. . . . . . . . . . . . . .
163
§ 4. Рекуррентная форма алгоритма БМНК1 . .. . . . . . . . . . . . . . . . .
166
§ 5. Сатистический анализ алгоритма БМНК2 . .. . . . . . . . . . . . . . . .
168
§ 6. Параметрическая модель тренда и метод алгоритмической компенсации . .. . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . .
170
§ 7. Статистический анализ точности относительного позиционирования
по информации от одного искусственного спутника Земли . .. . . . .
173

Оглавление

Гл а в а
9. Конструирование управления движением в заданную
точку фазового пространства . . . . . . . . . . . . . . . . . . . . . . . .
179

§ 1. Введение . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
179
§ 2. Постановка краевых задач и метод их решения. .. . . . . . . . . . . . .
180
§ 3. Необходимые и достаточные условия оптимального быстродействия 183
§ 4. Этапы процесса вычислений . .. . . . . . . . . . . . . . . . . . . . . . . .. .
186
§ 5. Коррекция околокруговой орбиты малой тягой двух двигателей за
минимальное время . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
187
§ 6. Коррекция околокруговой орбиты и положения искусственного спутника Земли малой тягой двух двигателей за минимальное время. .
192
§ 7. Редукция краевой задачи к задаче на условный экстремум . .. . . . .
195
§ 8. Краевая задача для маневра летательного аппарата в вертикальной
плоскости. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
198
§ 9. Краевая задача для маневра летательного аппарата в пространстве
202

Список литературы . .. . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . .
205

ПРЕДИСЛОВИЕ

В книге изложены результаты работ автора по созданию и апробации нового метода численного решения некоторых прикладных задач —
метода полиномиальной аппроксимации.
Известно много прикладных задач, относящихся, например, к проблемам оценки неизвестных параметров и конструирования вектора
управления динамическими системами, для которых решение сводится
к общей задаче вычислительной математики: найти векторы θ1, θ2, ...
корней системы нелинейных алгебраических уравнений F(θ) = Y, задаваемых явно или неявно — посредством вычислительного процесса
(например, посредством численного интегрирования системы обыкновенных дифференциальных уравнений).
Широко применяемые итерационные методы решения общей задачи нельзя признать универсальными: сходимость вычислений обычно
достигается лишь при хорошем первом приближении вектора корней,
а также при хороших локальных свойствах функций в описании
системы, гарантирующих существование их производных, которые
необходимы при использовании многочисленных разновидностей градиентных методов — основ широко используемых вариантов метода
Ньютона.
Поэтому основная часть книги посвящена полиномиальной аппроксимации вектор-функции F −1(Y ), обратной заданной векторфункции F(θ), и ее применениям к численным решениям конкретных
нелинейных задач оценивания и управления. Алгоритм метода не
требует наличия первого приближения вектора корней, а использует
лишь априорные представления об области Ωθ существования этих
корней. Алгоритм реализует только операции численного интегрирования, что позволяет иметь недифференцируемые компоненты в составе
аппроксимируемых вектор-функций. Приближенное решение задачи
аппроксимации представляется отрезком векторного степенного ряда
по целым степеням компонент вектора Y , который при увеличении
длины отрезка сходится к истинному решению F −1(Y ) равномерно
на области ΩY , получаемой из Ωθ соответствующим отображением.
«Обучение» алгоритма метода состоит в вычислении компонент заданной вектор-функции в точках, покрывающих с некоторой плотностью
априорную область Ωθ.
Если заданная вектор-функция имеет компоненты, зависящие от
случайных величин, трактуемых, например, как случайные ошибки
наблюдений, то алгоритм метода доставляет приближения для вектора
условного математического ожидания случайного вектора корней.

Предисловие

Если в априорной области существует несколько векторов корней
при данном Y , то алгоритм аппроксимирует вектор среднего арифметического этих векторов.
Изложенные результаты применения полиномиальной аппроксимации к решению многочисленных прикладных задач позволяют автору
рекомендовать новый метод вычислителям-исследователям, которым
нужен надежный и эффективный численный способ нелинейной оценки и решения краевых задач при конструировании управления.
Имеется большое число фундаментальных монографий по вопросам оценивания и управления, снабженных обширной библиографией.
Целью же настоящей работы является лишь изложение нового метода вычислений и демонстрация его эффективности на конкретных,
далеко не тривиальных прикладных примерах. Поэтому библиография
содержит лишь упоминание о работах, имеющих непосредственное
отношение к излагаемому материалу.
Для общей задачи решения системы нелинейных алгебраических
уравнений сравнение с одним из вариантов метода Ньютона не проводилось. Сравниваемые методы требуют совершенно разного обеспечения
априорными данными: для метода Ньютона нужен вектор хорошего
первого приближения θ0, а для предлагаемого метода — априорная
область Ωθ существования корней.
Кроме того, алгоритм предлагаемого метода должен определять
многомерные интегралы и реализовать достаточно большой объем
вычислений. Однако после этого полиномиальная аппроксимация
вектор-функции F −1(Y ) доставляет приближенное решение с равномерно малой ошибкой для любого вектора Y ∈ ΩY .
Алгоритмы вариантов метода Ньютона должны начинать «новую
жизнь» после каждого изменения вектора Y .
Автор благодарит руководство ГОСНИИАС за эффективное содействие в работе над книгой.
Автор благодарит А. М. Шматкова за консультации по работе
с пакетом программ MiKTeX.
Автор признателен Г. Г. Богуславской за терпение и понимание
трудностей, возникших из-за занятости автора работой над книгой.

Г л а в а 1

ЛИНЕЙНЫЕ ОЦЕНКИ

ВЕКТОРА СЛУЧАЙНЫХ ПАРАМЕТРОВ

§ 1. Линейная оценка, оптимальная
в среднеквадратичном

Метод полиномиальной аппроксимации основывается на:
1) конструировании вектора W обобщенных наблюдений из компонент вектора Y фактических наблюдений и полиномиальных функций
этих компонент;
2) байесовском подходе, основанном на присвоении некоторой априорной стохастической меры вектору неизвестных параметров θ
и вектору W обобщенных наблюдений.
Присвоение стохастической меры позволяет в алгоритме полиномиальной аппроксимации использовать хорошо известный метод
построения линейной оценки, оптимальной в среднеквадратичном,
изложенный в основополагающих работах А. Колмогорова, Н. Винера,
В. Пугачева.
Ниже изложен упомянутый метод и представлено его развитие в
некоторых направлениях [2, 3, 8, 36].
Пусть вектор W ∈ Rm — случайный вектор наблюдений, θ ∈ Rn —
случайный вектор оцениваемых параметров.
Полагаем, что существуют априорные статистические данные о θ
и W
— первые и центральные вторые статистические моменты
компонент векторов θ, W , представленные векторами и матрицами: E(θ), E(W),
C0 = E((θ − E(θ))(θ − E(θ))T),

Q = E((W − E(W))(W − E(W))T),

L = E((θ − E(θ))(W − E(W))T).

Пусть зафиксирован вектор W. Хорошо известно, что приведенные
априорные
данные
позволяют
построить
вектор
Zθ(W, m)o ∈ Rn
оценки вектора θ, линейный относительно W
и оптимальный в
среднеквадратичном среди всех векторов Zθ(W, m), линейных относительно W.

Гл. 1. Линейные оценки вектора случайных параметров

Любой упомянутый вектор Zθ(W, m) представим формулой

Zθ(W, m) = z + Λ(W − E(W)),
(1.1)

где z — произвольный вектор размерности n × 1, Λ — произвольная
матрица размерности n × m.
Положим, что матрицы Co и C являются матрицами ковариаций
ошибок оценки, если векторы оценок суть Zθ(W, m)o и Zθ(W, m):

Co = E((Zθ(W, m)o − θ))(Zθ(W, m)o − θ)T )
и
C = E((Zθ(W, m) − θ))(Zθ(W, m) − θ)T ).

Для вектора линейной оптимальной оценки Zθ(W, m)o справедливо
матричное неравенство
Co ⩽ C.
(1.2)

Л е м м а 1.1.

Zθ(W, m)o = E(θ) + Λo(W − E(W)),
(1.3)

где
ΛoQ = L.
(1.4)

До к а з а т е л ь с т в о. Из (1.1) и (1.3) найдем выражения для векторов ошибок оценки и после осреднения получим матрицы C, Co.
Тогда справедливо тождество

C = Co + (Λ − Λo) Q(Λ − Λo)T + (ΛoQ − L)(Λ − Λo)T +

+ (Λ − Λo)(ΛoQ − L)T + (z − E(θ))(z − E(θ))T.
(1.5)

Второе и шестое матричные слагаемые в (1.5) — неотрицательно определенные матрицы. Поэтому равенство нулю третьего и четвертого
матричных слагаемых в (1.5) для любых матриц Λ служит достаточным
условием для выполнения (1.2).
Лемма 1.1 доказана.
С л е д с т в и е 1. Если Λ = Λo, то

Co = C0 − ΛoLT .
(1.6)

С л е д с т в и е 2. Пусть матрица ковариаций Q случайного вектора W неособенная (линейно независимы все компоненты W).
Тогда из (1.4)
Λo = LQ−1,
(1.7)

Co = C0 − LQ−1LT ,
(1.8)

σ2
i = σi(0)2 − liQ−1lT
i ,

где σ2
i — дисперсия ошибок оценки i-й компоненты вектора θ,
σi(0)2 — априорная дисперсия этой компоненты (i-й диагональный