Введение в математическую теорию оптимального управления

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

А. С. МАТВЕЕВ

ВВЕДЕНИЕ
В МАТЕМАТИЧЕСКУЮ
ТЕОРИЮ
ОПТИМАЛЬНОГО
УПРАВЛЕНИЯ

Учебник

ИЗДАТЕЛЬСТВО САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА

УДК 519.71
БКК 32.81я7
М33

Р е ц е н з е н т ы: д-р физ.-мат. наук проф. В. Б. Смирнова
(С.-Петербургский гос. архитектурно-строительный ун-т)
д-р физ.–мат. наук доц. Н. В. Кузнецов
(С.-Петербургский гос. ун-т)

Рекомендовано к изданию
Редакционно-издательским советом
математико-механического факультета
Санкт-Петербургского государственного университета

М33
Матвеев А. С.
Введение в математическую теорию оптимального управления:
Учебник. — СПб.: Изд-во С.-Петерб. ун-та, 2018. — 194 с.

ISBN 978-5-288-05809-7

Цель данного учебника — ознакомить читателя с математической теорией оптимального управления, её связями с другими разделами теории экстремальных
задач, спецификой типичных математических задач оптимального управления
и вытекающих из неё проблем, а также с основными положениями и базовыми
подходами этой теории и их применением к решению конкретных задач. В изложении материала упор сделан на подходе, основанном на применении функционального анализа, который был разработан и развит санкт-петербургской (ленинградской) школой математической кибернетики, созданной профессором СПбГУ
В. А. Якубовичем, позволяющем не только рассматривать с единой точки зрения
экстремальные задачи разных типов, но и унифицировать необходимые условия
экстремума первого и более высокого порядка.
В основу учебника положен материал курса лекций, читаемых автором на
математико-механическом факультете Санкт-Петербургского государственного
университета.
Предназначен для студентов и аспирантов, обучающихся по направлению
«Прикладная математика и информатика» и на смежных с ним специальностях.

УДК 519.71

ББК 32.81я7

ISBN 978-5-288–05809-7

c⃝
Санкт-Петербургский
государственный
университет, 2018

c⃝
А. С. Матвеев, 2018

ОГЛАВЛЕНИЕ

Используемые обозначения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6

Некоторые используемые понятия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11

Предисловие.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .
13

Глава 1. Классические экстремальные задачи
и задачи оптимального управления . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
1.1. Классические экстремальные задачи. . . . . . . . . . . . . . . . . . . . . . . . . . .
16
1.1.1. Условие Ферма в гладкой задаче безусловной оптимизации. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
—
1.1.2. Правило множителей Лагранжа в гладкой задаче математического программирования .. . . . . . . . . . . . . . . . . . . . . . . .
17
1.1.3. Задачи выпуклого и линейного программирования. Усиленный принцип оптимальности Лагранжа. Теорема двойственности .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . .
24
1.1.4. Задачи вариационного исчисления. . . . . . . . . . . . . . . . . . . . . . .
29
1.1.5. Уравнение Эйлера . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
1.1.6. Каноническая форма уравнения Эйлера. Преобразование
Лежандра. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
1.1.7. Гладкость экстремалей. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
1.1.8. Условие Лежандра . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
—
1.1.9. Условие Вейерштрасса .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
—
1.1.10. Условие Якоби .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
33
1.1.11. Вычисление сопряжённых точек. . . . . . . . . . . . . . . . . . . . . . . .
35
1.1.12. Глобальные условия Лежандра и Якоби как достаточные условия глобального экстремума .. . . . . . . . . . . . . . . . .
40
1.2. Простейший пример задачи оптимального управления и её решения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . .
42
1.2.1. Постановка задачи об оптимальном успокоении гармонического осциллятора. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .
—
1.2.2. Решение задачи об оптимальном успокоении гармонического осциллятора . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .
44
1.3. Классический метод вариаций и задачи оптимального управления. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . .
50
1.3.1. Классический метод вариаций вывода необходимых условий оптимальности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
—

Оглавление

1.3.2. Пример общей постановки задачи оптимального управления . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . .
54
1.3.3. Классический метод вариаций и задачи оптимального
управления . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
58

Глава 2. Метод пучков (неклассических вариаций)
вывода необходимых условий оптимальности . . . . . . . . . . . . . . .
61
2.1. Основные определения, идеи и факты .. . . . . . . . . . . . . . . . . . . . . . . .
—
2.1.1. Пучки кривых: основные определения. . . . . . . . . . . . . . . . . . .
—
2.1.2. Простейшие необходимые условия оптимальности, связанные с пучками кривых . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
64
2.2. Примеры пучков и связанных с ними необходимых условий оптимальности.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . .
68
2.2.1. Пучок классических вариаций . . . . . . . . . . . . . . . . . . . . . . . . . . .
—
2.2.2. Пучок анизотропных вариаций .. . . . . . . . . . . . . . . . . . . . . . . . .
69
2.2.3. Стандартное пространство управлений . . . . . . . . . . . . . . . . . .
79
2.2.4. Пучок простых игольчатых вариаций . . . . . . . . . . . . . . . . . . .
81
2.2.5. Дифференцирование
интегрального
функционала
по
пучку простых игольчатых вариаций.. . . . . . . . . . . . . . . . . . .
83
2.2.6. Необходимые условия экстремума в задаче минимизации
интегрального функционала. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
84
2.2.7. Пучок сложных игольчатых вариаций .. . . . . . . . . . . . . . . . . .
85
2.2.8. Выпуклое дифференцирование интегрального функционала по пучку сложных игольчатых вариаций . . . . . . . . . .
89
2.2.9. Необходимые условия экстремума в задаче минимизации
интегрального функционала при интегральных ограничениях . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
91

Глава 3. Абстрактная теория оптимального управления. . . . . . . . . . .
93
3.1. Постановка абстрактной задачи оптимального управления. . . .
94
3.2. Задачи без дополнительных ограничений. План вывода условий
оптимальности .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
96
3.3. Теорема о неявной функции. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
98
3.4. Разложение и дифференцирование по пучку сложной функции
103
3.5. Необходимые условия оптимальности в абстрактной задаче оптимального управления .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
108

Глава 4. Принцип максимума Понтрягина . . . . . . . . . . . . . . . . . . . . . . . . . . .
112
4.1. Задача оптимального управления с фиксированным интервалом времени. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . .
—
4.1.1. Формализация задачи. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
114
4.1.2. Проверка условий теоремы 3.5.1 .. . . . . . . . . . . . . . . . . . . . . . . .
115
4.1.3. Расшифровка заключения абстрактной теоремы и формулировка принципа максимума Понтрягина .. . . . . . . . . .
125
4.1.4. Завершение доказательства принципа максимума: случай
неограниченного множества допустимых управлений . . .
130

Оглавление
5

4.2. Принцип максимума для задачи оптимального управления с нефиксированным интервалом времени . . . . . . . . . . . . . . . . . . . . . . . . . .
134
4.2.1. Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . .
—
4.2.2. Принцип максимума Понтрягина для задачи с нефиксированным временем. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
136
4.2.3. О применении принципа максимума для решения задач
оптимального управления . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .
139
4.2.4. Принцип максимума Понтрягина для задачи с фиксированным временем как частный случай теоремы 4.2.1 . . .
142
4.2.5. Принцип максимума Понтрягина для задачи с фиксированным временем и фиксированным начальным и конечным состоянием.. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
145
4.2.6. Замечания о локальном экстремуме . . . . . . . . . . . . . . . . . . . . .
148
4.3. Принцип максимума и вариационое исчисление . . . . . . . . . . . . . . .
149
4.3.1. Постановка простейшей задачи вариационного исчисления и её сведение к задаче оптимального управления. . .
—
4.3.2. Принцип максимума для задачи вариационного исчисления. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . .
150
4.4. Пример применения принципа максимума: оптимальное по
быстродействию успокоение гармонического осциллятора.. . . .
154
4.4.1. Постановка задачи об оптимальном успокоении гармонического осциллятора. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . .
—
4.4.2. Выписывание принципа максимума для рассматриваемой
задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
155
4.4.3. Предварительный анализ принципа максимума . . . . . . . . .
157
4.4.4. Выводы из принципа максимума . . . . . . . . . . . . . . . . . . . . . . . .
158
4.4.5. Коленчатое управление, приводящее осциллятор в состояние покоя .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . .
160
4.4.6. Oптимальный закон управления . . . . . . . . . . . . . . . . . . . . . . . . .
167
4.4.7. Заключительные замечания . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
168
4.5. Принцип максимума для задачи оптимального управления системой, описываемой интегральным уравнением . . . . . . . . . . . . . . .
—
4.5.1. Формализация задачи. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
170
4.5.2. Проверка условий теоремы 3.5.1 .. . . . . . . . . . . . . . . . . . . . . . . .
171
4.5.3. Расшифровка заключения абстрактной теоремы и формулировка аналога принципа максимума Понтрягина . .
181
4.6. Задачи для самостоятельного решения . . . . . . . . . . . . . . . . . . . . . . . .
182

Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . .
191

Список иллюстраций. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
193

ИСПОЛЬЗУЕМЫЕ ОБОЗНАЧЕНИЯ

• := — по определению равно: a := b означает, что a вводится как обозначение
для b.

• ≡ — тождественно.

• ⇒ — импликация.

• ⇔ — эквивалентно.

• ∀ — квантор всеобщности.

• ∃ — квантор существования.

•
(5.1)
== — равенство верно в силу формулы (5.1); эта конвенция распространяется на другие бинарные отношения ≤, ⇒, ⊂ и т. п.; вместо ссылки на
формулу причина справедливости соотношения может быть указана непосредственно, например
a>b
== означает, что равенство верно, так как a > b.

• ∪, ∩, \ — объединение, пересечение и разность множеств соответственно.

• x ∈ X — элемент x принадлежит множеству X.

• x ̸∈ X — элемент x не принадлежит множеству X.

• A ⊂ B — множество A содержится в множестве B.

• ∅ — пустое множество.

• X × Y — декартово (прямое) произведение множеств X и Y , т. е. совокупность всевозможных пар (x, y) с x ∈ X, y ∈ Y .

• R — поле вещественных чисел.

• C — поле комплексных чисел.

• Z — кольцо целых чисел.

• ∀t ≈ τ — все t, достаточно близкие к τ.

Используемые обозначения
7

• {x1, x2, . . . , xm} — множество, образованное перечисленными элементами.

• {x ∈ X : P(x)} — множество элементов x ∈ X, для которых верно утверждение P(x); например, {x ∈ R : a ≤ x ≤ b} — это интервал [a, b] вещественной оси.

• [k1 : k2] := {k ∈ Z : k1 ≤ k ≤ k2} ([k1 : k2] := ∅, если k1 > k2).

•
O(ε) — бесконечно малая величина выше первого порядка: O(ε)/ε → 0 при
ε → 0.

• sgnλ :=






1
для
λ > 0
0
для
λ = 0
−1
для
λ < 0




 — знак числа λ ∈ R.

• ⊤ — транспонирование матрицы.

• col(x1, . . . , xn) := (x1, . . . , xn)⊤ — вектор-столбец, составленный из перечисленных чисел.

• Rn — стандартное вещественное евклидово пространство размерности n,
т. е. пространство вектор-столбцов x = col(x1, . . .,xn) высоты n с вещественными компонентами xi.

• ϕ(·) — комбинация (·) указывает, что предшествующий символ обозначает
функцию; для спецификации числа аргументов функции точка · повторяется соответствующее число раз, например ϕ(·, ·) — функция двух аргументов.

• ∇ϕ(x) — градиент гладкой вещественной функции ϕ(·) от n вещественных
переменных x1, . . . , xn

∇ϕ(x) = col
∂ϕ

∂x1
(x), . . . , ∂ϕ

∂xn
(x)
.

• ϕ′(x) = ∂ϕ

∂x (x) — вектор-строка из частных производных первого порядка,
т. е. транспонированный градиент:

ϕ′(x) = ∂ϕ

∂x (x) :=
∂ϕ

∂x1
(x), . . . , ∂ϕ

∂xn
(x)
.

• ϕ′′(x) — гессиан гладкой вещественной функции ϕ(·) от n вещественных переменных xi, т. е. симметричная матрица вторых производных, естественным образом организованных в матрицу

ϕ′′(x) =













∂2ϕ

∂x1∂x1 (x)
∂2ϕ

∂x1∂x2 (x)
∂2ϕ

∂x1∂x3 (x)
· · ·
∂2ϕ

∂x1∂xn (x)

∂2ϕ

∂x2∂x1 (x)
∂2ϕ

∂x2∂x2 (x)
∂2ϕ

∂x2∂x3 (x)
· · ·
∂2ϕ

∂x2∂xn (x)

∂2ϕ

∂x3∂x1 (x)
∂2ϕ

∂x3∂x2 (x)
∂2ϕ

∂x3∂x3 (x)
· · ·
∂2ϕ

∂x3∂xn (x)
...
...
...
· · ·
...
∂2ϕ

∂xn∂x1 (x)
∂2ϕ

∂xn∂x2 (x)
∂2ϕ

∂xn∂x3 (x)
· · ·
∂2ϕ

∂xn∂xn (x)













.

Используемые обозначения

• ϕ′′
xx(x, u) — частный
гессиан
по
x
гладкой
вещественной
функции
ϕ(x, u) ∈ R от n + m вещественных переменных x1, . . . , xn, u1, . . . , um, поделённых на блоки:

x := col(x1, . . . , xn),
u = col(u1, . . . , um),
(⋆)

т. е. гессиан функции x → ϕ(x, u), построенной при заданном значении
второго блока u; частный гессиан ϕ′′
uu(x, u) по u определён аналогично.

• ϕ′′
xu(x, u) — матрица вторых смешанных производных функции из предыдущего пункта, естественным образом организованных в матрицу












∂2ϕ

∂x1∂u1 (x, u)
∂2ϕ

∂x1∂u2 (x, u)
∂2ϕ

∂x1∂u3 (x, u)
· · ·
∂2ϕ

∂x1∂um (x, u)

∂2ϕ

∂x2∂u1 (x, u)
∂2ϕ

∂x2∂u2 (x, u)
∂2ϕ

∂x2∂u3 (x, u)
· · ·
∂2ϕ

∂x2∂um (x, u)

∂2ϕ

∂x3∂u1 (x, u)
∂2ϕ

∂x3∂u2 (x, u)
∂2ϕ

∂x3∂u3 (x, u)
· · ·
∂2ϕ

∂x3∂um (x, u)
...
...
...
· · ·
...
∂2ϕ

∂xn∂u1 (x, u)
∂2ϕ

∂xn∂u2 (x, u)
∂2ϕ

∂xn∂u3 (x, u)
· · ·
∂2ϕ

∂xn∂um (x, u)













;

матрица ϕ′′
ux(x, u) определена аналогично и представляет собой результат
транспонирования ϕ′′
xu(x, u).

• ϕ′′
xx(x, u, v), ϕ′′
uu(x, u, v), ϕ′′
xu(x, u, v), ϕ′′
ux(x, u, v) — матрицы из предыдущих
двух пунктов для функции (x, u) → ϕ(x, u, v), построенной исходя из ϕ(·)
при заданном значении третьего блока v ∈ Rk аргументов функции ϕ(·).

• f ′(x) — матрица Якоби гладкой вещественной вектор-функции f(x)
=
col[f1(x), . . . , fk(x)] от n вещественных переменных xi

f ′(x) =











∂f1
∂x1 (x)
∂f1
∂x2 (x)
∂f1
∂x3 (x)
· · ·
∂f1
∂xn (x)
∂f2
∂x1 (x)
∂f2
∂x2 (x)
∂f2
∂x3 (x)
· · ·
∂f2
∂xn (x)
∂f3
∂x1 (x)
∂f3
∂x2 (x)
∂f3
∂x3 (x)
· · ·
∂f3
∂xn (x)
...
...
...
· · ·
...
∂fk
∂x1 (x)
∂fk
∂x2 (x)
∂fk
∂x3 (x)
· · ·
∂fk
∂xn (x)











.

• f ′
x(x, u) — частная матрица Якоби по x гладкой вещественной вектор-функции f(x) ∈ Rk от n + m вещественных переменных x1, . . . , xn, u1, . . ., um,
поделённых на блоки (⋆), т. е. матрица Якоби функции x → f(x, u), построенной при заданном значении второго блока u.

• ∇xf(x, u) — результат транспонирования частной матрицы Якоби f ′
x(x, u).

• S ≥ 0 — неравенство с симметричной вещественной матрицей S; оно означает, что данная матрица неотрицательно определена, т. е. связанная с ней
квадратичная форма принимает только неотрицательные значения.

• S ≤ 0, S1 ≤ S2 и S3 ≥ S4 — с симметричными матрицами означают, что
−S ≥ 0, S2 − S1 ≥ 0 и S3 − S4 ≥ 0 соответственно.

Используемые обозначения
9

• t → τ − 0 — переменная t ∈ R стремится к точке τ слева.

• t → τ + 0 — переменная t ∈ R стремится к точке τ справа.

• f(t + 0) — предел функции f(·) вещественной переменной в точке t справа.

• f(t − 0) — предел функции f(·) вещественной переменной в точке t слева.

• ⟨·; ·⟩ — стандартное скалярное произведение в Rn:

⟨x; y⟩ =

n
i=1
xiyi,
x = col(x1, . . . , xn),
y = col(y1, . . . , yn).

• |·|X — норма в линейном нормированном пространстве X, индекс X может
быть отброшен, если X ясно из контекста.

• ∥A∥ — операторная норма оператора A:

∥A∥ :=
sup
x:|x|=1
|Ax|.

• LIN(X → Y ) — пространство непрерывных линейных операторов, которые
действуют из линейного нормированного пространства X в линейное нормированное пространство Y .

• X∗ = LIN(X → R) — сопряжённое пространство.

• A−1 — оператор, обратный оператору A.

• C ([t0, t1]→Rn) — банахово пространство заданных на интервале [t0, t1]⊂R
непрерывных вектор-функций f : [t0, t1] → Rn, снабжённое нормой

|f(·)|C :=
max
t∈[t0,t1] |f(t)|.

• mesE — мера Лебега множества E.

• Lp ([t0, t1] → Rn) — банахово пространство измеримых по Лебегу функций1,
заданных на интервале [t0, t1], принимающих значения в Rn и имеющих
конечную норму:

|f(·)|p :=
∆
|f(t)|p dt
1

p
,
если p ∈ [1, ∞),

|f(·)|∞ :=
inf
E⊂[t0,t1]: mesE=0 sup
t∈∆\E
|f(t)|.

1 Точнее, классов эквивалентных по Лебегу функций, т. е. отличающихся лишь на
множестве нулевой лебеговой меры.

Используемые обозначения

• W1
p ([t0, t1] → Rn) — банахово пространство абсолютно непрерывных функций f(·) : [t0, t1] → Rn, производная которых попадает в Lp ([t0, t1] → Rn);
пространство снабжено нормой

|f(·)|W1p := |f(·)|C + |f ′(·)|p.

• PC ([t0, t1] → Rn) — линейное пространство кусочно-непрерывных функций
f(·) : [t0, t1] → Rn, т. е. функций, непрерывных всюду, за исключением
конечного множества точек, в которых существуют (конечные) односторонние пределы f(t ± 0); для определённости считаем, что кусочно-непрерывная функция непрерывна в любой точке t ∈ (t0, t1] слева, а в точке t0 —
справа.