Современные проблемы прикладной математики. Часть 1. Лекционный курс

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ   

РОССИЙСКОЙ ФЕДЕРАЦИИ 

 
ТОМСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ СИСТЕМ 
УПРАВЛЕНИЯ И РАДИОЭЛЕКТРОНИКИ (ТУСУР) 

 

 
Ю.Е. Воскобойников 
А.А. Мицель 

 
СОВРЕМЕННЫЕ 
ПРОБЛЕМЫ ПРИКЛАДНОЙ 
МАТЕМАТИКИ 
Часть 1. Лекционный курс 
 
Учебное пособие 
 
 
 
 
 
 
 
 
 
 
ТОМСК 2016 

УДК  519.2 
ББК  22.172 
В  650 
Воскобойников Ю. Е., Мицель А.А. 
Современные проблемы прикладной математики. Часть 1. 

Лекционный курс: учебное пособие/ Ю. Е. Воскобойников, А.А. 
Мицель/ Томский гос. ун-т систем управления и радиоэлектроники (ТУСУР). – Томск, 2016. – 136 с. 
   
В учебном пособии в первой части приводится системное изложение одного из разделов прикладной математики, связанного 
с устойчивыми методами и алгоритмами решения систем линейных алгебраических уравнений, возникающих при параметрической идентификации моделей. Основное внимание уделяется построению решений с минимальной ошибкой или с требуемыми 
точностными характеристиками, а также учету имеющейся априорной информации об искомом решении. Во второй части приводится описание лабораторных работ по созданию алгоритмов 
построения нормального псевдорешения и регуляризированных 
решений.  
Учебное пособие предназначено для магистрантов направления «Прикладная математика и информатика». Результаты будут 
полезны также широкому кругу студентов, магистрантов, аспирантов, исследователей, занимающихся решением задач параметрической идентификации и обработки экспериментальных 
данных. 

ОГЛАВЛЕНИЕ 
 
ВВЕДЕНИЕ  ……………………………………………………….6  
 
ГЛАВА 1. НЕКОРРЕКТНО ПОСТАВЛЕННЫЕ ЗАДАЧИ  
И  ЗАДАЧИ  ПАРАМЕТРИЧЕСКОЙ  
ИДЕНТИФИКАЦИИ …………………………………………....     8 
§ 1.1. Корректно и некорректно поставленные задачи …     8 
1.1.1. Прямые и обратные задачи……………………...8 
1.1.2. Некорректно поставленные задачи………….     9 
1.1.3. Корректность по Тихонову и множество  
корректности……………………...…………….12 
§ 1.2. Параметрические модели динамических систем …   13 
1.2.1.  Множественные регрессионные модели……13 
1.2.2.  Регрессионная модель временного ряда….…15 
   1.2.3.  Модели динамических систем в простран- 
стве состояний………….………….……..…..17 
Вопросы для самопроверки……………………………..18 
 
ГЛАВА 2. УСТОЙЧИВЫЕ  ЛИНЕЙНЫЕ  АЛГОРИТМЫ 
ПАРАМЕТРИЧЕСКОЙ  ИДЕНТИФИКАЦИИ  ………….......    20 
§ 2.1. Вырожденные,  несовместные,  плохо  
   обусловленные  СЛАУ  и их сингулярный  анализ ……  20 
2.1.1.  Вырожденные СЛАУ и нормальное решение…..20 
  
2.1.2. Несовместные СЛАУ и псевдорешение…………21 
   
2.1.3. Плохо обусловленные СЛАУ и число  
обусловленности…………………………………23 
 2.1.4. Сингулярное разложение матрицы……….……..25 
2.1.5. SVD-алгоритм построения нормального 
псевдорешения……………………………………28 
2.1.6. Построение нормального псевдорешения  
в  Mathcad………………………………………….32 
§ 2.2. Оптимальные статистические регуляризирующие  
алгоритмы решения СЛАУ ………….………………..37 
2.2.1. Байесовский регуляризирующий алгоритм……..37 
2.2.2. Минимаксный регуляризирующие алгоритм…...42 

2.2.3. Оптимальный регуляризирующий  
SVD-алгоритм……………………………………..44 
§ 2.3. Статистические регулирующие алгоритмы  решения  
СЛАУ при неполной априорной информации ………52 
2.3.1. Неполная информация и сглаживающий  
функционал………………………………………..52 
2.3.2. Гладкость решения и стабилизирующий  
функционал………………………………………56 
2.3.3. Регуляризирующий SVD-алгоритм………………61 
2.3.4. Систематическая и случайная ошибки  
решения 
α
ϕ ………………………………………..64 
§ 2.4. Алгоритмы выбора параметра регуляризации …….  67 
2.4.1. Выбор параметра регуляризации на основе 
критерия оптимальности……………………….68 
2.4.2. Алгоритм выбора параметра по критерию  
оптимальности ………………………………….70 
2.4.3. Алгоритм выбора параметра по статистичес- 
кому варианту принципа невязки…………..75 
2.4.4. Выбор параметра методом перекрестной  
значимости…………………………………….78 
2.4.5. Сравнение различных алгоритмов выбора  
параметра регуляризации…………………….81 
§ 2.5. Точностные характеристики и синтез 
   регуляризирующих алгоритмов решения СЛАУ …….. ..  87 
2.5.1. Вычисление числовых характеристик  
ошибок регуляризированного решения….87 
2.5.2. Построение доверительных интервалов  
для решения ϕ + …………………………….    91 
2.5.3. Точностные характеристики  
регуляризирующих алгоритмов…………….  92 
§ 2.6. Синтез регуляризирующих алгоритмов 
 по заданным точностным характеристикам ……………...  96 
§ 2.7. Построение  регуляризированных  решений   
   СЛАУ в  Mathcad …………………………………………  98  
Вопросы для самопроверки………………………………...103 

ГЛАВА 3. ЛОКАЛЬНЫЙ  РЕГУЛЯРИЗИРУЮЩИЙ   
АЛГОРИТМ ПАРАМЕТРИЧЕСКОЙ    
ИДЕНТИФИКАЦИИ …………………………………………..   105 
§ 3.1. Локальный  регуляризирующий  алгоритм  
    
 
с векторным параметром  регуляризации ….…...   105 
§ 3.2. Построение локального регуляризирующего 
    
 
алгоритма  ………………………………………....  107 
§ 3.3. Выбор параметра локального регуляризирующего 
   
 
алгоритма  ………………………………………...   112 
§ 3.4. Результаты вычислительного эксперимента………  113 
Вопросы для самопроверки…………………………………115 
 
ГЛАВА 4. ДЕСКРИПТИВНЫЕ РЕГУЛЯРИЗИРУЮЩИЕ  
АЛГОРИТМЫ РЕШЕНИЯ СЛАУ……………………...……..   116 
§ 4.1. Глобальный дескриптивный регуляризирующий  
алгоритм ……………. …………….…………………   116 
§ 4.2. Локальный дескриптивный регуляризирующий  
алгоритм ……………. …………….…………………   121 
 
§ 4.3. Исследования дескриптивных регуляризирующих  
алгоритмов ……………. …………….……………………   126 
Вопросы для самопроверки…………………………………128 
 
ЗАКЛЮЧЕНИЕ ………………………………………………..  129 
 
БИБЛИОГРАФИЧЕСКИЙ СПИСОК………………………  130 
 
 

ВВЕДЕНИЕ 
Многие задачи идентификации, дающие необходимую информацию при решении задач физики, экономики,  проектирования и расчетов конструкций и сооружений и др. , сводятся к решению систем линейных алгебраических уравнений и с точки 
зрения причинно-следственной связи являются обратными задачами. Эта особенность делает большинство задач идентификации 
некорректно поставленными. При этом могут быть нарушены все 
три условия корректности по Адамару (но чаще всего, условия 
существования и устойчивости решения).  
В последние три десятилетия предложены методы регуляризации решения некорректно поставленных задач. Однако в 
существенной части работ используются детерминированные методы введения априорной информации как о самом решении, так 
и о погрешностях исходных данных задачи. Необоснованно малое внимание уделяется выбору оптимальных значений параметров алгоритмов, что позволило бы получать решения с наименьшей ошибкой, а также построению алгоритмов с заданными точностными характеристиками. Отсутствуют эффективные алгоритмы, позволяющие учитывать имеющуюся априорную информацию об искомом решении (например, о диапазоне возможных 
значений коэффициента идентифицируемой модели). Отсутствие 
программного обеспечения, разработанного в среде универсального математического пакета (например, Mathcad) создает существенные затруднения у инженеров и экспериментаторов (не являющихся программистами) в использовании регуляризирующих 
алгоритмов на практике. 
В данном учебном пособии рассмотрены регуляризирующие методы и алгоритмы, позволяющие строить устойчивые решения систем линейных алгебраических уравнений (СЛАУ), 
возникающих в задачах параметрической идентификации и позволяющие достаточно полно использовать имеющуюся априорную информацию об искомом решении. Изложение результатов 
ведется в ясной, доступной для инженеров форме и, по возможности, с опусканием громоздких математических доказательств и 
выводов. Большое внимание уделяется содержательной трактов

ке и графической интерпретации излагаемых методов и алгоритмов.  
Вычислительной основой предлагаемых регуляризирующих алгоритмов является сингулярное разложение (singular value 
decomposition, SVD) матрицы решаемой СЛАУ. Использование 
сингулярного разложения (в дальнейшем именуемого SVD-разложением) позволяет существенно уменьшить вычислительные затраты на построение регуляризированных решений, выбор параметра регуляризации, а также дает возможность достаточно просто проанализировать особенности (несовместность, вырожденность, плохую обусловленность) решаемой СЛАУ. 
Для ряда алгоритмов приводится их программная реализация в виде разработанных в пакете Mathcad подпрограммфункций с решением конкретных задач. Это позволит читателю 
либо использовать эти программные разработки для решения 
собственных задач, либо на основе этих программных модулей 
создать (с минимальными затратами времени) «свое» программное обеспечение.  
Все это позволяет надеяться на востребованность изложенных в работе алгоритмов для решения практических задач параметрической идентификации.  
 
 
 
 
 
 
 
 
 

Глава 1  
 
НЕКОРРЕКТНО ПОСТАВЛЕННЫЕ ЗАДАЧИ  
И ЗАДАЧИ ПАРАМЕТРИЧЕСКОЙ ИДЕНТИФИКАЦИИ 
 
В этой главе рассмотрены задачи идентификации математических моделей различных систем. Сформулированы задачи вычислительной математики, к которой приводят задачи идентификации моделей. При рассмотрении задач идентификации большое вникание уделяется влиянию погрешности исходных данных 
на точность решения соответствующих задач. 
 
§ 1.1. Корректно и некорректно поставленные задачи 
 
В этом параграфе дается определение корректно поставленных математических задач и приводится пример некорректно поставленной задачи. 
 
1.1.1. Прямые и обратные задачи 
В математической физике принято деление задач на прямые 
и обратные в зависимости от их ориентации относительно причинно-следственной связи. 
В прямых задачах необходимо по причине определить следствие, в обратных задачах, наоборот, – по следствию нужно восстановить причину. 
Поясним это на примере системы линейных алгебраических 
уравнений (СЛАУ) вида: 

11
1
12
2
1
1

21
1
22
2
2
2

1
1
2
2

,

,

,

M
M

M
M

N
N
NM
M
N

k
k
k
f

k
k
k
f

k
k
k
f

ϕ
ϕ
ϕ

ϕ
ϕ
ϕ

ϕ
ϕ
ϕ

+
+
+
=

+
+
+
=

+
+
+
=

⋯

⋯

⋮
⋮
⋮
⋮

⋯

  
 
(1.1.1) 

или в матричном виде 

K
f
ϕ =
,  
 
 
 
 
 
 
(1.1.2) 

где K  – матрица размером N
M
×
 (N строк и M  столбцов),  

ϕ  – вектор размерности M  (содержит M  проекций), f  – вектор размерности N. 
Для этой системы уравнений прямая задача заключается 
в вычислении правой части f  по заданной матрице K  и вектору 
φ. Обратная задача – по заданным K, f  определить вектор φ, т.е. 
решить систему (1.1.2) относительно вектора решений φ. Из «житейского опыта» и курса линейной алгебры можно ожидать, что 
решение обратной задачи окажется более сложным, чем решение 
прямой задачи. Это действительно так. 
Более компактной записью соотношений (1.1.1) является 
операторная (матричная) форма вида: 

K
f
ϕ =
,  
 
 
 
 
 
 
(1.1.3) 

которую в дальнейшем будем называть операторным уравнением. Оператор K  отображает элемент ϕ  пространства Φ  в элемент f  пространства F. Для (1.1.1) оператор K  является матри
цей, а Ф, F  – векторными пространствами 
M
E
, 
N
E размерности 

M  и N  соответственно.  
 
 
1.1.2. Некорректно поставленные задачи 
Основная трудность решения обратных задач связана с нарушением требований корректности по Адамару. Французский 
математик Ж. Адамар в 1932 г. [84 определил задачу решения 
уравнения (1.1.3) корректно поставленной, если для каждой правой части f
F
∈
 решение φ: 
1) существует; 
2) единственно (однозначно определяется в пространстве 
Ф); 
3) устойчиво в пространстве Ф, т.е. непрерывно зависит от 
правой части f. 
Если первые два условия понятны, то третье необходимо пояснить. Для этого воспользуемся нормами соответствующих про

странств. Условие устойчивости предполагает, что для любого 

0
ε >
 можно указать такое ( )
0
δ ε >
, что из неравенства 

( )
f
f
δ ε
−
≤
ɶ
 следует ϕ
ϕ
ε
−
≤
ɶ
,  
 
 
(1.1.4) 

где ϕɶ  – решение уравнения (1.1.3), соответствующее правой час
ти fɶ . Словами это означает, что малым ошибкам задания правой 
части соответствуют малые ошибки построенного решения. 
Задачи, не удовлетворяющие всем перечисленным выше 
требованиям 1)–3) являются, по Адамару, некорректно поставленными. К таким задачам относится большинство обратных задач, в том числе и  задачи идентификации. 
В качестве такого примера рассмотрим решение плохо обусловленной СЛАУ. Дана система из двух уравнений 

1
5
5

2

1
1
0
.
0
10
10

ϕ

ϕ
−
−
×
=
  
 
 
 
(1.1.5) 

Очевидно, что решением системы является вектор 
1,1

T
ϕ =
, где 

T  – символ транспонирования. «Исказим» точную правую часть 

5
1,10

T
f
−
=
 шумом 
0.01,
0.01

T
η =
−
, среднее значение проек
ций 
которого 
равно 
0. 
Близость 
векторов 
f , 

1.01,
0.00999

T
f
f
η
=
+
=
−
ɶ
 будем определять евклидовой нор
мой 
(
)

1 2
2
2

1

0.014
i
i
i
f
f
f
f

=



−
=
−
=




∑
ɶ
ɶ
. 
Решение 

1.01,
999

T
ϕ =
−
ɶ
, найденное по вектору fɶ , существенно отлича
ется от точного решения ϕ :  
(
)

1 2
2
2

1

1000
i
i
i
ϕ
ϕ
ϕ
ϕ

=



−
=
−
=




∑
ɶ
ɶ
. 

Такая большая ошибка решения обусловлена неустойчивостью 
проекции 
5

2
2 10
f
ϕ
−
= ɶ
ɶ
 к шуму 
2
η . Низкая устойчивость вектора 
решения к погрешностям исходных данных (в том числе к погрешностям задания элементов матрицы K ) является отличи