Численные методы линейной алгебры

Численные методы
линейной алгебры

2022

Москва

Учебное пособие

3е издание,
переработанное
и дополненное

Г. С. Шевцов
О. Г. Крюкова
Б. И. Мызникова

Рекомендовано Научнометодическим
советом по математике и механике
Учебнометодического объединения
по классическому университетскому
образованию в качестве учебного пособия
для математических направлений
и специальностей

УДК 512.64(075.8)
ББК 22.143я73
Ш37

Р е ц е н з е н т ы:

др физ.мат. наук, проф. И. Н. Шардаков
(главный науч. сотр. Института механики сплошных сред УрО РАН);
др техн. наук, проф. Н. А. Труфанов
(зав. кафедрой вычислительной математики и механики ПНИПУ)

Шевцов Г. С., Крюкова О. Г., Мызникова Б. И.
Ш37
Численные методы линейной алгебры : учебное пособие. — 3е изд., перераб. и доп. — Москва : Магистр, 2022. —
528 с.
ISBN 9785977604895 (в пер.)
ISBN 9785161093740 (online)
Агентство CIP РГБ

Учебное пособие посвящено важному разделу современной вычислительной математики — численным методам линейной алгебры. В нем содержатся
необходимые теоретические сведения, рассматриваются вопросы обусловленности и устойчивости, приводятся эффективные алгоритмы обращения прямоугольных матриц, решения систем линейных алгебраических уравнений и проблемы собственных значений. Применение численных методов демонстрируется
на подробно разобранных примерах. Отдельный параграф посвящен примерам
применения численных методов в экономических исследованиях.
Для студентов, магистрантов и аспирантов, специализирующихся в области компьютерного моделирования, преподавателей прикладной математики,
а также научных работников и инженеров, занимающихся применением численных методов для решения практических задач.

УДК 512.64(075.8)
ББК 22.143я73

ISBN 9785977604895
© Шевцов Г. С., Крюкова О. Г.
Мызникова Б. И., 2021

Оглавление

Оглавление

Оглавление
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . 7

1. Основные сведения из линейной алгебры . . . . . . . . . . 9
1.1. Первоначальные сведения о матрицах. Действия
с матрицами . . . . . . . . . . . . . . . . . . . . . . 9
1.2. Определители
. . . . . . . . . . . . . . . . . . . . 15
1.3. Крамеровские системы линейных уравнений . . . . . 20
1.4. Обратная матрица 2 . . . . . . . . . . . . . . . . . . 21
1.5. Линейные пространства и их определение
. . . . . . 26
1.6. Линейная зависимость векторов
. . . . . . . . . . . 28
1.7. Ранг матрицы
. . . . . . . . . . . . . . . . . . . . 31
1.8. Базис линейного пространства. Координаты векторов . 35
1.9. Преобразование координат вектора при переходе
от базиса к базису . . . . . . . . . . . . . . . . . . . 38
1.10. Системы линейных уравнений
. . . . . . . . . . . 41
1.11. Линейные подпространства . . . . . . . . . . . . . 48
1.12. Линейные операторы в линейных пространствах
. . 52
1.13. Характеристический и минимальный многочлены . . 58
1.14. Собственные векторы и собственные значения
линейного оператора . . . . . . . . . . . . . . . . . 64
1.15. Операторы простой структуры . . . . . . . . . . . . 68
1.16. Евклидовы пространства
. . . . . . . . . . . . . . 70
1.17. Понятие об унитарном пространстве
. . . . . . . . 83
1.18. Линейные операторы в евклидовом пространстве . . 88
1.19. Линейные операторы в унитарном пространстве . . 102
1.20. Нормы векторов и матриц . . . . . . . . . . . . . 110
1.21. Последовательности матриц и степенные
матричные ряды . . . . . . . . . . . . . . . . . . . 113

3

2. Основные мультипликативные разложения матриц . . . . 118
2.1. Разложение квадратной матрицы на треугольные
множители . . . . . . . . . . . . . . . . . . . . . . 118
2.2. Скелетное разложение матрицы . . . . . . . . . . . 128
2.3. Каноническое (спектральное) разложение матрицы . 133
2.4. QRразложение матрицы
. . . . . . . . . . . . . . 143
2.5. Сингулярное разложение матрицы
. . . . . . . . . 154
2.6. Полярное разложение матрицы . . . . . . . . . . . 172
2.7. QRSразложения матрицы . . . . . . . . . . . . . . 178
Упражнения . . . . . . . . . . . . . . . . . . . . . . 181

3. Обращение прямоугольных матриц . . . . . . . . . . . . 185
Упражнения ` . . . . . . . . . . . . . . . . . . . . . 207

4. Решение систем линейных алгебраических уравнений
. . 209
4.1. Прямые методы решения систем линейных
алгебраических уравнений . . . . . . . . . . . . . . 209
4.1.1. Метод последовательного исключения неизвестных
(метод Гаусса) . . . . . . . . . . . . . . . . . . . . 209
4.1.2. Метод Гаусса с выбором главного элемента
. . . . 217
4.1.3. Метод Холецкого
. . . . . . . . . . . . . . . . . 219
4.1.4. Метод квадратного корня . . . . . . . . . . . . . . 222
4.1.5. Метод прогонки . . . . . . . . . . . . . . . . . . 227
4.1.6. Применение мультипликативных разложений
матриц к решению систем линейных уравнений . . . 232
4.2. Решение систем линейных алгебраических уравнений
методом наименьших квадратов . . . . . . . . . . . 239
4.2.1. Постановка задачи. Решение средствами
математического анализа. . . . . . . . . . . . . . . 239
4.2.2. Применение псевдообратной матрицы к решению
систем линейных уравнений методом наименьших
квадратов
. . . . . . . . . . . . . . . . . . . . . . 264
4.2.3. Применение метода регуляризации к решению
систем линейных уравнений методом наименьших
квадратов
. . . . . . . . . . . . . . . . . . . . . . 273

4

Оглавление

4.2.4. Отыскание нормального псевдорешения системы
линейных уравнений путем решения одной или
двух систем с невырожденными матрицами . . . 276
4.2.5. Применение QRразложения матрицы к решению
системы линейных уравнений методом
наименьших квадратов
. . . . . . . . . . . . . 281
4.2.6. Решение систем линейных уравнений методом
наименьших квадратов, основанным на
представлении матрицы системы
ее сингулярным разложением . . . . . . . . . . 287
4.3. Оценка погрешности решения системы линейных
уравнений . . . . . . . . . . . . . . . . . . . . . . 309
4.4. Итерационные методы решения систем линейных
алгебраических уравнений . . . . . . . . . . . . . . 324
4.4.1. Метод итераций . . . . . . . . . . . . . . . . . 324
4.4.2. Метод Зейделя
. . . . . . . . . . . . . . . . . 334
4.4.3. Преобразование системы линейных уравнений
к виду, удобному для итераций . . . . . . . . . 337
4.4.4. Итерационные методы с чебышевским набором
параметров . . . . . . . . . . . . . . . . . . . 346
4.4.5. Метод минимальных невязок
. . . . . . . . . . 348
4.4.6. Метод минимальных поправок . . . . . . . . . . 350
4.4.7. Метод скорейшего спуска . . . . . . . . . . . . 353
4.5. Общие рекомендации к решению систем
линейных алгебраических уравнений с помощью
компьютера . . . . . . . . . . . . . . . . . . . . . 356
Упражнения . . . . . . . . . . . . . . . . . . . . . . 360

5. Проблема собственных значений и собственных векторов
368
5.1. Общие положения проблемы собственных значений . 368
5.2. Локализация и возмущение собственных значений
. 374
5.3. Развертывание характеристического многочлена
. . 385
5.3.1. Метод Крылова . . . . . . . . . . . . . . . . . . 385
5.3.2. Метод Данилевского
. . . . . . . . . . . . . . 401
5.3.3.Развертывание характеристического многочлена
симметричной матрицы, основанное на переходе
к подобной трехдиагональной матрице
. . . . . 415

5

Оглавление

5.3.4. Метод Леверрье — Фаддеева . . . . . . . . . . . 423
5.3.5. Метод интерполяции . . . . . . . . . . . . . . . 427
5.3.6. Вычисление собственных значений
и собственных векторов матрицы . . . . . . . . 431
5.4. Итерационные методы решения проблемы
собственных значений . . . . . . . . . . . . . . . . 444
5.4.1. Метод итераций . . . . . . . . . . . . . . . . . 444
5.4.2. Метод вращений (Метод Якоби)
. . . . . . . . 452
5.4.3. QRалгоритм
. . . . . . . . . . . . . . . . . . 463
5.4.4. Степенной метод
. . . . . . . . . . . . . . . . 471
5.4.5. Метод скалярных произведений . . . . . . . . . 482
5.5. Уточнение отдельного собственного значения
и принадлежащего ему собственного вектора . . . . . 486
5.5.1. Метод Виландта . . . . . . . . . . . . . . . . . 486
5.5.2. Метод Дерведюэ . . . . . . . . . . . . . . . . . 488
5.5.3. Метод Маянца
. . . . . . . . . . . . . . . . . 490
5.5.4. Метод возмущений . . . . . . . . . . . . . . . .493
5.6. Примеры применения методов линейной алгебры
в экономических исследованиях . . . . . . . . . . . 496
5.6.1. Модель Леонтьева об объемах производства . . . 496
5.6.2. Модель Леонтьева равновесного роста
производства. Темп и траектория Неймана
роста производства . . . . . . . . . . . . . . . 500
5.6.3. Модель равновесных цен
. . . . . . . . . . . . 506
5.6.4. Линейная модель обмена, или модель
международной торговли . . . . . . . . . . . . 512
Упражнения . . . . . . . . . . . . . . . . . . . . . . 517

Библиографический список
. . . . . . . . . . . . . . . . 521

Предметный указатель
. . . . . . . . . . . . . . . . . . 523

Оглавление

Предисловие

Предисловие

Предисловие

В предлагаемом издании учебного пособия материал предыдущего издания сохранен в основном без изменений. Переработке
подвергся п. 5.3.1 о методе Крылова развертывания характеристического определителя матрицы. Этот параграф значительно расширен и дополнен. В него, в частности, включен и подробно изложен материал, касающийся преобразования Крылова. Введен
п. 5.3.6, посвященный вычислению характеристических корней
матрицы путем непосредственного решения ее характеристического уравнения точным или приближенными методами. Кроме
того, для иллюстрации применения методов линейной алгебры в
экономических исследованиях добавлен п. 5.6.
Среди проблем, наиболее важных для исследователя, которому
предстоит заниматься вычислениями, особый интерес представляют проблемы, связанные с численным решением систем линейных
алгебраических уравнений и с отысканием собственных значений
и собственных векторов матриц. Это основной компонент большинства алгоритмов решения задач, непосредственно возникающих на практике и в научных исследованиях, например при решении задач статистического моделирования, задач обработки данных
эксперимента, краевых задач для дифференциальных уравнений
и т.п. В настоящем учебном пособии численному решению систем
линейных алгебраических уравнений и отысканию собственных
значений и собственных векторов посвящены гл. 4 и 5. В п. 4.1 гл. 4
рассматриваются наиболее употребительные в настоящее время
эффективные и надежные методы численного решения совместных систем n линейных уравнений с n неизвестными. Важным, для
приложений, является также численное решение совместных или
несовместных систем линейных уравнений с произвольными
(m × n)матрицами любого (полного или неполного) ранга. Такие
системы естественно решать тем или иным способом из группы
методов наименьших квадратов. Этим методам в предлагаемом пособии посвящен п. 4.2 гл. 4. Наряду с классическим подходом к
численному решению произвольных совместных или несовмест7

ных систем линейных уравнений методом наименьших квадратов,
основанным на решении систем нормальных уравнений, рассматриваются метод регуляризации, методы, основанные на представлении матрицы системы ее QRи сингулярным разложениями, и
другие методы.
Численному решению проблемы собственных значений и собственных векторов в нашем пособии посвящена гл. 5. В ней подробно рассматриваются наиболее эффективные современные надежные методы численного решения этой проблемы, например
метод вращений, QRалгоритм и другие методы.
Для удобства в пособии приведены необходимые сведения из
линейной алгебры, подробно рассмотрены основные мультипликативные разложения матриц, обращение прямоугольных матриц
и лишь после этого рассматриваются решения систем линейных
уравнений точными, итерационными методами, методом наименьших квадратов и решение полной и частичной проблем собственных значений и собственных векторов. Все изучаемые в пособии факты иллюстрируются подробно разобранными примерами.
Вопросы численного решения систем линейных уравнений и
отыскания собственных значений и собственных векторов рассматриваются в данном учебном пособии как с алгоритмической
точки зрения, так и с точки зрения разработки программных
средств решения задач вычислительной математики. Приводимые
ссылки на интернетресурсы и программное обеспечение будут
полезны при реализации конкретных алгоритмов решения систем
линейных уравнений, отыскания собственных значений и собственных векторов.
Пособие рекомендуется студентам, магистрантам и аспирантам механикоматематических, физических, химических, экономических и других специальностей, а также научным работникам
и инженерам, занимающимся решением задач статистического
моделирования и обработкой результатов эксперимента. Оно может служить также основой специального курса по избранным главам линейной алгебры и использоваться в качестве справочника.

Предисловие

Глава 1 
ОСНОВНЫЕ СВЕДЕНИЯ ИЗ ЛИНЕЙНОЙ АЛГЕБРЫ 
1.1. Первоначальные сведения о матрицах. 
Действия с матрицами  
 
 
Прямоугольной или (
×
)
m
n -матрицей называется система 
чисел, расположенных в виде таблицы  

.

n

n

m
m
mn

a
a
a

a
a
a
A

a
a
a

11
12
1

21
22
2

1
2

=

⎛
⎞
⎜
⎟
⎜
⎟
⎜
⎟
⎜
⎟
⎜
⎟
⎝
⎠

…

…

…
… …
…

…

 

Кратко 
матрицу 
A 
записывают 
в 
виде 
,
i j
A
a
= (
)  

i
m
=1, 2, …,
;  j
n
= 1, 2,…,
. Числа aij, составляющие данную 
матрицу, называют ее элементами. Первый индекс у элемента 
указывает номер строки, а второй — номер столбца, на пересечении которых находится этот элемент.  
Матрицу называют комплексной, если хотя бы один ее элемент является комплексным (невещественным) числом, и действительной (вещественной), если все ее элементы — действительные (вещественные) числа.  
Две матрицы одинакового размера m
n
×
 считают равными, 
если попарно равны их соответствующие элементы, т.е. элементы, стоящие на одинаковых местах в этих матрицах.  
Матрицу, состоящую из одной строки или одного столбца, 
называют 
соответственно 
вектор-строкой 
или 
векторстолбцом. Элементы векторов называют их компонентами. 
Матрица, состоящая из одного числа, отождествляется с этим 
числом. Матрица, состоящая из нулей, называется нулевой и 
обозначается через 0. Если число m  строк матрицы равно числу 
n ее столбцов, то матрицу называют квадратной порядка n. 
Диагональ квадратной матрицы, соединяющую левый верхний 
угол с правым нижним, называют главной.  

Глава первая. Основные сведения из линейной алгебры 

_ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _  

 
10

Квадратные матрицы, у которых отличны от нуля лишь элементы главной диагонали, называют диагональными.  
 
Диагональная матрица, у которой все элементы по главной 
диагонали одинаковые, называется скалярной. Частным случаем скалярных матриц является единичная матрица  

E

1

=
1

⎛
⎞
⎜
⎟ .
⎜
⎟
⎜
⎟
⎝
⎠



Матрицу, полученную из данной матрицы A заменой в ней 
строк соответствующими столбцами, называют транспонированной к A и обозначают через A′  или AT. Если A – m
n
(
×
)
матрица, то A Τ  – n
m
(
×
)-матрица. В частности, если A — век
тор-строка, то A Τ  — вектор-столбец и наоборот.  
Матрицу A называют симметричной, если A = AT; матрицу 

A — комплексно сопряженной к матрице A, если она получена из A заменой в ней элементов на комплексно сопряженные; матрицу A∗  — эрмитово-сопряженной, или сопряженной к матрице A, если она получена из A заменой элементов 
комплексно сопряженными и транспонированием, т.е. если 

A
Α
Τ
∗ =
. Для действительной матрицы A всегда A
A Τ
∗ =
.  
Квадратная матрица A называется эрмитовой, если A
A
∗ =
.  
Элементы симметричной матрицы 
i j
A
a
= (
)  удовлетворяют 

условиям 
i j
ji
a
a
=
. Элементы эрмитовой матрицы 
i j
A
a
= (
)  

удовлетворяют условиям 
i j
ji
a
a
=
. Элементы 
ii
a  главной диа
гонали эрмитовой матрицы являются действительными числа
ми, поскольку 
ii
ii
a
a
=
.  

Суммой матриц 
i j
A
a
= (
)  и 
i j
B
b
= (
) одинакового размера 

m
n
×
 называется матрица 
i j
C
c
= (
)  того же размера, элементы 

которой равны суммам 
i j
i j
a
b
+
 соответствующих элементов 

слагаемых матриц. Таким образом,