Прикладная линейная алгебра для исследователей данных. От ключевых концепций до приложений с использованием Python

Майк Икс Коэн
Прикладная линейная алгебра  
для исследователей данных

Mike X Cohen
Practical  
Linear Algebra 
for Data Science 
From Core Concepts  
to Applications Using Python
Beijing · Boston · Farnham · Sebastopol · Tokyo

Майк Икс Коэн
Прикладная  
линейная алгебра  
для исследователей 
данных
От ключевых концепций  
до приложений с использованием Python

УДК	 512.64
ББК 22.143
К76
Коэн M. И.
К76 	 Прикладная линейная алгебра для исследователей данных / пер. с англ. 
А. В. Логунова. – М.: ДМК Пресс, 2023. – 328 с.: ил. 
ISBN 978-6-01798-945-3
В этой книге рассказывается о ключевых концепциях линейной алгебры, реализованных на Python, и о том, как их использовать в науке о данных, машинном 
и глубоком обучении и вычислительном моделировании. Рассматриваются интерпретации и приложения векторов и матриц, матричная арифметика, важные 
разложения, используемые в прикладной линейной алгебре, и пр. Прочитав книгу, 
вы научитесь внедрять и адаптировать под свои задачи целый ряд современных 
методов анализа и алгоритмов.
Издание адресовано специалистам по обработке данных, а также будет полезно 
студентам и широкому кругу разработчиков ПО.
УДК  512.64
ББК  22.143
Authorized Russian translation of the English edition of Practical Linear Algebra for Data 
Science ISBN 9781098120610 © 2022 Syncxpress BV. This translation is published and sold by 
permission of O’Reilly Media, Inc., which owns or controls all rights to publish and sell the same.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
ISBN 978-1-098-12061-0 (англ.) 	
©  2022 Syncxpress BV
ISBN 978-6-01798-945-3 (каз.) 	
©  Перевод, оформление, издание,  
Books.kz, 2023

Содержание
От издательства.....................................................................................................12
Об авторе..................................................................................................................13
Колофон....................................................................................................................14
Предисловие...........................................................................................................15
Глава 1. Введение ................................................................................................17
Что такое линейная алгебра и зачем ее изучать?..................................................17
Об этой книге...............................................................................................................18
Предварительные требования..................................................................................19
Математика.............................................................................................................19
Отношение...............................................................................................................19
Программирование................................................................................................20
Математические доказательства в противовес интуитивному  
пониманию на основе программирования............................................................20
Рабочий код в книге и предназначенный для скачивания онлайн....................22
Упражнения по программированию.......................................................................22
Как пользоваться этой книгой (для учителей и самообучающихся)..................23
Глава 2. Векторы. Часть 1.................................................................................24
Создание и визуализация векторов в NumPy.........................................................24
Геометрия векторов................................................................................................27
Операции на векторах................................................................................................28
Сложение двух векторов........................................................................................28
Вычитание двух векторов......................................................................................29
Геометрия сложения и вычитания векторов......................................................30
Умножение вектора на скаляр..............................................................................31
Сложение скаляра с вектором...............................................................................32
Геометрия умножения вектора на скаляр...........................................................32

6    Содержание
Транспонирование.................................................................................................33
Транслирование векторов в Python.....................................................................34
Модуль вектора и единичные векторы....................................................................35
Точечное произведение векторов............................................................................36
Точечное произведение является дистрибутивным.........................................38
Геометрия точечного произведения....................................................................39
Другие умножения векторов.....................................................................................40
Адамарово умножение...........................................................................................40
Внешнее произведение..........................................................................................41
Перекрестное и тройное произведения..............................................................42
Ортогональное разложение векторов......................................................................42
Резюме..........................................................................................................................46
Упражнения по программированию.......................................................................46
Глава 3. Векторы. Часть 2.................................................................................49
Множества векторов...................................................................................................49
Линейно-взвешенная комбинация..........................................................................50
Линейная независимость..........................................................................................51
Математика линейной независимости...............................................................53
Независимость и вектор нулей.............................................................................54
Подпространство и охват...........................................................................................54
Базис.............................................................................................................................57
Определение базиса...............................................................................................60
Резюме..........................................................................................................................61
Упражнения по программированию.......................................................................62
Глава 4. Применения векторов......................................................................64
Корреляция и косинусное сходство.........................................................................64
Фильтрация временных рядов и обнаружение признаков..................................67
Кластеризация методом k-средних.........................................................................68
Упражнения по программированию.......................................................................71
Упражнения по корреляции..................................................................................71
Упражнения по фильтрации и обнаружению признаков.................................73
Упражнения по алгоритму k-средних.................................................................75
Глава 5. Матрицы. Часть 1................................................................................76
Создание и визуализация матриц в NumPy............................................................76
Визуализация, индексация и нарезка матриц...................................................76
Специальные матрицы..........................................................................................78
Матричная математика: сложение, умножение на скаляр, адамарово 
умножение...................................................................................................................80
Сложение и вычитание..........................................................................................80
«Сдвиг» матрицы....................................................................................................81

Содержание    7
Умножение на скаляр и адамарово умножение.................................................82
Стандартное умножение матриц..............................................................................82
Правила допустимости умножения матриц.......................................................83
Умножение матриц.................................................................................................84
Умножение матрицы на вектор............................................................................85
Линейно-взвешенные комбинации................................................................86
Результаты геометрических преобразований...............................................86
Матричные операции: транспонирование.............................................................88
Обозначение точечного и внешнего произведений.........................................88
Матричные операции: LIVE EVIL (порядок следования операций)....................89
Симметричные матрицы...........................................................................................89
Создание симметричных матриц из несимметричных...................................90
Резюме..........................................................................................................................91
Упражнения по программированию.......................................................................92
Глава 6. Матрицы. Часть 2................................................................................97
Нормы матриц.............................................................................................................97
След матрицы и норма Фробениуса....................................................................99
Пространства матрицы (столбцовое, строчное, нуль-пространство)...............100
Столбцовое пространство....................................................................................100
Строчное пространство.......................................................................................104
Нуль-пространства...............................................................................................104
Ранг.............................................................................................................................108
Ранги специальных матриц................................................................................110
Ранг сложенных и умноженных матриц...........................................................112
Ранг сдвинутых матриц.......................................................................................113
Теория и практика................................................................................................113
Применения ранга....................................................................................................114
В столбцовом пространстве................................................................................115
Линейная независимость множества векторов...............................................116
Определитель............................................................................................................117
Вычисление определителя..................................................................................117
Определитель с линейными зависимостями...................................................119
Характеристический многочлен........................................................................119
Резюме........................................................................................................................121
Упражнения по программированию.....................................................................123
Глава 7. Применения матриц........................................................................128
Матрицы ковариаций многопеременных данных..............................................128
Геометрические преобразования посредством умножения матриц  
на векторы..................................................................................................................131
Обнаружение признаков изображения.................................................................135
Резюме........................................................................................................................138
Упражнения по программированию.....................................................................138

8    Содержание
Упражнения по матрицам ковариаций и корреляций...................................138
Упражнения по геометрическим преобразованиям.......................................140
Упражнения по обнаружению признаков изображения................................142
Глава 8. Обратные матрицы..........................................................................144
Обратная матрица....................................................................................................144
Типы обратных матриц и условия обратимости.................................................145
Вычисление обратной матрицы.............................................................................146
Обратная матрица матрицы 2×2........................................................................146
Обратная матрица диагональной матрицы.....................................................148
Инвертирование любой квадратной полноранговой матрицы....................149
Односторонние обратные матрицы..................................................................151
Уникальность обратной матрицы..........................................................................153
Псевдообратная матрица Мура–Пенроуза...........................................................154
Численная стабильность обратной матрицы.......................................................155
Геометрическая интерпретация обратной матрицы..........................................156
Резюме........................................................................................................................158
Упражнения по программированию.....................................................................158
Глава 9. Ортогональные матрицы и QR-разложение.......................162
Ортогональные матрицы.........................................................................................162
Процедура Грама–Шмидта......................................................................................164
QR-разложение..........................................................................................................165
Размеры матриц Q и R.........................................................................................166
Почему матрица R является верхнетреугольной.........................................168
QR и обратные матрицы......................................................................................169
Резюме........................................................................................................................169
Упражнения по программированию.....................................................................170
Глава 10. Приведение строк и LU-разложение...................................174
Системы уравнений..................................................................................................174
Конвертирование уравнений в матрицы..........................................................175
Работа с матричными уравнениями..................................................................176
Приведение строк.....................................................................................................178
Метод устранения по Гауссу................................................................................180
Метод устранения по Гауссу–Жордану..............................................................181
Обратная матрица посредством метода устранения  
по Гауссу–Жордану...............................................................................................182
LU-разложение..........................................................................................................183
Взаимообмен строками посредством матриц перестановок........................185
Резюме........................................................................................................................186
Упражнения по программированию.....................................................................186

Содержание    9
Глава 11. Общие линейные модели и наименьшие  
квадраты.................................................................................................................189
Общие линейные модели.........................................................................................190
Терминология........................................................................................................190
Настройка общей линейной модели..................................................................190
Решение общих линейных моделей.......................................................................192
Является ли решение точным?...........................................................................193
Геометрическая перспектива наименьших квадратов...................................194
В чем причина работы метода наименьших квадратов?...............................195
Общая линейная модель на простом примере.....................................................197
Наименьшие квадраты посредством QR-разложения........................................201
Резюме........................................................................................................................202
Упражнения по программированию.....................................................................203
Глава 12. Применения метода наименьших квадратов.................207
Предсказывание количеств велопрокатов на основе погоды............................207
Регрессионная таблица с использованием библиотеки statsmodels............212
Мультиколлинеарность........................................................................................213
Регуляризация.......................................................................................................213
Полиномиальная регрессия.....................................................................................215
Поиск в параметрической решетке для отыскания модельных  
параметров................................................................................................................218
Резюме........................................................................................................................220
Упражнения по программированию.....................................................................221
Упражнения по аренде велосипедов.................................................................221
Упражнения по мультиколлинеарности...........................................................222
Упражнения по регуляризации..........................................................................223
Упражнение по полиномиальной регрессии....................................................224
Упражнения по поиску в параметрической решетке.....................................225
Глава 13. Собственное разложение...........................................................227
Интерпретации собственных чисел и собственных векторов...........................228
Геометрия...............................................................................................................228
Статистика (анализ главных компонент).........................................................229
Подавление шума.................................................................................................230
Уменьшение размерности (сжатие данных).....................................................231
Отыскание собственных чисел...............................................................................231
Отыскание собственных векторов.........................................................................234
Неопределенность собственных векторов по знаку и шкале........................235
Диагонализация квадратной матрицы.................................................................236
Особая удивительность симметричных матриц..................................................238
Ортогональные собственные векторы...................................................................238
Действительно-значные собственные числа...................................................240

10    Содержание
Собственное разложение сингулярных матриц...................................................241
Квадратичная форма, определенность и собственные числа............................243
Квадратичная форма матрицы...........................................................................243
Определенность ...................................................................................................245
ATA является положительной (полу)определенной.........................................245
Обобщенное собственное разложение..................................................................246
Резюме........................................................................................................................248
Упражнения по программированию.....................................................................249
Глава 14. Сингулярное разложение..........................................................254
Общая картина сингулярного разложения...........................................................254
Сингулярные числа и ранг матрицы..................................................................256
Сингулярное разложение на Python......................................................................256
Сингулярное разложение и одноранговые «слои» матрицы..............................257
Сингулярное разложение из собственного разложения.....................................259
Сингулярное разложение матрицы АТА............................................................260
Конвертация сингулярных чисел в дисперсию: объяснение.........................260
Кондиционное число............................................................................................261
Сингулярное разложение и псевдообратная матрица Mура–Пенроуза...........262
Резюме........................................................................................................................263
Упражнения по программированию.....................................................................264
Глава 15. Применения собственного и сингулярного  
разложений...........................................................................................................268
Анализ главных компонент с использованием собственного  
и сингулярного разложений....................................................................................268
Математика анализа главных компонент........................................................269
Шаги выполнения PCA.........................................................................................271
PCA посредством сингулярного разложения....................................................272
Линейный дискриминантный анализ...................................................................273
Низкоранговая аппроксимация посредством сингулярного разложения.......275
Сингулярное разложение для шумоподавления..............................................276
Резюме........................................................................................................................276
Упражнения...............................................................................................................277
Анализ главных компонент (PCA)......................................................................277
Линейный дискриминантный анализ (LDA)....................................................281
Сингулярное разложение для низкоранговых аппроксимаций....................285
Сингулярное разложение для шумоподавления в изображениях................287
Глава 16. Краткое руководство по языку Python...............................291
Почему Python и какие есть альтернативы?.........................................................291
Интерактивные среды разработки.........................................................................292
Использование Python локально и онлайн...........................................................292