Машинное зрение. Основы и алгоритмы с примерами на Matlab

Питер Корк
Машинное зрение
Основы и алгоритмы  
с примерами на Matlab

Peter Corke
Robotic Vision
Fundamental Algorithms  
in MATLAB®

Москва, 2023
Питер Корк
Машинное зрение
Основы и алгоритмы  
с примерами на Matlab

УДК 004.93
ББК 32.972
К66
Корк П.
К66 
Машинное зрение. Основы и алгоритмы с примерами на Matlab / пер. с англ. 
В. C. Яценкова. – М.: ДМК Пресс, 2023. – 584 с.: ил. 
ISBN 978-5-93700-222-8
В этой книге теоретические основы компьютерного зрения подкреплены многочисленными примерами с использованием специализированного пакета инструментов 
для MATLAB. Читатель ознакомится с ключевыми понятиями зрения роботов, такими 
как моделирование камеры, обработка изображений, выделение признаков и многоракурсная геометрия, и узнает, как решать сложные задачи из этой области при помощи мощных численных инструментов и эффективного программного обеспечения.
Издание адресовано исследователям в области робототехники,  инженерам и студентам. Предполагается, что читатель владеет навыками работы с MATLAB, а также 
знаниями в области геометрии и векторной алгебры.
УДК  004.93
ББК  32.972
First published in English under the title Robotic Vision. Fundamental Algorithms in MATLAB 
by Peter Corke.
This edition has been translated and published under licence from Springer Nature Switzerland 
AG. Springer Nature Switzerland AG takes no responsibility and shall not be made liable for the 
accuracy of the translation.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой 
бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.
ISBN 978-3-030-79174-2 (англ.) 
©  Springer Nature Switzerland AG 2022
ISBN 978-5-93700-222-8 (рус.) 
©  Перевод, оформление, издание, ДМК Пресс, 2023

Моей семье – Филиппе, Люси и Мадлен –  
за их снисходительность и поддержку;  
моим родителям Маргарет и Дэвиду за то,  
что разожгли мое любопытство;  
и Лу Полу, заронившему семя,  
из которого выросла эта книга.

Содержание
Вступительное слово редакторов...................................................................... 11
Вступительное слово ко второму изданию...................................................... 12
Предисловие............................................................................................................. 14
Примечание ко второму изданию....................................................................... 21
Специальные обозначения.................................................................................... 23
1	
Введение............................................................................................................... 29
1.1	
О книге......................................................................................................... 42
1.1.1	 Программное обеспечение MATLAB и наборы 
инструментов.................................................................................. 43
1.1.2	 Условные обозначения, соглашения и структура книги....... 45
1.1.3	 Целевая аудитория......................................................................... 46
1.1.4	 Обучение с по-мощью книги........................................................ 47
1.1.5	 Преподавание с по-мощью книги............................................... 48
1.1.6	 Структура книги............................................................................. 49
Дополнительное чтение........................................................................... 50
Часть I	
Основы............................................................................................ 51
2	
Представление позиции и ориентации.................................................. 53
2.1	
Работа в двух измерениях (2D)............................................................... 60
2.1.1	 Ориентация в двух измерениях.................................................. 61
2.1.2	 Положение в двух измерениях.................................................... 66
2.2	
Работа в трех измерениях (3D)............................................................... 73
2.2.1	 Ориентация в трех измерениях.................................................. 74
2.2.2	 Положение в трех измерениях.................................................... 94
2.3	
Дополнительные темы............................................................................100
2.3.1	 Нормализация................................................................................100
2.3.2	 Понятие экспоненциального отображения............................101
2.3.3	 Подробнее о кручениях................................................................103
2.3.4	 Производная положения.............................................................107
2.3.5	 Преобразование пространственных скоростей.....................109
2.3.6	 Вращение, задаваемое в приращениях...................................111
2.3.7	 Движение твердого тела, задаваемое в приращениях.........113
2.4	
Использование Toolbox...........................................................................114
2.5	
Подведение итогов...................................................................................117
Дополнительное чтение..........................................................................120
Упражнения................................................................................................121

Содержание  7
Часть II	
Компьютерное зрение............................................................123
3	
Свет и цвет..........................................................................................................125
3.1	
Спектральное представление света.....................................................125
3.1.1	 Поглощение....................................................................................129
3.1.2	 Отражение.......................................................................................130
3.1.3	 Яркость.............................................................................................131
3.2	
Цвет..............................................................................................................132
3.2.1	 Человеческий глаз.........................................................................133
3.2.2	 Измерение цвета...........................................................................136
3.2.3	 Воспроизведение цветов.............................................................138
3.2.4	 Цветовое пространство................................................................142
3.2.5	 Названия цветов............................................................................147
3.2.6	 Другие цветовые и хроматические пространства.................148
3.2.7	 Преобразование между различными основными  
цветами............................................................................................152
3.2.8	 Что такое белый цвет?..................................................................155
3.3	
Дополнительные темы............................................................................155
3.3.1	 Цветовая температура..................................................................156
3.3.2	 Постоянство цвета.........................................................................157
3.3.3	 Баланс белого.................................................................................157
3.3.4	 Изменение цвета из-за поглощения........................................159
3.3.5	 Двухцветное отражение...............................................................160
3.3.6	 Гамма................................................................................................162
3.4	
Применение: цветное изображение....................................................164
3.4.1	 Сравнение цветовых пространств [examples/colorspaces].....164
3.4.2	 Удаление теней [examples/shadow]............................................166
3.5	
Подведение итогов...................................................................................168
Дополнительное чтение..........................................................................169
Источники данных...................................................................................171
Упражнения................................................................................................172
4	
Изображения и их обработка....................................................................174
4.1	
Получение изображения.........................................................................175
4.1.1	 Изображения из файлов..............................................................175
4.1.2	 Изображения с подключенной камеры...................................181
4.1.3	 Изображения из видеофайла......................................................185
4.1.4	 Изображения из интернета.........................................................186
4.1.5	 Изображения с карт......................................................................187
4.1.6	 Изображения из кода....................................................................188
4.2	
Гистограммы изображений....................................................................190
4.3	
Монадические операции........................................................................192
4.4	
Диадические операции...........................................................................195
4.5	
Пространственные операции................................................................200
4.5.1	 Линейная пространственная фильтрация..............................201
4.5.2	 Сравнение с шаблоном................................................................216

8  Содержание
4.5.3	 Нелинейные операции.................................................................223
4.6	
Математическая морфология................................................................225
4.6.1	 Удаление шума...............................................................................229
4.6.2	 Обнаружение границы.................................................................231
4.6.3	 Преобразование «попадание или промах».............................232
4.6.4	 Преобразование расстояния [examples/chamfer_match.m]....233
4.7	
Изменение формы....................................................................................235
4.7.1	 Обрезка............................................................................................235
4.7.2	 Изменение размера изображения.............................................236
4.7.3	 Пирамиды изображений.............................................................238
4.7.4	 Деформация изображения..........................................................239
4.8	
Подведение итогов...................................................................................243
Дополнительное чтение..........................................................................245
Источники изображений........................................................................246
Примечания к MATLAB............................................................................247
Программные инструменты общего назначения.............................247
Упражнения................................................................................................248
5	
Извлечение признаков изображения.....................................................251
5.1	
Получение признаков из области.........................................................252
5.1.1	 Классификация..............................................................................254
5.1.2	 Оформление...................................................................................266
5.1.3	 Описание.........................................................................................270
5.1.4	 Промежуточный итог...................................................................285
5.2	
Признаки, извлекаемые из линий........................................................287
5.2.1	 Промежуточный итог...................................................................293
5.3	
Признаки, извлекаемые из точек.........................................................294
5.3.1	 Классические детекторы углов..................................................294
5.3.2	 Угловые детекторы в масштабируемом пространстве........301
5.4	
Подведение итогов...................................................................................308
Примечания к MATLAB............................................................................309
Дополнительное чтение..........................................................................310
Упражнения................................................................................................314
Часть III	
Геометрия зрения......................................................................317
6	
Формирование изображения.....................................................................319
6.1	
Перспективная камера............................................................................320
6.1.1	 Перспективная проекция............................................................320
6.1.2	 Моделирование перспективной камеры.................................324
6.1.3	 Дискретная плоскость изображения........................................326
6.1.4	 Матрица камеры............................................................................328
6.1.5	 Точки проекции.............................................................................331
6.1.6	 Дисторсия объектива....................................................................334
6.2	
Калибровка камеры..................................................................................336

Содержание  9
6.2.1	 Метод гомогенного преобразования........................................337
6.2.2	 Разложение калибровочной матрицы камеры......................340
6.2.3	 Вычисление положения...............................................................341
6.2.4	 Инструменты для калибровки камеры....................................343
6.3	
Изображения с широким полем зрения.............................................345
6.3.1	 Камера с объективом «рыбий глаз»..........................................346
6.3.2	 Катадиоптрическая камера........................................................349
6.3.3	 Сферическая камера.....................................................................352
6.4	
Унифицированная модель формирования изображений..............354
6.4.1	 Сопоставление широкоугольных изображений  
со сферой.........................................................................................356
6.4.2	 Преобразование сферического изображения 
в перспективное............................................................................358
6.5	
Новые типы камер....................................................................................360
6.5.1	 Многокамерные массивы............................................................360
6.5.2	 Камеры светового поля................................................................361
6.6	
Дополнительные темы............................................................................364
6.6.1	 Проецирование произвольных линий в трехмерном 
пространстве..................................................................................364
6.6.2	 Неперспективные камеры..........................................................366
6.6.3	 Камера и движение изображения.............................................368
6.7	
Подведение итогов...................................................................................375
Дополнительное чтение и ресурсы......................................................377
Примечания к инструментам................................................................379
Упражнения................................................................................................380
7	
Использование нескольких изображений...........................................382
7.1	
Cовмещение признаков..........................................................................384
7.2	
Геометрия нескольких ракурсов...........................................................390
7.2.1	 Фундаментальная матрица.........................................................393
7.2.2	 Существенная матрица................................................................396
7.2.3	 Вычисление фундаментальной матрицы по данным 
реального изображения...............................................................398
7.2.4	 Планарная гомография................................................................404
7.3	
Стереозрение.............................................................................................411
7.3.1	 Разреженное стереозрение.........................................................411
7.3.2	 Плотное стереосопоставление...................................................416
7.3.3	 Уточнение пика..............................................................................426
7.3.4	 Очистка и реконструкция............................................................427
7.3.5	 Отображение 3D-текстуры..........................................................432
7.3.6	 Анаглифы........................................................................................433
7.3.7	 Исправление изображения.........................................................435
7.4	
Пакетная подстройка...............................................................................437
7.5	
Облака точек..............................................................................................447
7.5.1	 Поиск плоскости............................................................................447
7.5.2	 Сопоставление двух наборов точек..........................................449

10  Содержание
7.6	
Структурированный свет........................................................................453
7.7	
Приложения...............................................................................................455
7.7.1	 Коррекция перспективы..............................................................455
7.7.2	 Мозаика [examples/mosaic]..........................................................459
7.7.3	 Сопоставление и поиск изображений [examples/retrieval]....463
7.7.4	 Визуальная одометрия [examples/vodemo].............................471
7.8	
Подведение итогов...................................................................................476
Примечания к MATLAB и Toolbox.........................................................477
Дополнительное чтение..........................................................................478
Дополнительные ресурсы.......................................................................484
Упражнения................................................................................................486
Приложения........................................................................................................493
A	
Установка наборов инструментов............................................................495
B	
Линейная алгебра: краткое повторение...............................................499
B.1	
Векторы.......................................................................................................499
B.2	
Матрицы.....................................................................................................501
С	
Геометрия............................................................................................................509
C.1	
Евклидова геометрия...............................................................................509
C.2	
Однородные координаты.......................................................................522
C.3	
Геометрические преобразования.........................................................526
D	
Группы и алгебра Ли.......................................................................................530
E	
Линеаризация, якобианы и гессианы.....................................................537
F	
Решение систем уравнений.........................................................................543
F.1	
Линейные задачи......................................................................................543
F.2	
Нелинейные задачи.................................................................................545
G	
Графы.....................................................................................................................555
H	
Определение пика...........................................................................................559
Литература...........................................................................................................564
Предметный указатель.......................................................................................579