Компьютерное зрение. Современные методы и перспективы развития

Кэвин П. Мэрфи

Компьютерное зрение.  
Современные методы  
и перспективы развития 

Advanced Methods 
and Deep Learning 
in Computer Vision

Edited by

E.R. Davies
Matthew A. Turk

Компьютерное зрение. 
Современные методы 
и перспективы развития

Москва, 2022

Редакторы издания

Рой Дэвис
Мэтью Терк

УДК 004.8
ББК 32.81
К63

К63  Компьютерное зрение. Современные методы и перспективы развития / 
ред. Р. Дэвис, М. Терк; пер. с англ. В. С. Яценкова. – М.: ДМК Пресс, 2022. – 
690 с.: ил. 

ISBN 978-5-93700-148-1

Эта книга рассказывает о передовых методах компьютерного зрения. Показано, 
как искусственный интеллект обнаруживает признаки и объекты, на каких данных 
он обучается, на чем основано распознавание лиц и действий, отслеживание аномалий. Особое внимание уделяется методам глубокого обучения. Все ключевые 
принципы проиллюстрированы примерами из реальной практики.
Книга адресована исследователям и практикам в области передовых методов 
компьютерного зрения, а также тем, кто изучает эту технологию самостоятельно 
или в рамках вузовского курса.

УДК 004.8
ББК 32.81

This Russian edition of Advanced Methods and Deep Learning in Computer Vision 
(9780128221099) by E.R. Davies and Matthew Turk is published by arrangement with Elsevier Inc.

Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.

ISBN 978-0-12-822109-9 (англ.)  
©  Elsevier Inc., 2022
ISBN 978-5-93700-148-1 (рус.)  
©  Перевод, оформление, издание,  
ДМК Пресс, 2022

Посвящаю эту книгу моей семье.
Светлой памяти моих родителей, Артура и Мэри Дэвис.  
Моей жене Джоан за любовь, терпение, поддержку и вдохновение.
Моим детям Элизабет, Саре и Марион и внукам Джасперу, Джерому, Еве, 
Таре и Пиа за то, что принесли бесконечную радость в мою жизнь!
— Рой Дэвис

Эта книга посвящается студентам, коллегам, друзьям и членам семьи,  
которые мотивировали, направляли и поддерживали меня разными  
способами, – всех невозможно перечислить поименно.
Моей жене Келли и детям Ханне и Мэтту – особая благодарность  
и признательность за вашу любовь и вдохновение.
— Мэтью Терк

Содержание

От издательства ....................................................................................................17

Список соавторов ................................................................................................18

О редакторах .........................................................................................................20

Предисловие ..........................................................................................................21

Глава 1. Кардинальные перемены в области  
компьютерного зрения .....................................................................................27
1.1. Введение. Компьютерное зрение и его история ............................................27
1.2. Часть A. Обзор операторов низкоуровневой обработки изображений ......31
1.2.1. Основы обнаружения краев .......................................................................31
1.2.2. Оператор Кэнни ...........................................................................................33
1.2.3. Обнаружение сегмента линии ...................................................................34
1.2.4. Оптимизация чувствительности обнаружения ......................................35
1.2.5. Работа с изменениями интенсивности фона ..........................................37
1.2.6. Теория, сочетающая согласованный фильтр и конструкции  
с нулевым средним ................................................................................................37
1.2.7. Структура маски (дополнительные соображения)..................................38
1.2.8. Обнаружение угла ........................................................................................40
1.2.9. Оператор «особой точки» Харриса ................................................................41
1.3. Часть B. Локализация и распознавание двухмерных объектов ...................43
1.3.1. Подход к анализу формы на основе центроидного профиля ...............43
1.3.2. Схемы обнаружения объектов на основе преобразования Хафа .........46
1.3.3. Применение преобразования Хафа для обнаружения линий ..............50
1.3.4. Использование RANSAC для обнаружения линий ..................................51
1.3.5. Теоретико-графовый подход к определению положения объекта ......54
1.3.6. Использование обобщенного преобразования Хафа для экономии 
вычислений ............................................................................................................57
1.3.7. Подходы на основе частей ..........................................................................59
1.4. Часть C. Расположение трехмерных объектов и важность  
неизменности .............................................................................................................60
1.4.1. Введение в трехмерное зрение ..................................................................60
1.4.2. Неоднозначность положения при перспективной проекции ...............64
1.4.3. Инварианты как помощь в трехмерном распознавании ......................68
1.4.4. Кросс-коэффициенты: концепция «отношения коэффициентов» ......69
1.4.5. Инварианты для неколлинеарных точек .................................................71
1.4.6. Обнаружение точки схода ..........................................................................73
1.4.7. Подробнее о точках схода ...........................................................................75
1.4.8. Промежуточный итог: значение инвариантов .......................................76
1.4.9. Преобразование изображения для калибровки камеры .......................77
1.4.10. Калибровка камеры ...................................................................................80

Содержание  7

1.4.11. Внутренние и внешние параметры ........................................................82
1.4.12. Многоракурсное зрение ...........................................................................83
1.4.13. Обобщенная геометрия стереозрения ...................................................84
1.4.14. Существенная матрица .............................................................................85
1.4.15. Фундаментальная матрица ......................................................................87
1.4.16. Свойства существенной и фундаментальной матриц .........................88
1.4.17. Расчет фундаментальной матрицы .........................................................88
1.4.18. Усовершенствованные методы триангуляции ......................................89
1.4.19. Достижения и ограничения многоракурсного зрения ........................90
1.5. Часть D. Отслеживание движущихся объектов ...............................................90
1.5.1. Основные принципы отслеживания .........................................................90
1.5.2. Альтернативы вычитанию фона ...............................................................94
1.6. Часть E. Анализ текстур ......................................................................................98
1.6.1. Введение ........................................................................................................98
1.6.2. Основные подходы к анализу текстур ......................................................99
1.6.3. Метод Лоуза на основе энергии текстуры ..............................................101
1.6.4. Метод собственного фильтра Аде ...........................................................103
1.6.5. Сравнение методов Лоуза и Аде ..............................................................105
1.6.6. Последние разработки ..............................................................................106
1.7. Часть F. От искусственных нейронных сетей к методам глубокого 
обучения ....................................................................................................................106
1.7.1. Введение: как ИНС превратились в СНС ................................................106
1.7.2. Параметры, определяющие архитектуру CNN ......................................109
1.7.3. Архитектура сети AlexNet .........................................................................110
1.7.4. Архитектура сети VGGNet Симоняна и Зиссермана .............................113
1.7.5. Архитектура DeconvNet .............................................................................116
1.7.6. Архитектура SegNet ...................................................................................118
1.7.7. Применение глубокого обучения для отслеживания объектов ...........120
1.7.8. Применение глубокого обучения в классификации текстур ...............124
1.7.9. Анализ текстур в мире глубокого обучения ...........................................128
1.8. Часть G. Заключение .........................................................................................129
Благодарности ..........................................................................................................130
Литературные источники .......................................................................................130
Об авторе главы ........................................................................................................135

Глава 2. Современные методы робастного обнаружения 
объектов .................................................................................................................137

2.1. Введение .............................................................................................................137
2.2. Предварительные положения .........................................................................139
2.3. R-CNN ..................................................................................................................141
2.3.1. Внутреннее устройство .............................................................................141
2.3.2. Обучение .....................................................................................................142
2.4. Сеть SPP-Net .......................................................................................................142
2.5. Сеть Fast R-CNN .................................................................................................143
2.5.1. Архитектура ................................................................................................144
2.5.2. Пулинг ROI ..................................................................................................144

 Содержание

2.5.3. Многозадачная функция потери .............................................................145
Классификация ................................................................................................145
Регрессия ограничивающей рамки ..............................................................145
2.5.4. Стратегия тонкой настройки ...................................................................146
2.6. Faster R-CNN .......................................................................................................146
2.6.1. Архитектура ................................................................................................147
2.6.2. Сети прогнозирования регионов ............................................................147
2.7. Каскадная R-CNN ...............................................................................................149
2.7.1. Каскадная архитектура R-CNN .................................................................150
2.7.2. Каскадная регрессия ограничивающей рамки ......................................151
2.7.3. Каскадное обнаружение ............................................................................152
2.8. Представление разномасштабных признаков..............................................152
2.8.1. Архитектура МС-CNN ................................................................................154
2.8.1.1. Архитектура.........................................................................................154
2.8.2. Сеть FPN ......................................................................................................155
2.8.2.1. Архитектура.........................................................................................156
2.9. Архитектура YOLO ............................................................................................158
2.10. Сеть SSD ............................................................................................................159
2.10.1. Архитектура ..............................................................................................159
2.10.2. Обучение ...................................................................................................160
2.11. RetinaNet ...........................................................................................................161
2.11.1. Фокальная потеря ....................................................................................161
2.12. Производительность детекторов объектов .................................................162
2.13. Заключение ......................................................................................................163
Литературные источники .......................................................................................164
Об авторах главы ......................................................................................................165

Глава 3. Обучение с ограниченным подкреплением – 
статические и динамические задачи ......................................................167
3.1. Введение .............................................................................................................168
3.2. Контекстно-зависимое активное обучение ..................................................168
3.2.1. Активное обучение ....................................................................................169
3.2.2. Важность контекста активного обучения ..............................................172
3.2.3. Фреймворк контекстно-зависимого активного обучения ..................174
3.2.4. Практическое применение .......................................................................177
3.3. Локализация событий при слабой разметке .................................................180
3.3.1. Архитектура сети .......................................................................................183
3.3.2. k-max множественное обучение ..............................................................183
3.3.3. Сходство совместных действий ...............................................................184
3.3.4. Практическая реализация ........................................................................186
3.4. Семантическая сегментация с использованием слабой разметки ...........189
3.4.1. Слабые метки для классификации категорий .......................................191
3.4.2. Слабые метки для выравнивания признаков ........................................192
3.4.3. Оптимизация сети .....................................................................................194
3.4.4. Получение слабой разметки.....................................................................195
3.4.5. Применения ................................................................................................196
3.4.6. Визуализация выходного пространства .................................................198

Содержание  9

3.5. Обучение с подкреплением со слабой разметкой для динамических  
задач ...........................................................................................................................199
3.5.1. Обучение прогнозированию подцелей ..................................................202
3.5.2. Предварительное обучение с учителем .................................................204
3.5.3. Практическое применение .......................................................................204
3.6. Выводы ................................................................................................................207
Благодарности ..........................................................................................................209
Литературные источники .......................................................................................209
Об авторах главы ......................................................................................................215

Глава 4. Эффективные методы глубокого обучения .......................216

4.1. Сжатие модели ...................................................................................................216
4.1.1. Прореживание параметров ......................................................................217
4.1.2. Низкоранговая факторизация .................................................................220
4.1.3. Квантование ...............................................................................................221
4.1.4. Дистилляция знаний .................................................................................225
4.1.5. Автоматическое сжатие модели ..............................................................226
4.2. Эффективные архитектуры нейронных сетей .............................................230
4.2.1. Стандартный сверточный слой ...............................................................231
4.2.2. Эффективные сверточные слои ...............................................................231
4.2.3. Разработанные вручную эффективные модели CNN ...........................232
4.2.4. Поиск нейронной архитектуры ...............................................................236
4.2.5. Поиск нейронной архитектуры, ориентированной  
на оборудование ..................................................................................................239
4.3. Заключение ........................................................................................................246
Литературные источники .......................................................................................246

Глава 5. Условная генерация изображений и управляемая 
генерация визуальных паттернов ............................................................254

5.1. Введение .............................................................................................................254
5.2. Изучение визуальных паттернов: краткий исторический обзор ..............258
5.3. Классические генеративные модели ..............................................................260
5.4. Глубокие генеративные модели ......................................................................261
5.5. Глубокая условная генерация изображений .................................................266
5.6. Разделенные представления в управляемом синтезе паттернов .............267
5.6.1. Разделение визуального содержания и стиля .......................................267
5.6.2. Разделение структуры и стиля .................................................................274
5.6.3. Разделение личности и атрибутов ..........................................................277
5.7. Заключение.........................................................................................................284
Литературные источники .......................................................................................284

Глава 6. Глубокое распознавание лиц с использованием  
полных и частичных изображений ..........................................................289

6.1. Введение .............................................................................................................289
6.1.1. Модели глубокого обучения .....................................................................291

 Содержание

6.2. Компоненты системы глубокого распознавания лиц .................................297
6.2.1. Пример обученной модели CNN для распознавания лиц ...................298
6.3. Распознавание лиц с использованием полных изображений лица ..........301
6.3.1. Проверка подобия с использованием модели FaceNet ........................303
6.4. Глубокое распознавание неполных изображений лица ..............................304
6.5. Обучение специальной модели для полных и частичных  
изображений лица ...................................................................................................307
6.5.1. Предлагаемая архитектура модели .........................................................309
6.5.2. Фаза обучения модели ..............................................................................309
6.6. Заключение ........................................................................................................310
Литературные источники .......................................................................................312
Об авторе главы ........................................................................................................313

Глава 7. Адаптация домена с использованием неглубоких 
и глубоких нейросетей , обучаемых без учителя ..............................314
7.1. Введение .............................................................................................................314
7.2. Адаптация домена с использованием многообразия ..................................316
7.2.1. Адаптация домена без учителя с использованием произведения 
многообразий .......................................................................................................317
7.3. Адаптация домена без учителя с использованием словарей .....................319
7.3.1. Общий словарь доменной адаптации .....................................................321
7.3.2. Совместная иерархическая адаптация домена и изучение  
признаков .............................................................................................................325
7.3.3. Инкрементное изучение словаря для адаптации предметной  
области без учителя .............................................................................................330
7.4. Адаптация домена с использованием глубоких сетей, обучаемых 
без учителя ................................................................................................................334
7.4.1. Дискриминационные подходы к адаптации предметной области ....335
7.4.2. Генеративные подходы к адаптации домена.........................................338
7.5. Заключение.........................................................................................................346
Литературные источники .......................................................................................346
Об авторах главы ......................................................................................................352

Глава 8. Адаптация домена и непрерывное обучение 
семантической сегментации ........................................................................353
8.1. Введение .............................................................................................................353
8.1.1. Формальная постановка задачи ..............................................................355
8.2. Адаптация домена без учителя .......................................................................356
8.2.1. Формулировка задачи адаптации домена .............................................358
8.2.2. Основные подходы к адаптации .............................................................359
8.2.2.1. Адаптация на входном уровне .........................................................360
8.2.2.2. Адаптация на уровне признаков ......................................................361
8.2.2.3. Адаптация на уровне выхода ............................................................362
8.2.3. Методы адаптации домена без учителя .................................................362
8.2.3.1. Состязательная адаптация домена ..................................................362
8.2.3.2. Генеративная адаптация ...................................................................366