Цифровые манипуляции с лицами и их обнаружение. От дипфейков до морфинг-атак

Кристиан Ратгеб, Рубен Толосана,  
Рубен Вера-Родригес, Кристоф Буш  
(редакторы)
Цифровые манипуляции с лицами  
и их обнаружение  

Christian Rathgeb, Ruben Tolosana,  
Ruben Vera-Rodriguez, Christoph Busch Editors
Handbook of Digital  
Face Manipulation  
and Detection
From DeepFakes to Morphing Attacks

Кристиан Ратгеб, Рубен Толосана,  
Рубен Вера-Родригес, Кристоф Буш 
(редакторы)
Цифровые 
манипуляции с лицами 
и их обнаружение 
От дипфейков до морфинг-атак
Последние достижения
Москва, 2023

УДК	 004.8
ББК 32.81
Р25
Ратгеб К., Толосана Р., Вера-Родригес Р., Буш К. (ред.)
Р25 	 Цифровые манипуляции с лицами и их обнаружение  / пер. с англ. И. Л. Люско. – М.: ДМК Пресс, 2023. – 542 с.: ил. 
ISBN 978-5-93700-257-0
Книга представляет собой всеобъемлющий справочник, посвященный актуальной теме цифровых манипуляций с лицами, таких как DeepFake (дипфейк), Face 
Morphing (морфинг лица), Reenactment (реконструкция лица) и др. 
Рассмотрены различные методы обнаружения дипфейков – анализ спектрограмм, анализ несоответствия аудио и видео, использование сверточных нейронных сетей. Приведены примеры состязательных атак на системы распознавания 
лиц. Описаны методы обнаружения морфинговых атак лица.
Издание предназначено специалистам по обработке изображений, машинному 
обучению, биометрии, криминалистике, а также будет полезно исследователям, 
разработчикам, студентам – всем, кого интересуют возможности цифрового манипулирования лицами и технологии их обнаружения.
УДК  004.8
ББК  32.81
This book is an open access publication. Open Access This book is licensed under the terms 
of the Creative Commons Attribution 4.0 International License (http://creativecommons.org/
licenses/by/4.0/), which permits use, sharing, adaptation, distribution and reproduction in any 
medium or format, as long as you give appropriate credit to the original author(s) and the source, 
provide a link to the Creative Commons license and indicate if changes were made.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
ISBN 978-3-030-87663-0 (англ.) 	
©  Rathgeb C., Tolosana R.,  
Vera-Rodriguez R., Busch C., 2022
ISBN 978-5-93700-257-0 (рус.) 	
©  Перевод, оформление, издание,  
ДМК Пресс, 2023

Содержание
От издательства.......................................................................................................16
Предисловие.............................................................................................................17
Часть I. ВВЕДЕНИЕ................................................................................................19
Глава 1. Введение в цифровые манипуляции с лицами...........................20
1.1. Введение................................................................................................................21
1.2. Типы цифровых манипуляций с лицами.........................................................23
1.2.1. Синтез целевого лица..................................................................................23
1.2.2. Замена идентичности..................................................................................26
1.2.3. Морфинг лица...............................................................................................32
1.2.4. Манипуляции с характерными признаками лиц.....................................33
1.2.5. Изменение выражения лица.......................................................................35
1.2.6. «Аудио в видео» и «текст в видео»..............................................................37
1.3. Выводы...................................................................................................................39
Литература...................................................................................................................40
Глава 2. Цифровые манипуляции с лицами в биометрических 
системах.....................................................................................................................46
2.1. Введение................................................................................................................47
2.2. Биометрические системы...................................................................................48
2.2.1. Процессы........................................................................................................49
2.2.2. Распознавание лиц.......................................................................................50
2.3. Цифровые манипуляции с лицами в биометрических системах.................51
2.3.1. Влияние на биометрические характеристики.........................................51
2.3.2. Методы обнаружения манипуляций.........................................................53
2.4. Эксперименты......................................................................................................56
2.4.1. Постановка эксперимента...........................................................................56
2.4.2. Оценка эффективности...............................................................................58
2.5. Выводы и перспективы.......................................................................................61
Литература...................................................................................................................62
Глава 3. Мультимедийная криминалистика до эпохи глубокого 
обучения.....................................................................................................................65
3.1. Введение................................................................................................................66
3.2. Метод на основе PRNU........................................................................................68

6    Содержание
3.2.1. Определение PRNU.......................................................................................70
3.2.2. Вычисление остаточного шума..................................................................71
3.2.3. Тест на обнаружение подделки...................................................................71
3.2.4. Анализ на основе управляемой фильтрации...........................................73
3.3. Слепые методы.....................................................................................................76
3.3.1. Паттерны шума.............................................................................................76
3.3.2. Артефакты компрессии...............................................................................80
3.3.3. Артефакты редактирования........................................................................82
3.4. Методы обучения с признаками, созданными вручную................................84
3.5. Выводы...................................................................................................................85
Литература...................................................................................................................87
Часть II. ЦИФРОВЫЕ МАНИПУЛЯЦИИ С ЛИЦАМИ 
И ПРИЛОЖЕНИЯ БЕЗОПАСНОСТИ............................................................91
Глава 4. Создание дипфейков и борьба с ними............................................92
4.1. Введение................................................................................................................92
4.2. Основы...................................................................................................................96
4.2.1. Генерация дипфейк-видео..........................................................................96
4.2.2. Методы обнаружения дипфейков..............................................................97
4.2.3. Существующие наборы данных дипфейков.............................................98
4.3. Celeb-DF: создание дипфейков..........................................................................99
4.3.1. Метод синтеза.............................................................................................100
4.3.2. Визуальное качество..................................................................................103
4.3.3. Оценки..........................................................................................................104
4.4. Landmark Breaker: препятствие для DeepFake...............................................106
4.4.1. Экстракторы лицевых отметок.................................................................106
4.4.2. Состязательные возмущения....................................................................106
4.4.3. Обозначения и формулировка..................................................................107
4.4.4. Оптимизация...............................................................................................107
4.4.5. Установки эксперимента...........................................................................108
4.4.6. Результаты...................................................................................................110
4.4.7. Анализ устойчивости..................................................................................112
4.4.8. Исследование абляции...............................................................................114
4.5. Заключение.........................................................................................................115
Литература.................................................................................................................116
Глава 5. Угроза дипфейков для компьютерного зрения 
и человеческого зрительного восприятия...................................................119
5.1. Введение..............................................................................................................119
5.2. Сопутствующие работы.....................................................................................121
5.3. Базы данных и методы......................................................................................122
5.3.1. DeepfakeTIMIT.............................................................................................122
5.3.2. DF-Mobio......................................................................................................123
5.3.3. Google и Jigsaw.............................................................................................124
5.3.4. Facebook........................................................................................................124

Содержание    7
5.3.5. Celeb-DF........................................................................................................125
5.4. Протоколы оценки эффективности................................................................126
5.4.1. Измерение уязвимости..............................................................................126
5.4.2. Измерение эффективности распознавания дипфейков.......................127
5.5. Уязвимость систем распознавания лиц..........................................................127
5.6. Субъективная оценка человеческого визуального восприятия..................128
5.6.1. Результаты субъективной оценки............................................................131
5.7. Оценка алгоритмов обнаружения дипфейков...............................................134
5.8. Заключение.........................................................................................................136
Литература.................................................................................................................137
Глава 6. Создание морфа и уязвимость систем распознавания  
лиц к морфингу......................................................................................................139
6.1. Введение..............................................................................................................140
6.2. Генерация морфинга лица................................................................................143
6.2.1. Морфинг на основе лицевых отметок.....................................................143
6.2.2. Генерация морфинга лица на основе глубокого обучения...................149
6.3. Уязвимость систем распознавания лиц к морфированию лица.................151
6.3.1. Наборы данных...........................................................................................152
6.3.2. Результаты...................................................................................................153
6.3.3. Результаты морфинга на основе глубокого обучения...........................158
6.4. Выводы.................................................................................................................158
Литература.................................................................................................................159
Глава 7. Состязательные атаки на системы распознавания лиц...........162
7.1. Введение..............................................................................................................162
7.2. Классификация атак на FRS..............................................................................165
7.2.1. Модель угрозы.............................................................................................166
7.3. Отравляющие атаки на FRS..............................................................................170
7.3.1. Метод быстрого градиентного знака.......................................................170
7.3.2. Прогнозируемый градиентный спуск......................................................170
7.4. Атаки Карлини и Вагнера (CW).........................................................................171
7.5. Модель ArcFace FRS............................................................................................172
7.6. Эксперименты и анализ....................................................................................173
7.6.1. Чистый набор данных.................................................................................173
7.6.2. Набор данных атак......................................................................................174
7.6.3. Модель FRS для базовой проверки...........................................................175
7.6.4. Базовая оценка эффективности FRS........................................................175
7.6.5. Эффективность FRS при отравлении проверочных данных ...............178
7.6.6. Эффективность FRS при отравлении данных регистрации.................179
7.7. Столкновение состязательного обучения с атаками FGSM..........................180
7.8. Обсуждение.........................................................................................................182
7.9. Выводы и будущие направления разработок.................................................183
Литература.................................................................................................................183

8    Содержание
Глава 8. Генерация говорящих лиц: «аудио в видео»..............................187
8.1. Введение..............................................................................................................187
8.2. Сопутствующие методы....................................................................................189
8.2.1. Звуковое представление............................................................................189
8.2.2. Моделирование лица..................................................................................190
8.2.3. Анимация звук–лицо.................................................................................194
8.2.4. Постпроцессинг..........................................................................................201
8.3. Наборы данных и метрики...............................................................................201
8.3.1. Набор данных..............................................................................................201
8.3.2. Метрики.......................................................................................................203
8.4. Обсуждение.........................................................................................................205
8.4.1. Тонкий контроль лица...............................................................................205
8.4.2. Обобщение...................................................................................................207
8.5. Заключение.........................................................................................................208
8.6. Дополнительная литература............................................................................209
Литература.................................................................................................................209
Часть III. ОБНАРУЖЕНИЕ ЦИФРОВЫХ МАНИПУЛЯЦИЙ 
С ЛИЦАМИ.............................................................................................................216
Глава 9. Обнаружение синтетических лиц, созданных  
искусственным интеллектом.............................................................................217
9.1. Введение..............................................................................................................218
9.2. Генерация лиц с помощью искусственного интеллекта..............................220
9.3. Отпечатки пальцев GAN...................................................................................221
9.4. Методы обнаружения в пространственной области.....................................224
9.4.1. Признаки ручной работы..........................................................................225
9.4.2. Признаки, управляемые данными...........................................................226
9.5. Методы обнаружения по областям частот.....................................................227
9.6. Обучение обобщающих особенностей............................................................228
9.7. Обобщающий анализ.........................................................................................230
9.8. Анализ надежности............................................................................................232
9.9. Дальнейший анализ обнаружения GAN.........................................................233
9.10. Нерешенные проблемы...................................................................................235
Литература.................................................................................................................238
Глава 10. 3D-архитектура CNN и механизмы внимания  
для обнаружения дипфейков...........................................................................242
10.1. Введение............................................................................................................243
10.2. Сопутствующие исследования.......................................................................245
10.2.1. Обнаружение дипфейков........................................................................245
10.2.2. Механизмы внимания.............................................................................247
10.3. Набор данных...................................................................................................253
10.4. Алгоритмы........................................................................................................254
10.5. Эксперименты..................................................................................................254

Содержание    9
10.5.1. Все техники манипуляции.......................................................................255
10.5.2. Отдельные техники манипуляций.........................................................257
10.5.3. Техники перекрестной манипуляции....................................................258
10.5.4. Эффект внимания в 3D ResNets..............................................................259
10.5.5. Визуализация соответствующих признаков в обнаружении 
дипфейка................................................................................................................260
10.6. Выводы..............................................................................................................260
Литература.................................................................................................................262
Глава 11. Обнаружение дипфейков с использованием  
нескольких модальностей данных.................................................................266
11.1. Введение............................................................................................................267
11.2. Обнаружение дипфейков с помощью пространственно-временных 
особенностей видео..................................................................................................268
11.2.1. Обзор..........................................................................................................270
11.2.2. Модельный компонент............................................................................270
11.2.3. Детали обучения.......................................................................................273
11.2.4. Бустинговая нейронная сеть...................................................................273
11.2.5. Аугментация времени тестирования.....................................................274
11.2.6. Анализ результатов..................................................................................274
11.3. Обнаружение дипфейков с помощью анализа аудиоспектрограммы.....276
11.3.1. Обзор..........................................................................................................277
11.3.2. Набор данных............................................................................................278
11.3.3. Генерация спектрограммы......................................................................278
11.3.4. Сверточная нейронная сеть (CNN).........................................................279
11.3.5. Результаты экспериментов.....................................................................280
11.4. Обнаружение дипфейков посредством анализа несоответствия  
аудио и видео.............................................................................................................280
11.4.1. Обнаружение несоответствия аудио и видео посредством 
несоответствия фонем и визем..........................................................................282
11.4.2. Обнаружение дипфейков с использованием аффективных  
сигналов.................................................................................................................284
11.5. Заключение.......................................................................................................286
Литература.................................................................................................................286
Глава 12. Обнаружение дипфейков на основе определения 
сердечного ритма : однокадровый и многокадровый методы............289
12.1. Введение............................................................................................................290
12.2. Сопутствующие работы...................................................................................293
12.3. DeepFakesON-Phys...........................................................................................297
12.4. Базы данных......................................................................................................298
12.4.1. База данных Celeb-DF v2..........................................................................298
12.4.2. DFDC Preview ............................................................................................299
12.5. Экспериментальный протокол......................................................................299
12.6. Результаты обнаружения фейков: DeepFakesON-Phys...............................300

10    Содержание
12.6.1. Обнаружение дипфейков на уровне кадра...........................................300
12.6.2. Обнаружение дипфейков на уровне короткого видео........................303
12.7. Выводы...............................................................................................................304
Литература.................................................................................................................306
Глава 13. Капсульно-криминалистические сети  
для обнаружения дипфейков...........................................................................310
13.1. Введение............................................................................................................311
13.2. Сопутствующие работы...................................................................................313
13.2.1. Генерация дипфейков..............................................................................313
13.2.2. Обнаружение дипфейков........................................................................314
13.2.3. Проблемы обнаружения дипфейков......................................................315
13.2.4. Капсульные сети.......................................................................................316
13.3. Капсульная криминалистика.........................................................................316
13.3.1. Зачем нужна капсульная криминалистика?.........................................316
13.3.2. Обзор..........................................................................................................317
13.3.3. Архитектура...............................................................................................317
13.3.4. Алгоритм динамической маршрутизации...........................................319
13.3.5. Визуализация............................................................................................321
13.4. Оценка...............................................................................................................321
13.4.1. Наборы данных.........................................................................................324
13.4.2. Метрики.....................................................................................................325
13.4.3. Эффект улучшений...................................................................................325
13.4.4. Сравнение экстракторов особенностей лиц.........................................326
13.4.5. Влияние слоев статистического пулинга..............................................327
13.4.6. Сеть Capsule-Forensics по сравнению с CNN: замеченные атаки......328
13.4.7. Сеть Capsule-Forensics против CNN: невидимые атаки......................330
13.5. Заключение и будущая работа.......................................................................333
13.6. Приложение......................................................................................................333
Литература.................................................................................................................335
Глава 14. Обнаружение дипфейков: набор данных  
DeeperForensics и постановка задачи...........................................................339
14.1. Введение............................................................................................................340
14.2. Сопутствующие работы...................................................................................342
14.2.1. Методы создания дипфейков.................................................................342
14.2.2. Методы обнаружения дипфейков..........................................................343
14.2.3. Наборы данных для обнаружения дипфейков.....................................344
14.2.4. Лучшие тесты обнаружения дипфейков...............................................345
14.3. Набор данных DeeperForensics-1.0................................................................346
14.3.1. Сбор данных..............................................................................................346
14.3.2. Вариационный автокодировщик дипфейков.......................................348
14.3.3. Масштаб и разнообразие.........................................................................353
14.3.4. Набор скрытых тестов..............................................................................354
14.4. DeeperForensics Challenge 2020......................................................................355