Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Архитектуры глубокого обучения. Математический подход

Покупка
Новинка
Артикул: 890589.01.99
Доступ онлайн
2 649 ₽
В корзину
Книга описывает, как работают нейронные сети, с математической точки зрения и предлагает оценивать успех нейронных сетей не методом проб и ошибок, а путем четкого математического анализа. Современные идеи глубокого обучения представлены с опорой на концепции классической математики. Описано введение в теорию нейронных сетей, нейронные сети как универсальные аппроксиматоры и процессоры информации, сверточные (CNN), рекуррентные (RNN), генеративно-состязательные (GAN) нейронные сети и многое другое. Издание будет интересно исследователям машинного обучения, а также может использоваться для преподавания глубокого обучения в университетах.
18
21
31
92
119
120
122
123
207
309
339
395
475
641
Калин, О. Архитектуры глубокого обучения. Математический подход : учебное пособие / О. Калин ; пер. с англ. А. Н. Киселева. – Москва : ДМК Пресс, 2024. - 702 с. – ISBN 978-5-93700-258-7. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2274659 (дата обращения: 18.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Овидиу Калин
Архитектуры  
глубокого обучения  
Математический подход


Deep Learning 
Architectures 
A Mathematical Approach
Ovidiu Calin


Архитектуры  
глубокого обучения  
Математический подход
Овидиу Калин
Москва, 2025


УДК 004.85
ББК  32.971.3
К17
Овидиу Калин
К17 
Архитектуры глубокого обучения. Математический подход / пер. с англ. 
А. Н. Киселева. – М.: ДМК Пресс, 2024. – 700 с.: ил.
ISBN 978-5-93700-258-7
Книга описывает, как работают нейронные сети, с математической точки 
зрения и предлагает оценивать успех нейронных сетей не методом проб и ошибок, а путем четкого математического анализа. Современные идеи глубокого 
обучения представлены с опорой на концепции классической математики. Описано введение в теорию нейронных сетей, нейронные сети как универсальные 
аппроксиматоры и процессоры информации, сверточные (CNN), рекуррентные 
(RNN), генеративно-состязательные (GAN) нейронные сети и многое другое.
Издание будет интересно исследователям машинного обучения, а также может 
использоваться для преподавания глубокого обучения в университетах.
УДК 004.85
ББК 32.971.3
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой 
бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
© Springer Nature Switzerland AG 2020
©  Оформление, издание, перевод, ДМК Пресс, 2024
ISBN (анг.) 978-3-03036-720-6
ISBN (рус.) 978-5-93700-258-7


Оглавление
Предисловие от издательства......................................................... 15
Предисловие...................................................................................... 16
Обзор книги.......................................................................................................18
Часть I.................................................................................................................18
Часть II...............................................................................................................19
Часть III..............................................................................................................20
Часть IV..............................................................................................................21
Часть V................................................................................................................21
Библиографические примечания....................................................................22
Благодарности...................................................................................................24
Диаграмма глав................................................................................. 26
Символы и обозначения.................................................................. 27
ЧАСТЬ I. ВВЕДЕНИЕ В НЕЙРОННЫЕ СЕТИ............................ 31
Глава 1. Вводные задачи.................................................................. 32
1.1. Вода в резервуаре.......................................................................................32
1.2. Электронная схема.....................................................................................34
1.3. Задача о восьми ладьях..............................................................................36
1.4. Биологический нейрон...............................................................................37
1.5. Линейная регрессия...................................................................................39
1.6. Сеть – фабрика по производству коктейлей.............................................42
1.7. Электронная сеть........................................................................................43
1.8. В заключение..............................................................................................45
1.9. Упражнения.................................................................................................46
Глава 2. Функции активации............................................................ 48
2.1. Примеры функций активации...................................................................48
2.2. Сигмоидные функции................................................................................58
2.3. Сжимающие функции................................................................................62
2.4. В заключение..............................................................................................63
2.5. Упражнения.................................................................................................64
Глава 3. Функции стоимости............................................................ 66
3.1. Входные данные, выходные данные и цель..............................................66
3.2. Функция супремума ошибки.....................................................................67
3.3. Функция ошибки L2....................................................................................67


3.4. Функция среднеквадратической ошибки.................................................68
3.5. Перекрестная энтропия.............................................................................71
3.6. Расстояние Кульбака–Лейблера.................................................................72
3.7. Расстояние Дженсена–Шеннона................................................................75
3.8. Максимальное среднее расхождение........................................................76
3.9. Другие функции стоимости.......................................................................79
3.10. Выборочная оценка функций стоимости................................................79
3.11. Функции стоимости и регуляризация.....................................................82
3.12. Ошибки обучения и тестирования..........................................................83
3.13. Геометрический смысл.............................................................................86
3.14. В заключение............................................................................................89
3.15. Упражнения...............................................................................................89
Глава 4. Алгоритмы поиска минимума........................................... 92
4.1. Общие свойства минимумов.....................................................................92
4.1.1. Функции действительной переменной..............................................92
4.1.2. Функции нескольких действительных переменных.........................93
4.2. Алгоритм градиентного спуска.................................................................96
4.2.1. Наборы уровней...................................................................................96
4.2.3. Метод наискорейшего спуска...........................................................103
4.3. Кинематическая интерпретация.............................................................110
4.4. Метод импульса........................................................................................113
4.4.1. Кинематическая интерпретация......................................................114
4.4.2. Условия сходимости...........................................................................117
4.5. AdaGrad......................................................................................................119
4.6. RMSProp.....................................................................................................120
4.7. Adam...........................................................................................................122
4.8. AdaMax.......................................................................................................123
4.9. Метод имитации отжига..........................................................................124
4.9.1. Кинематическая интерпретация метода имитации отжига..........124
4.9.2. Термодинамическая интерпретация метода имитации отжига....126
4.10. Метод увеличения разрешения.............................................................128
4.11. Метод Гессе..............................................................................................131
4.12. Метод Ньютона.......................................................................................133
4.13. Стохастический поиск............................................................................134
4.13.1. Детерминированный вариант........................................................134
4.13.2. Стохастический вариант.................................................................135
4.14. Поиск в окрестности...........................................................................138
4.14.1. Поиск слева и справа.......................................................................139
4.14.2. Поиск по окружности......................................................................139
4.14.3. Стохастический поиск в сфере.......................................................141
4.14.4. От локального к глобальному.........................................................142
4.15. Непрерывное обучение..........................................................................143
4.16. В заключение..........................................................................................145
4.17. Упражнения.............................................................................................146
Глава 5. Абстрактные нейроны......................................................148
5.1. Определение и свойства..........................................................................148
Оглавление


5.2. Модель перцептрона................................................................................150
5.3. Сигмоидный нейрон................................................................................156
5.4. Логистическая регрессия.........................................................................158
5.4.1. Вероятность дефолта компании.......................................................158
5.4.2. Бинарный классификатор.................................................................161
5.4.3. Обучение с использованием квадратической разности  
как функции стоимости..............................................................................165
5.5. Линейный нейрон....................................................................................166
5.6. Адалин.......................................................................................................170
5.7. Мадалин.....................................................................................................171
5.8. Нейрон с континуальным входом...........................................................172
5.9. В заключение............................................................................................175
5.10. Упражнения.............................................................................................175
Глава 6. Нейронные сети................................................................178
6.1. Пример нейронной сети..........................................................................178
6.1.1. Полная вариация и регуляризация..................................................182
6.1.2. Обратное распространение ошибки................................................183
6.2. Общие нейронные сети............................................................................187
6.2.1. Прямое распространение через сеть................................................189
6.2.2. Обратное распространение через сеть............................................189
6.2.3. Обратное распространение дельт....................................................190
6.2.4. В заключение об отношениях...........................................................192
6.2.5. Матричная форма..............................................................................192
6.2.6. Алгоритм градиентного спуска........................................................195
6.2.7. Проблема исчезающего градиента...................................................195
6.2.8. Пакетное обучение............................................................................197
6.2.9. Определение нейронной сети прямого распространения.............198
6.3. Инициализация весов..............................................................................199
6.4. Сильные и слабые априоры.....................................................................203
6.5. В заключение............................................................................................204
6.6. Упражнения...............................................................................................205
ЧАСТЬ II. АНАЛИТИЧЕСКАЯ ТЕОРИЯ....................................207
Глава 7. Аппроксимационные теоремы .......................................208
7.1. Теорема Дини............................................................................................208
7.2. Теорема Арцела–Асколи...........................................................................210
7.3. Применение к нейронным сетям............................................................213
7.4. Теорема Стоуна–Вейерштрасса...............................................................214
7.5. Применение к нейронным сетям............................................................216
7.6. Тауберовы теоремы Винера.....................................................................218
7.6.1. Изучение сигналов в L1(ℝ).................................................................218
7.6.2. Изучение сигналов в L2(ℝ).................................................................219
7.7. Принцип сжатия........................................................................................220
7.8. Приложение к рекуррентным нейронным сетям...................................222
7.9. Резонансные сети......................................................................................226
Оглавление    7


7.10. В заключение...........................................................................................227
7.11. Упражнения.............................................................................................228
Глава 8. Обучение на одномерных входных данных...............230
8.1. Предварительные сведения.....................................................................230
8.2. Перцептронная сеть с одним скрытым слоем........................................232
8.3. Сигмоидная сеть с одним скрытым слоем.............................................234
8.4. Обучение с использованием функции ReLU...........................................239
8.5. Обучение с использованием функции softplus......................................243
8.6. Дискретные данные.................................................................................248
8.7. В заключение.............................................................................................249
8.8. Упражнения...............................................................................................250
Глава 9. Универсальные аппроксиматоры..................................252
9.1. Вводные примеры....................................................................................252
9.2. Общие положения....................................................................................253
9.3. Сети с одним скрытым слоем..................................................................255
9.3.1. Изучение непрерывных функций f ∈ C(In).......................................255
9.3.2. Изучение квадратично интегрируемых функций f ∈ L2(In).............260
9.3.3. Изучение интегрируемых функций f ∈ L1(In)...................................265
9.3.4. Изучение измеримых функций f ∈ ℳ(ℝn)........................................267
9.4. Оценка границ ошибки............................................................................275
9.5. Изучение q-интегрируемых функций, f ∈ Lq(ℝn)....................................276
9.6. Изучение решений ОДУ...........................................................................278
9.7. В заключение.............................................................................................280
9.8. Упражнения...............................................................................................280
Глава 10. Точное обучение.............................................................283
10.1. Изучение функций с конечным носителем..........................................283
10.2. Обучение с использованием функции ReLU.........................................285
10.2.1. Представление максимумов...........................................................285
10.2.2. Ширина и глубина............................................................................289
10.3. Теорема Колмогорова–Арнольда–Спречера........................................292
10.4. Интегральная формула Ириэ и Мияке..................................................294
10.5. Получение точного представления в результате обучения  
не всегда возможно.........................................................................................296
10.6. Континуальное количество нейронов...................................................296
10.7. Аппроксимация вырожденными ядрами.............................................301
10.8. Примеры вырожденных ядер................................................................303
10.9. Глубокие сети..........................................................................................305
10.10. В заключение........................................................................................306
10.11. Упражнения...........................................................................................307
ЧАСТЬ III. ОБРАБОТКА ИНФОРМАЦИИ...............................309
Глава 11. Представление информации........................................310
11.1. Информационное наполнение..............................................................310
11.2. Цели, пригодные для изучения.............................................................313
Оглавление


11.3. Потеря информации...............................................................................316
11.4. Восстановимая информация.................................................................318
11.5. Примеры представления информации.................................................321
11.5.1. Информация об индикаторных функциях....................................321
11.5.2. Классический перцептрон..............................................................323
11.5.3. Линейный нейрон............................................................................323
11.5.4. Сигмоидный нейрон.......................................................................324
11.5.5. Арктангенсный нейрон...................................................................325
11.5.6. Нейронная сеть классических перцептронов................................325
11.5.7. Треугольник как объединение прямоугольников..........................326
11.5.8. Сеть сигмоидных нейронов............................................................327
11.5.9. Дополнительные замечания...........................................................329
11.6. Сжимаемые слои.....................................................................................329
11.7. Сжимаемость слоев.................................................................................332
11.8. Функциональная независимость...........................................................333
11.9. В заключение..........................................................................................335
11.10. Упражнения...........................................................................................335
Глава 12. Оценка информационной емкости..............................339
12.1. Энтропия и свойства..............................................................................339
12.1.1. Энтропия случайной переменной..................................................339
12.1.2. Энтропия при смене координат.....................................................340
12.2. Поток энтропии......................................................................................343
12.3. Энтропия входного слоя.........................................................................345
12.4. Линейный нейрон...................................................................................347
12.5. Автокодировщик....................................................................................348
12.6. Условная энтропия..................................................................................349
12.7. Взаимная информация...........................................................................351
12.8. Приложения к глубоким нейронным сетям.........................................358
12.8.1. Поток энтропии...............................................................................359
12.8.2. Зашумленные слои..........................................................................359
12.8.3. Независимые слои...........................................................................360
12.8.4. Слои без сжатия...............................................................................360
12.8.5. Количество признаков.....................................................................362
12.8.6. Полное сжатие..................................................................................364
12.9. Емкость сети............................................................................................365
12.9.1. Типы емкости...................................................................................366
12.9.2. Входное распределение...................................................................367
12.9.3. Выходное распределение................................................................367
12.9.4. Тензор ввода-вывода.......................................................................368
12.9.5. Матрица ввода-вывода....................................................................368
12.9.6. Наличие емкости сети.....................................................................369
12.9.7. Метод множителей Лагранжа.........................................................370
12.9.8. Определение емкости......................................................................373
12.9.9. Емкость перцептрона......................................................................373
12.10. Информационное сужение..................................................................376
12.10.1. Точное формальное решение........................................................377
12.10.2. Информационная плоскость.........................................................381
Оглавление    9


12.11. Обработка информации в наборе данных MNIST..............................383
12.11.1. Двухслойная сеть прямого распространения..............................384
12.11.2. Трехслойная сеть прямого распространения..............................387
12.11.3. Роль сверточных сетей..................................................................387
12.12. В заключение........................................................................................390
12.13. Упражнения...........................................................................................390
ЧАСТЬ IV. ГЕОМЕТРИЧЕСКАЯ ТЕОРИЯ.................................395
Глава 13. Выходные многообразия..............................................396
13.1. Введение в многообразия......................................................................396
13.1.1. Внутреннее и внешнее....................................................................400
13.1.2. Касательное пространство..............................................................400
13.1.3. Риманова метрика...........................................................................401
13.1.4. Геодезика..........................................................................................402
13.1.5. Связность Леви–Чивита..................................................................403
13.1.6. Подмногообразия............................................................................404
13.1.7. Вторая фундаментальная форма....................................................405
13.1.8. Векторное поле средней кривизны................................................406
13.2. Связь с нейронными сетями..................................................................407
13.3. Пространство параметров......................................................................408
13.4. Оптимальные значения параметров....................................................412
13.5. Метрическая структура..........................................................................416
13.6. Регуляризация.........................................................................................419
13.6.1. Переход к меньшему размеру.........................................................420
13.6.2. Регуляризация норм........................................................................420
13.6.3. Выбор самого плоского многообразия...........................................421
13.6.4. Усреднение модели..........................................................................428
13.6.5. Прореживание..................................................................................430
13.7. В заключение...........................................................................................435
13.8. Упражнения.............................................................................................436
Глава 14. Нейронные многообразия............................................438
14.1. Статистические многообразия..............................................................438
14.2. Информация Фишера.............................................................................442
14.3. Нейронное многообразие нейронной сети..........................................446
14.4. Метрика Фишера для одного нейрона..................................................447
14.5. Матрица Фишера и обратная ей матрица.............................................449
14.6. Метрическая структура Фишера нейронной сети................................454
14.7. Натуральный градиент...........................................................................458
14.8. Алгоритм обучения с натуральным градиентом.................................460
14.9. Логарифмическое правдоподобие и метрика......................................464
14.10. Связь с расстоянием Кульбака–Лейблера...........................................465
14.11. Метод имитации отжига......................................................................469
14.12. В заключение........................................................................................470
14.13. Упражнения...........................................................................................471
Оглавление


Доступ онлайн
2 649 ₽
В корзину