Архитектуры глубокого обучения. Математический подход
Покупка
Новинка
Тематика:
Математическое программное обеспечение
Издательство:
ДМК Пресс
Автор:
Калин Овидиу
Перевод:
Киселев Артём Николаевич
Год издания: 2024
Кол-во страниц: 702
Дополнительно
Вид издания:
Учебное пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-258-7
Артикул: 890589.01.99
Книга описывает, как работают нейронные сети, с математической точки зрения и предлагает оценивать успех нейронных сетей не методом проб и ошибок, а путем четкого математического анализа. Современные идеи глубокого обучения представлены с опорой на концепции классической математики. Описано введение в теорию нейронных сетей, нейронные сети как универсальные аппроксиматоры и процессоры информации, сверточные (CNN), рекуррентные (RNN), генеративно-состязательные (GAN) нейронные сети и многое другое.
Издание будет интересно исследователям машинного обучения, а также может использоваться для преподавания глубокого обучения в университетах.
- ДМК Пресс. Информационные системы и технологии
- ДМК Пресс. Искусственный интеллект и машинное обучение
- ДМК Пресс. ИТ-технологии для профессионалов
- Интермедиатор. Информационные системы и технологии (сводная)
- Интермедиатор. Искусственный интеллект и машинное обучение (сводная)
- Интермедиатор. ИТ-технологии для профессионалов (сводная)
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Овидиу Калин Архитектуры глубокого обучения Математический подход
Deep Learning Architectures A Mathematical Approach Ovidiu Calin
Архитектуры глубокого обучения Математический подход Овидиу Калин Москва, 2025
УДК 004.85 ББК 32.971.3 К17 Овидиу Калин К17 Архитектуры глубокого обучения. Математический подход / пер. с англ. А. Н. Киселева. – М.: ДМК Пресс, 2024. – 700 с.: ил. ISBN 978-5-93700-258-7 Книга описывает, как работают нейронные сети, с математической точки зрения и предлагает оценивать успех нейронных сетей не методом проб и ошибок, а путем четкого математического анализа. Современные идеи глубокого обучения представлены с опорой на концепции классической математики. Описано введение в теорию нейронных сетей, нейронные сети как универсальные аппроксиматоры и процессоры информации, сверточные (CNN), рекуррентные (RNN), генеративно-состязательные (GAN) нейронные сети и многое другое. Издание будет интересно исследователям машинного обучения, а также может использоваться для преподавания глубокого обучения в университетах. УДК 004.85 ББК 32.971.3 Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. © Springer Nature Switzerland AG 2020 © Оформление, издание, перевод, ДМК Пресс, 2024 ISBN (анг.) 978-3-03036-720-6 ISBN (рус.) 978-5-93700-258-7
Оглавление Предисловие от издательства......................................................... 15 Предисловие...................................................................................... 16 Обзор книги.......................................................................................................18 Часть I.................................................................................................................18 Часть II...............................................................................................................19 Часть III..............................................................................................................20 Часть IV..............................................................................................................21 Часть V................................................................................................................21 Библиографические примечания....................................................................22 Благодарности...................................................................................................24 Диаграмма глав................................................................................. 26 Символы и обозначения.................................................................. 27 ЧАСТЬ I. ВВЕДЕНИЕ В НЕЙРОННЫЕ СЕТИ............................ 31 Глава 1. Вводные задачи.................................................................. 32 1.1. Вода в резервуаре.......................................................................................32 1.2. Электронная схема.....................................................................................34 1.3. Задача о восьми ладьях..............................................................................36 1.4. Биологический нейрон...............................................................................37 1.5. Линейная регрессия...................................................................................39 1.6. Сеть – фабрика по производству коктейлей.............................................42 1.7. Электронная сеть........................................................................................43 1.8. В заключение..............................................................................................45 1.9. Упражнения.................................................................................................46 Глава 2. Функции активации............................................................ 48 2.1. Примеры функций активации...................................................................48 2.2. Сигмоидные функции................................................................................58 2.3. Сжимающие функции................................................................................62 2.4. В заключение..............................................................................................63 2.5. Упражнения.................................................................................................64 Глава 3. Функции стоимости............................................................ 66 3.1. Входные данные, выходные данные и цель..............................................66 3.2. Функция супремума ошибки.....................................................................67 3.3. Функция ошибки L2....................................................................................67
3.4. Функция среднеквадратической ошибки.................................................68 3.5. Перекрестная энтропия.............................................................................71 3.6. Расстояние Кульбака–Лейблера.................................................................72 3.7. Расстояние Дженсена–Шеннона................................................................75 3.8. Максимальное среднее расхождение........................................................76 3.9. Другие функции стоимости.......................................................................79 3.10. Выборочная оценка функций стоимости................................................79 3.11. Функции стоимости и регуляризация.....................................................82 3.12. Ошибки обучения и тестирования..........................................................83 3.13. Геометрический смысл.............................................................................86 3.14. В заключение............................................................................................89 3.15. Упражнения...............................................................................................89 Глава 4. Алгоритмы поиска минимума........................................... 92 4.1. Общие свойства минимумов.....................................................................92 4.1.1. Функции действительной переменной..............................................92 4.1.2. Функции нескольких действительных переменных.........................93 4.2. Алгоритм градиентного спуска.................................................................96 4.2.1. Наборы уровней...................................................................................96 4.2.3. Метод наискорейшего спуска...........................................................103 4.3. Кинематическая интерпретация.............................................................110 4.4. Метод импульса........................................................................................113 4.4.1. Кинематическая интерпретация......................................................114 4.4.2. Условия сходимости...........................................................................117 4.5. AdaGrad......................................................................................................119 4.6. RMSProp.....................................................................................................120 4.7. Adam...........................................................................................................122 4.8. AdaMax.......................................................................................................123 4.9. Метод имитации отжига..........................................................................124 4.9.1. Кинематическая интерпретация метода имитации отжига..........124 4.9.2. Термодинамическая интерпретация метода имитации отжига....126 4.10. Метод увеличения разрешения.............................................................128 4.11. Метод Гессе..............................................................................................131 4.12. Метод Ньютона.......................................................................................133 4.13. Стохастический поиск............................................................................134 4.13.1. Детерминированный вариант........................................................134 4.13.2. Стохастический вариант.................................................................135 4.14. Поиск в окрестности...........................................................................138 4.14.1. Поиск слева и справа.......................................................................139 4.14.2. Поиск по окружности......................................................................139 4.14.3. Стохастический поиск в сфере.......................................................141 4.14.4. От локального к глобальному.........................................................142 4.15. Непрерывное обучение..........................................................................143 4.16. В заключение..........................................................................................145 4.17. Упражнения.............................................................................................146 Глава 5. Абстрактные нейроны......................................................148 5.1. Определение и свойства..........................................................................148 Оглавление
5.2. Модель перцептрона................................................................................150 5.3. Сигмоидный нейрон................................................................................156 5.4. Логистическая регрессия.........................................................................158 5.4.1. Вероятность дефолта компании.......................................................158 5.4.2. Бинарный классификатор.................................................................161 5.4.3. Обучение с использованием квадратической разности как функции стоимости..............................................................................165 5.5. Линейный нейрон....................................................................................166 5.6. Адалин.......................................................................................................170 5.7. Мадалин.....................................................................................................171 5.8. Нейрон с континуальным входом...........................................................172 5.9. В заключение............................................................................................175 5.10. Упражнения.............................................................................................175 Глава 6. Нейронные сети................................................................178 6.1. Пример нейронной сети..........................................................................178 6.1.1. Полная вариация и регуляризация..................................................182 6.1.2. Обратное распространение ошибки................................................183 6.2. Общие нейронные сети............................................................................187 6.2.1. Прямое распространение через сеть................................................189 6.2.2. Обратное распространение через сеть............................................189 6.2.3. Обратное распространение дельт....................................................190 6.2.4. В заключение об отношениях...........................................................192 6.2.5. Матричная форма..............................................................................192 6.2.6. Алгоритм градиентного спуска........................................................195 6.2.7. Проблема исчезающего градиента...................................................195 6.2.8. Пакетное обучение............................................................................197 6.2.9. Определение нейронной сети прямого распространения.............198 6.3. Инициализация весов..............................................................................199 6.4. Сильные и слабые априоры.....................................................................203 6.5. В заключение............................................................................................204 6.6. Упражнения...............................................................................................205 ЧАСТЬ II. АНАЛИТИЧЕСКАЯ ТЕОРИЯ....................................207 Глава 7. Аппроксимационные теоремы .......................................208 7.1. Теорема Дини............................................................................................208 7.2. Теорема Арцела–Асколи...........................................................................210 7.3. Применение к нейронным сетям............................................................213 7.4. Теорема Стоуна–Вейерштрасса...............................................................214 7.5. Применение к нейронным сетям............................................................216 7.6. Тауберовы теоремы Винера.....................................................................218 7.6.1. Изучение сигналов в L1(ℝ).................................................................218 7.6.2. Изучение сигналов в L2(ℝ).................................................................219 7.7. Принцип сжатия........................................................................................220 7.8. Приложение к рекуррентным нейронным сетям...................................222 7.9. Резонансные сети......................................................................................226 Оглавление 7
7.10. В заключение...........................................................................................227 7.11. Упражнения.............................................................................................228 Глава 8. Обучение на одномерных входных данных...............230 8.1. Предварительные сведения.....................................................................230 8.2. Перцептронная сеть с одним скрытым слоем........................................232 8.3. Сигмоидная сеть с одним скрытым слоем.............................................234 8.4. Обучение с использованием функции ReLU...........................................239 8.5. Обучение с использованием функции softplus......................................243 8.6. Дискретные данные.................................................................................248 8.7. В заключение.............................................................................................249 8.8. Упражнения...............................................................................................250 Глава 9. Универсальные аппроксиматоры..................................252 9.1. Вводные примеры....................................................................................252 9.2. Общие положения....................................................................................253 9.3. Сети с одним скрытым слоем..................................................................255 9.3.1. Изучение непрерывных функций f ∈ C(In).......................................255 9.3.2. Изучение квадратично интегрируемых функций f ∈ L2(In).............260 9.3.3. Изучение интегрируемых функций f ∈ L1(In)...................................265 9.3.4. Изучение измеримых функций f ∈ ℳ(ℝn)........................................267 9.4. Оценка границ ошибки............................................................................275 9.5. Изучение q-интегрируемых функций, f ∈ Lq(ℝn)....................................276 9.6. Изучение решений ОДУ...........................................................................278 9.7. В заключение.............................................................................................280 9.8. Упражнения...............................................................................................280 Глава 10. Точное обучение.............................................................283 10.1. Изучение функций с конечным носителем..........................................283 10.2. Обучение с использованием функции ReLU.........................................285 10.2.1. Представление максимумов...........................................................285 10.2.2. Ширина и глубина............................................................................289 10.3. Теорема Колмогорова–Арнольда–Спречера........................................292 10.4. Интегральная формула Ириэ и Мияке..................................................294 10.5. Получение точного представления в результате обучения не всегда возможно.........................................................................................296 10.6. Континуальное количество нейронов...................................................296 10.7. Аппроксимация вырожденными ядрами.............................................301 10.8. Примеры вырожденных ядер................................................................303 10.9. Глубокие сети..........................................................................................305 10.10. В заключение........................................................................................306 10.11. Упражнения...........................................................................................307 ЧАСТЬ III. ОБРАБОТКА ИНФОРМАЦИИ...............................309 Глава 11. Представление информации........................................310 11.1. Информационное наполнение..............................................................310 11.2. Цели, пригодные для изучения.............................................................313 Оглавление
11.3. Потеря информации...............................................................................316 11.4. Восстановимая информация.................................................................318 11.5. Примеры представления информации.................................................321 11.5.1. Информация об индикаторных функциях....................................321 11.5.2. Классический перцептрон..............................................................323 11.5.3. Линейный нейрон............................................................................323 11.5.4. Сигмоидный нейрон.......................................................................324 11.5.5. Арктангенсный нейрон...................................................................325 11.5.6. Нейронная сеть классических перцептронов................................325 11.5.7. Треугольник как объединение прямоугольников..........................326 11.5.8. Сеть сигмоидных нейронов............................................................327 11.5.9. Дополнительные замечания...........................................................329 11.6. Сжимаемые слои.....................................................................................329 11.7. Сжимаемость слоев.................................................................................332 11.8. Функциональная независимость...........................................................333 11.9. В заключение..........................................................................................335 11.10. Упражнения...........................................................................................335 Глава 12. Оценка информационной емкости..............................339 12.1. Энтропия и свойства..............................................................................339 12.1.1. Энтропия случайной переменной..................................................339 12.1.2. Энтропия при смене координат.....................................................340 12.2. Поток энтропии......................................................................................343 12.3. Энтропия входного слоя.........................................................................345 12.4. Линейный нейрон...................................................................................347 12.5. Автокодировщик....................................................................................348 12.6. Условная энтропия..................................................................................349 12.7. Взаимная информация...........................................................................351 12.8. Приложения к глубоким нейронным сетям.........................................358 12.8.1. Поток энтропии...............................................................................359 12.8.2. Зашумленные слои..........................................................................359 12.8.3. Независимые слои...........................................................................360 12.8.4. Слои без сжатия...............................................................................360 12.8.5. Количество признаков.....................................................................362 12.8.6. Полное сжатие..................................................................................364 12.9. Емкость сети............................................................................................365 12.9.1. Типы емкости...................................................................................366 12.9.2. Входное распределение...................................................................367 12.9.3. Выходное распределение................................................................367 12.9.4. Тензор ввода-вывода.......................................................................368 12.9.5. Матрица ввода-вывода....................................................................368 12.9.6. Наличие емкости сети.....................................................................369 12.9.7. Метод множителей Лагранжа.........................................................370 12.9.8. Определение емкости......................................................................373 12.9.9. Емкость перцептрона......................................................................373 12.10. Информационное сужение..................................................................376 12.10.1. Точное формальное решение........................................................377 12.10.2. Информационная плоскость.........................................................381 Оглавление 9
12.11. Обработка информации в наборе данных MNIST..............................383 12.11.1. Двухслойная сеть прямого распространения..............................384 12.11.2. Трехслойная сеть прямого распространения..............................387 12.11.3. Роль сверточных сетей..................................................................387 12.12. В заключение........................................................................................390 12.13. Упражнения...........................................................................................390 ЧАСТЬ IV. ГЕОМЕТРИЧЕСКАЯ ТЕОРИЯ.................................395 Глава 13. Выходные многообразия..............................................396 13.1. Введение в многообразия......................................................................396 13.1.1. Внутреннее и внешнее....................................................................400 13.1.2. Касательное пространство..............................................................400 13.1.3. Риманова метрика...........................................................................401 13.1.4. Геодезика..........................................................................................402 13.1.5. Связность Леви–Чивита..................................................................403 13.1.6. Подмногообразия............................................................................404 13.1.7. Вторая фундаментальная форма....................................................405 13.1.8. Векторное поле средней кривизны................................................406 13.2. Связь с нейронными сетями..................................................................407 13.3. Пространство параметров......................................................................408 13.4. Оптимальные значения параметров....................................................412 13.5. Метрическая структура..........................................................................416 13.6. Регуляризация.........................................................................................419 13.6.1. Переход к меньшему размеру.........................................................420 13.6.2. Регуляризация норм........................................................................420 13.6.3. Выбор самого плоского многообразия...........................................421 13.6.4. Усреднение модели..........................................................................428 13.6.5. Прореживание..................................................................................430 13.7. В заключение...........................................................................................435 13.8. Упражнения.............................................................................................436 Глава 14. Нейронные многообразия............................................438 14.1. Статистические многообразия..............................................................438 14.2. Информация Фишера.............................................................................442 14.3. Нейронное многообразие нейронной сети..........................................446 14.4. Метрика Фишера для одного нейрона..................................................447 14.5. Матрица Фишера и обратная ей матрица.............................................449 14.6. Метрическая структура Фишера нейронной сети................................454 14.7. Натуральный градиент...........................................................................458 14.8. Алгоритм обучения с натуральным градиентом.................................460 14.9. Логарифмическое правдоподобие и метрика......................................464 14.10. Связь с расстоянием Кульбака–Лейблера...........................................465 14.11. Метод имитации отжига......................................................................469 14.12. В заключение........................................................................................470 14.13. Упражнения...........................................................................................471 Оглавление