Глубокое обучение с TensorFlow, Keras и PyTorch
Покупка
Новинка
Тематика:
Общенаучное знание и теории
Издательство:
ДМК Пресс
Перевод:
Люско И. Л.
Год издания: 2025
Кол-во страниц: 704
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-382-9
Артикул: 890835.01.99
Эта книга научит вас создавать современные модели глубокого обучения с помощью самых мощных и популярных фреймворков TensorFlow, Keras и PyTorch. Независимо от того, являетесь ли вы опытным специалистом в области машинного обучения или только начинаете свою карьеру, она снабдит вас инструментами и знаниями для решения сложных задач в области искусственного интеллекта.
Издание адресовано специалистам по обработке данных, разработчикам, инженерам и энтузиастам ИИ, стремящимся развивать свои навыки и работать с самыми передовыми инструментами.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Глубокое обучение с TensorFlow, Keras и PyTorch
Deep Learning and AI Superhero Mastering TensorFlow, Keras, and PyTorch
Глубокое обучение с TensorFlow, Keras и PyTorch Стань Суперменом искусственного интеллекта Москва, 2025
УДК 004.823 ББК 16.6 Г55 Г55 Глубокое обучение с TensorFlow, Keras и PyTorch / пер. с англ. И. Д. Люско. – М.: ДМК Пресс, 2025. – 702 с.: ил. ISBN 978-5-93700-382-9 Эта книга научит вас создавать современные модели глубокого обучения с помощью самых мощных и популярных фреймворков TensorFlow, Keras и PyTorch. Независимо от того, являетесь ли вы опытным специалистом в области машинного обучения или только начинаете свою карьеру, она снабдит вас инструментами и знаниями для решения сложных задач в области искусственного интеллекта. Издание адресовано специалистам по обработке данных, разработчикам, инженерам и энтузиастам ИИ, стремящимся развивать свои навыки и работать с самыми передовыми инструментами. УДК 004.823 ББК 16.6 All rights reserved. No part of this book may be reproduced, stored in a retrieval system, or transmitted in any form or by any means, without the prior written permission of the publisher, except in the case of brief quotations embedded in critical articles or reviews. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 979-8-89587-359-5 (англ.) © 2025 Cuantum Technologies ISBN 978-5-93700-382-9 (рус.) © Перевод, оформление, издание, ДМК Пресс, 2025
«Искусственный интеллект – это новое электричество». – Эндрю Ын, соучредитель Coursera и адъюнкт-профессор Стэнфордского университета
Содержание От издательства.......................................................................................................14 Кто мы.........................................................................................................................15 Введение ...................................................................................................................17 Часть I. НЕЙРОННЫЕ СЕТИ И ОСНОВЫ ГЛУБОКОГО ОБУЧЕНИЯ..............................................................................................................21 Глава 1. Введение в нейронные сети и глубокое обучение....................22 1.1. Перцептрон и многослойный перцептрон (MLP)...........................................23 1.1.1. Перцептрон...................................................................................................23 1.1.2. Ограничения перцептрона.........................................................................27 1.1.3. Многослойный перцептрон (MLP).............................................................28 1.1.4. Сила глубокого обучения............................................................................33 1.2. Обратное распространение ошибки, градиентный спуск и оптимизаторы..........................................................................................................35 1.2.1. Градиентный спуск......................................................................................36 1.2.2. Обратное распространение ошибки.........................................................46 1.2.3. Оптимизаторы в нейронных сетях............................................................48 1.3. Переобучение, недообучение и методы регуляризации...............................57 1.3.1. Переобучение................................................................................................58 1.3.2. Недообучение................................................................................................65 1.3.3. Техники регуляризации...................................................................................72 1.4. Функции потерь в глубоком обучении.............................................................86 1.4.1. Среднеквадратичная ошибка (MSE)..........................................................87 1.4.2. Бинарная кросс-энтропийная потеря (логарифмическая потеря).......90 1.4.3. Категориальная кросс-энтропийная потеря............................................94 1.4.4. Hinge Loss (петлевая функция потерь)......................................................98 1.4.5. Пользовательские функции потерь.........................................................101 Практические упражнения.....................................................................................104 Упражнение 1. Реализация простого перцептрона.........................................104 Упражнение 2. Обучение многослойного перцептрона (MLP)......................105 Упражнение 3. Градиентный спуск по квадратичной функции...................106 Упражнение 4. Обратное распространение с помощью MLP Scikit-learn......107 Упражнение 5. Применение регуляризации L2 (Ridge) к нейронной сети.........................................................................................................................107
Содержание 7 Упражнение 6. Реализация бинарной кросс-энтропийной функции потерь.....................................................................................................................108 Краткое содержание.................................................................................................109 Глава 2. Глубокое обучение с TensorFlow 2.x..............................................111 2.1. Введение в TensorFlow 2.x................................................................................111 2.1.1 Установка TensorFlow 2.x............................................................................118 2.1.2. Работа с тензорами в TensorFlow.............................................................119 2.1.3. Создание нейронных сетей с TensorFlow и Keras..................................130 2.1.4. Наборы данных TensorFlow и конвейеры данных.................................133 2.2. Создание, обучение и тонкая настройка нейронных сетей в TensorFlow...............................................................................................................137 2.2.1. Построение модели нейронной сети.......................................................138 2.2.2. Компиляция модели..................................................................................142 2.2.3. Обучение модели........................................................................................144 2.2.4. Оценка модели............................................................................................148 2.2.5. Тонкая настройка модели.........................................................................150 2.3. Использование TensorFlow Hub и Model Zoo для предобученных моделей......................................................................................................................163 2.3.1. Обзор TensorFlow Hub................................................................................163 2.3.2. Тонкая настройка предобученных моделей...........................................168 2.3.3. TensorFlow Model Zoo.................................................................................172 2.3.4. Трансферное обучение с предобученными моделями.........................177 2.3.5. Предобученные модели для обработки естественного языка (NLP).......................................................................................................................178 2.4. Сохранение, загрузка и развертывание моделей TensorFlow.....................182 2.4.1. Сохранение моделей TensorFlow..............................................................183 2.4.2. Загрузка моделей TensorFlow...................................................................190 2.4.3. Развертывание моделей TensorFlow........................................................196 Практические упражнения.....................................................................................202 Упражнение 1. Сохранение и загрузка модели TensorFlow...........................202 Упражнение 2. Сохранение и загрузка контрольных точек модели.............203 Упражнение 3. Развертывание модели TensorFlow с TensorFlow Serving....203 Упражнение 4. Преобразование модели в TensorFlow Lite............................204 Упражнение 5. Тонкая настройка предобученной модели из TensorFlow Hub......................................................................................................205 Краткое содержание.................................................................................................206 Глава 3. Глубокое обучение с Keras................................................................208 3.1. Введение в Keras API в TensorFlow 2.x...........................................................208 3.1.1. Основные характеристики Keras API ......................................................209 3.1.2. Типы моделей Keras: последовательный и Functional API...................210 3.1.3. Компиляция и обучение модели..............................................................218 3.1.4. Оценка и тестирование модели...............................................................221
8 Содержание 3.2. Создание Sequential API и Functional API с помощью Keras.......................223 3.2.1. Создание моделей с помощью Sequential API.......................................224 3.2.2. Создание моделей с помощью Functional API.......................................231 3.3. Установка контрольных точек модели, ранняя остановка и обратные вызовы в Keras...........................................................................................................242 3.3.1. Сохранение контрольных точек модели в Keras....................................242 3.3.2. Ранняя остановка в Keras..........................................................................246 3.3.3. Использование нескольких обратных вызовов.....................................250 3.3.4. Пользовательские обратные вызовы в Keras.........................................253 3.4. Развертывание моделей Keras в производстве.............................................257 3.4.1. Сохранение и загрузка модели Keras.......................................................258 3.4.2. Развертывание моделей Keras с TensorFlow Serving.............................263 3.4.3. Развертывание моделей Keras с Flask (интеграция с веб-приложениями)..........................................................................................269 3.4.4. Развертывание моделей Keras на мобильных устройствах с помощью TensorFlow Lite.................................................................................275 Практические упражнения.....................................................................................278 Упражнение 1. Сохранение и загрузка модели Keras......................................278 Упражнение 2. Развертывание модели Keras с TensorFlow Serving..............279 Упражнение 3. Развертывание модели Keras с помощью Flask....................280 Упражнение 4. Конвертирование модели Keras в TensorFlow Lite................281 Упражнение 5. Использование контрольных точек модели и ранней остановки...............................................................................................................282 Краткое содержание.................................................................................................283 Тесты, часть I: нейронные сети и основы глубокого обучения.............285 Часть II. РАСШИРЕННЫЕ ФРЕЙМВОРКИ ГЛУБОКОГО ОБУЧЕНИЯ............................................................................................................289 Глава 4. Глубокое обучение с PyTorch............................................................290 4.1. Введение в PyTorch и его динамические вычислительные графы.............291 4.1.1. Тензоры в PyTorch......................................................................................291 4.1.2. Динамические вычислительные графы..................................................297 4.1.3. Автоматическое дифференцирование с помощью Autograd..............302 4.2. Построение и обучение нейронных сетей с помощью PyTorch.................305 4.2.1. Определение модели нейронной сети в PyTorch..................................306 4.2.2. Определение функции потерь и оптимизатора....................................310 4.2.3. Обучение нейронной сети........................................................................312 4.2.4. Оценка модели............................................................................................317 4.3. Трансферное обучение и тонкая настройка предобученных моделей PyTorch.......................................................................................................................322 4.3.1. Предобученные модели в PyTorch...........................................................324 4.3.2. Извлечение признаков с помощью предобученных моделей.............328
Содержание 9 4.3.3. Тонкая настройка предобученной модели.............................................330 4.3.4. Обучение модели с трансферным обучением.......................................333 4.3.5. Оценка тонко настроенной модели.........................................................339 4.4. Сохранение и загрузка моделей в PyTorch....................................................342 4.4.1. Сохранение и загрузка всей модели........................................................343 4.4.2. Сохранение и загрузка state_dict модели...............................................348 4.4.3. Сохранение и загрузка контрольных точек модели.............................352 4.4.4. Лучшие практики сохранения и загрузки моделей..............................359 4.5. Развертывание моделей PyTorch с помощью TorchServe............................360 4.5.1. Подготовка модели для TorchServe..........................................................361 4.5.2. Написание пользовательского обработчика модели (опционально).......................................................................................................366 4.5.3. Создание архива модели (.mar)................................................................370 4.5.4. Запуск модельного сервера TorchServe...................................................371 4.5.5. Генерация предсказаний через API.........................................................372 4.5.6. Мониторинг и управление моделями с помощью TorchServe............374 Практические упражнения.....................................................................................376 Упражнение 1. Сохранение и загрузка state_dict модели...............................376 Упражнение 2. Сохранение и загрузка контрольной точки модели.............377 Упражнение 3. Развертывание модели PyTorch с помощью TorchServe......378 Упражнение 4. Загрузка предобученной модели и тонкая настройка.........379 Краткое содержание.................................................................................................380 Глава 5. Сверточные нейронные сети (CNN)...............................................382 5.1. Введение в CNN и обработку изображений...................................................383 5.1.1. Архитектура CNN........................................................................................384 5.1.2. Сверточный слой........................................................................................388 5.1.3. Слой пулинга...............................................................................................396 5.1.4. Функции активации в CNN.......................................................................404 5.1.5. Обработка изображений с помощью CNN..............................................404 5.2. Реализация CNN с TensorFlow, Keras и PyTorch.............................................410 5.2.1. Реализация CNN с TensorFlow..................................................................411 5.2.2. Реализация CNN с Keras.............................................................................414 5.2.3. Реализация CNN с PyTorch........................................................................417 5.3. Продвинутые методы CNN (ResNet, Inception, DenseNet)...........................422 5.3.1. ResNet: остаточные сети............................................................................423 5.3.2. Inception: GoogLeNet и модули Inception................................................429 5.3.3. DenseNet: плотные соединения для эффективного повторного использования признаков..................................................................................436 5.4. Практическое применение CNN (классификация изображений, обнаружение объектов)...........................................................................................442 5.4.1. Классификация изображений с использованием CNN.........................443 5.4.2. Обнаружение объектов с помощью CNN................................................447 5.4.3. Сравнение классификации изображений и обнаружения объектов.................................................................................................................450
10 Содержание 5.4.4. Реальные применения CNN......................................................................453 Практические упражнения.....................................................................................455 Упражнение 1. Реализация базовой CNN для классификации изображений.........................................................................................................455 Упражнение 2. Тонкая настройка предобученной модели ResNet для CIFAR-10..........................................................................................................456 Упражнение 3. Обнаружение объектов с помощью Faster R-CNN................457 Упражнение 4. Реализация модуля Inception в пользовательской CNN......458 Краткое содержание.................................................................................................460 Глава 6. Рекуррентные нейронные сети (RNN) и LSTM...........................462 6.1. Введение в RNN, LSTM и GRU...........................................................................463 6.1.1. Рекуррентные нейронные сети (RNN)....................................................463 6.1.2. Сети с долгой краткосрочной памятью (LSTM).....................................468 6.1.3. Управляемые рекуррентные блоки (GRU)..............................................473 6.2. Реализация RNN и LSTM в TensorFlow, Keras и PyTorch...............................477 6.2.1. Реализация RNN и LSTM в TensorFlow....................................................478 6.2.2. Реализация RNN и LSTM в Keras...............................................................482 6.2.3. Реализация RNN и LSTM в PyTorch..........................................................487 6.3. Применение RNN в обработке естественного языка...................................493 6.3.1. Моделирование языка с помощью RNN.................................................494 6.3.2. Генерация текста с помощью RNN...........................................................499 6.3.3. Анализ настроений с помощью RNN.......................................................503 6.4. Трансформерные сети для моделирования последовательностей............506 6.4.1. Архитектура трансформера......................................................................507 6.4.2. Реализация Transformer в TensorFlow.....................................................511 6.4.3. Реализация Transformer в PyTorch...........................................................517 6.4.4. Зачем нужны трансформеры?..................................................................520 Практические упражнения.....................................................................................524 Упражнение 1. Реализация простой RNN для классификации последовательностей...........................................................................................524 Упражнение 2. Реализация LSTM для генерации текста................................525 Упражнение 3. Реализация трансформера для обучения переводу последовательности в последовательность.....................................................527 Краткое содержание.................................................................................................528 Тесты, часть II: расширенные фреймворки глубокого обучения.........531 Часть III. ПЕРЕДОВОЙ ИИ И ЕГО ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ.....................................................................................................535 Глава 7. Расширенные концепции глубокого обучения..........................536 7.1. Автоэнкодеры и вариационные автоэнкодеры (VAE)..................................536 7.1.1. Автоэнкодеры: обзор.................................................................................537