Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Библиотека Keras — инструмент глубокого обучения. Реализация нейронных сетей с помощью библиотек Theano и TensorFlow

Покупка
Новинка
Артикул: 882176.01.99
Доступ онлайн
639 ₽
В корзину
Книга представляет собой краткое, но обстоятельное введение в современные нейронные сети, искусственный интеллект и технологии глубокого обучения. В ней представлено более 20 работоспособных нейронных сетей, написанных на языке Python с использованием модульной библиотеки Keras, работающей поверх библиотек TensorFlow от Google или Theano от компании Lisa Lab. Описан функциональный API библиотеки Keras и возможности его расширения. Рассмотрены алгоритмы обучения с учителем (простая линейная регрессия, классический многослойный перцептрон, глубокие сверточные сети), а также алгоритмы обучения без учителя — автокодировщики и порождающие сети. Дано введение в технологию глубокого обучения с подкреплением и ее применение к построению игр со встроенным искусственным интеллектом. Издание предназначено для программистов и специалистов по анализу и обработке данных.
18
22
55
79
Джулли, А. Библиотека Keras — инструмент глубокого обучения. Реализация нейронных сетей с помощью библиотек Theano и TensorFlow : практическое руководство / А. Джулли, С. Пал. – Москва : ДМК Пресс, 2018. - 296 с. – ISBN 978-5-97060-573-8. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2259439 (дата обращения: 19.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Антонио Джулли, Суджит Пал
Библиотека Keras — 
инструмент глубокого 
обучения
Реализация нейронных сетей с помощью 
библиотек Theano и TensorFlow


Deep Learning with 
Keras
Implement neural networks with Keras on 
Theano and TensorFlow
Antonio Gulli
Sujit Pal
BIRMINGHAM – MUMBAI


Библиотека Keras – 
инструмент глубокого 
обучения
Реализация нейронных сетей с помощью 
библиотек Theano и TensorFlow
Антонио Джулли
Суджит Пал
 Москва, 2018


УДК    004.85Keras
ББК    32.971.3
Р51
Р51     Антонио Джулли, Суджит Пал
Библиотека Keras – инструмент глубокого обучения. Реализация 
нейронных сетей с помощью библиотек Theano и TensorFlow / пер. 
с англ. Слинкин А. А. – М.: ДМК Пресс, 2018. – 294 с.: ил.
             ISBN 978-5-97060-573-8
Книга представляет собой краткое, но обстоятельное введение 
в современные нейронные сети, искусственный интеллект и технологии глубокого обучения. В ней представлено более 20 работоспособных нейронных сетей, написанных на языке Python с использованием модульной библиотеки Keras, работающей поверх 
библиотек TensorFlow от Google или Theano от компании Lisa Lab. 
Описан функциональный API библиотеки Keras и возможности его 
расширения. Рассмотрены алгоритмы обучения с учителем (простая линейная регрессия, классический многослойный перцептрон, глубокие сверточные сети), а также алгоритмы обучения без 
учителя - автокодировщики и порождающие сети. Дано введение в 
технологию глубокого обучения с подкреплением и ее применение 
к построению игр со встроенным искусственным интеллектом.
Издание предназначено для программистов и специалистов по 
анализу и обработке данных.
	
	
	
	
	
	
        УДК   004.85Keras
	
	
	
	
	
	
        ББК   32.971.3
Authorized Russian translation of the English edition of Deep Learning 
with Keras, ISBN 978-1-78712-842-2. Copyright ©Packt Publishing 2017. First 
published in the English language under the title 'Deep Learning with Keras – 
(9781787128422)'. This translation is published and sold by permission of Published by Packt Publishing Ltd., which owns or controls all rights to publish and 
sell the same.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами 
без письменного разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но, поскольку вероятность технических ошибок все равно существует, издательство не может гарантировать абсолютную точность и правильность приводимых сведений. В связи с этим издательство не несет ответственности за 
возможные ошибки, связанные с использованием книги.
ISBN 978-1-78712-842-2 (англ.)                © Packt Publishing, 2017.
ISBN 978-5-97060-573-8 (рус.)                  © Оформление, перевод на русский язык, 
	
           издание, ДМК Пресс, 2018


Оглавление
Об авторах........................................................................................................9
О рецензенте..................................................................................................12
Предисловие..................................................................................................13
Назначение.................................................................................... 13
Чем глубокое обучение отличается от машинного обучения 
и искусственного интеллекта......................................................... 14
Краткое содержание книги............................................................. 16
Что необходимо для чтения книги.................................................. 17
На кого рассчитана эта книга......................................................... 17
Графические выделения................................................................ 17
Отзывы.......................................................................................... 18
Поддержка клиентов...................................................................... 19
Загрузка кода примеров..............................................................................................................19
Загрузка цветных иллюстраций................................................................................................20
Опечатки.............................................................................................................................................20
Нарушение авторских прав........................................................................................................20
Вопросы......................................................................................... 21
Глава 1. Основы нейронных сетей..............................................................22
Перцептрон.................................................................................... 24
Первый пример кода с использованием Keras..................................................................24
Многослойный перцептрон – первый пример нейросети............... 25
Проблемы обучения перцептрона и их решение.............................................................26
Сигмоида............................................................................................................................................27
Блок линейной ректификации...................................................................................................28
Функции активации........................................................................................................................28
Реальный пример – распознавание рукописных цифр.................... 29
Унитарное кодирование...............................................................................................................30
Определение простой нейронной сети в Keras..................................................................30
Прогон простой сети Keras и создание эталона для сравнения.................................34
Улучшение простой сети в Keras посредством добавления скрытых слоев..........35
Дальнейшее улучшение простой сети Keras с помощью прореживания................38
Тестирование различных оптимизаторов в Keras.............................................................41
Увеличение числа периодов......................................................................................................46
Управление скоростью обучения оптимизатора...............................................................46
Увеличение числа нейронов в скрытых слоях....................................................................47
Увеличение размера пакета.......................................................................................................48
Подведение итогов экспериментов по распознаванию рукописных цифр...........49


6    Оглавление
Применение регуляризации для предотвращения переобучения............................50
Настройка гиперпараметров......................................................................................................52
Предсказание выхода...................................................................................................................52
Практическое изложение алгоритма обратного распространения....52
В направлении глубокого обучения................................................ 54
Резюме.......................................................................................... 55
Глава 2. Установка Keras и описание API...................................................56
Установка Keras.............................................................................. 56
Шаг 1 – установка зависимостей..............................................................................................56
Шаг 2 – установка Theano...........................................................................................................57
Шаг 3 – установка TensorFlow....................................................................................................57
Шаг 4 – установка Keras...............................................................................................................58
Шаг 5 – проверка работоспособности Theano, TensorFlow и Keras...........................58
Настройка Keras............................................................................. 59
Установка Keras в контейнер Docker............................................... 60
Установка Keras в Google Cloud ML................................................. 62
Установка Keras в Amazon AWS....................................................... 64
Установка Keras в Microsoft Azure................................................... 65
Keras API........................................................................................ 67
Введение в архитектуру Keras...................................................................................................68
Обзор готовых слоев нейронных сетей.................................................................................69
Обзор готовых функций активации.........................................................................................72
Обзор функций потерь..................................................................................................................72
Обзор показателей качества......................................................................................................73
Обзор оптимизаторов...................................................................................................................73
Некоторые полезные операции................................................................................................73
Резюме.......................................................................................... 77
Глава 3. Глубокое обучение с применением сверточных сетей............79
Глубокая сверточная нейронная сеть.............................................. 80
Локальные рецептивные поля...................................................................................................80
Разделяемые веса и смещения.................................................................................................81
Пулинговые слои.............................................................................................................................82
Промежуточные итоги...................................................................................................................83
Пример ГСНС – LeNet..................................................................... 83
Код LeNet в Keras............................................................................................................................83
О силе глубокого обучения............................................................. 89
Распознавание изображений из набора CIFAR-10 с помощью 
глубокого обучения........................................................................ 90
Повышение качества распознавания набора CIFAR-10 путем 
углубления сети.................................................................................95
Повышение качества распознавания набора CIFAR-10 путем 
пополнения данных........................................................................ 97
Предсказание на основе результатов обучения на наборе CIFAR-10...................100


Оглавление    7
Очень глубокие сверточные сети для распознавания больших 
изображений................................................................................ 101
Распознавание кошек с помощью сети VGG-16..............................................................102
Использование встроенного в Keras модуля VGG-16...................................................103
Использование готовых моделей глубокого обучения для выделения  
признаков........................................................................................................................................104
Очень глубокая сеть inception-v3, применяемая для переноса обучения...........105
Резюме........................................................................................ 108
Глава 4. Порождающие состязательные сети и WaveNet.................... 109
Что такое ПСС?............................................................................ 109
Некоторые приложения ПСС...................................................................................................111
Глубокие сверточные порождающие состязательные сети........... 114
Применение Keras adversarial для создания ПСС, .
подделывающей MNIST................................................................ 118
Применение Keras adversarial для создания ПСС, .
подделывающей CIFAR................................................................ 124
WaveNet – порождающая модель для обучения генерации звука....132
Резюме........................................................................................ 141
Глава 5. Погружения слов.......................................................................... 143
Распределенные представления.................................................. 144
word2vec...................................................................................... 145
Модель skip-грамм......................................................................................................................146
Модель CBOW................................................................................................................................150
Извлечение погружений word2vec из модели.................................................................151
Сторонние реализации word2vec..........................................................................................154
Введение в GloVe......................................................................... 158
Использование предобученных погружений................................. 159
Обучение погружений с нуля..................................................................................................161
Настройка погружений на основе предобученной модели word2vec...................165
Настройка погружений на основе предобученной модели GloVe..........................169
Поиск погружений.......................................................................................................................170
Резюме........................................................................................ 174
Глава 6. Рекуррентная нейронная сеть – РНС........................................ 176
Простые ячейки РНС.................................................................... 177
Простая РНС с применением Keras – порождение текста..........................................179
Топологии РНС............................................................................. 184
Проблема исчезающего и взрывного градиента........................... 186
Долгая краткосрочная память – LSTM.......................................... 188
Пример LSTM – анализ эмоциональной окраски...........................................................191
Вентильный рекуррентный блок – GRU......................................... 197
Пример GRU – частеречная разметка.................................................................................198
Двунаправленные РНС................................................................. 205


8    Оглавление
РНС с запоминанием состояния................................................... 206
Пример LSTM с запоминанием состояния – предсказание потребления 
электричества................................................................................................................................206
Другие варианты РНС.................................................................. 212
Резюме........................................................................................ 213
Глава 7. Дополнительные модели машинного обучения..................... 214
Функциональный API Keras........................................................... 215
Регрессионные сети.................................................................... 218
Пример регрессии – предсказание содержания бензола в воздухе.....................218
Обучение без учителя – автокодировщики................................... 223
Пример автокодировщика – векторы предложений....................................................225
Композиция глубоких сетей......................................................... 234
Пример – сеть с памятью для ответов на вопросы........................................................235
Расширение Keras........................................................................ 242
Пример – использование слоя lambda...............................................................................242
Пример – построение пользовательского слоя нормировки....................................243
Порождающие модели................................................................. 247
Пример – глубокие сновидения.............................................................................................248
Пример – перенос стиля...........................................................................................................255
Резюме........................................................................................ 260
Глава 8. Искусственный интеллект играет в игры................................. 262
Обучение с подкреплением.......................................................... 263
Максимизация будущих вознаграждений.........................................................................264
Q-обучение.....................................................................................................................................265
Глубокая Q-сеть как Q-функция............................................................................................. 267
Баланс между исследованием и использованием.........................................................268
Воспроизведение опыта...........................................................................................................269
Пример – глубокая Q-сеть для поимки мяча....................................................................269
Что дальше?................................................................................. 282
Резюме........................................................................................ 283
Заключение................................................................................................. 285
Keras 2.0 – что нового................................................................... 286
Установка Keras 2.0..................................................................................................................... 287
Изменения API............................................................................................................................... 287


Об авторах
Антонио Джулли – директор по программному обеспечению и 
предприниматель с тягой к созданию и управлению глобальными инновационными технологическими компаниями. Специализируется в области поисковых систем, онлайновых сервисов, 
машинного обучения, информационного поиска, аналитики и облачных вычислений. Профессиональный опыт приобретал в шести странах Европы и Америки. Антонио работал в должности исполнительного директора, генерального директора, технического 
директора, вице-президента и руководителя группы в различных 
отраслях: от издательского бизнеса (Elsevier) до интернет-технологий для конечного пользователя (Ask.com и Tiscali) и НИОКР в 
сфере высоких технологий (Microsoft и Google).
Выражаю благодарность своему талантливому соавтору, 
Суджиту Палу, за неизменное стремление помочь, не требуя 
ничего взамен. Я очень ценю его преданность командной работе, благодаря чему эта книга и смогла стать чем-то стоящим.
Благодарю также Франсуа Шолле и многих людей, внесших 
вклад в Keras, за то, что они тратили свое время и силы на 
создание впечатляющего инструментария для глубокого обучения, который прост в использовании и не требует сверхъестественных усилий.
Спасибо также нашим редакторам из издательства Packt, 
Дивия Пуджари, Черил Дса и Динешу Павару, и рецензентам из 
Packt и Google за поддержку и ценные предложения. Без вас эта 
книга не состоялась бы.
Я также благодарен своему начальнику, Брэду, и коллегам 
Майку и Коррадо из Google, которые подвигли меня написать 
эту книгу, читали ее черновые варианты и высказывали свое 
мнение.
Еще я признателен кофейне Same Fusy в Варшаве, где у меня 
впервые появилась мысль написать эту книгу, когда я наслаждался чашечкой чая, выбранной из весьма обширного меню. 


10    Об авторах
Это место обладает особой магией, и я горячо рекомендую его 
всем, ищущим, где бы подстегнуть свое воображение (http://
www.samefusy.pl/).
Далее я хочу поблагодарить отдел кадров в Google, пошедший навстречу моему пожеланию отдать все отчисления от 
продажи этой книги на стипендии представителям этнических меньшинств.
Спасибо моим друзьям, Эрику, Лауре, Франческо, Этторе и 
Антонелле, которые поддерживали меня, когда я в том нуждался. Дружба – большая ценность, и вы – мои настоящие друзья.
Спасибо моему сыну Лоренцо, который побудил меня устроиться в Google, моему сыну Леонардо за постоянное стремление открывать что-то новое и моей дочери Авроре, благодаря 
которой я встречаю каждый день с улыбкой. И наконец, спасибо моему отцу Элио и матери Марии за их любовь.
Суджит Пал – руководитель отдела технологических исследований в Elsevier Labs, работает над созданием интеллектуальных систем поиска по содержимому и метаданным. В область 
его интересов входят информационный поиск, онтологии, обработка естественных языков, машинное обучение и распределенная обработка. В настоящее время занимается классификацией 
и установлением сходства изображений с применением моделей 
глубокого обучения. До этого работал в промышленности безрецептурных медицинских препаратов, где участвовал в построении 
онтологической системы семантического поиска, организации 
контекстной рекламы и платформ обработки данных. Ведет посвященный технологиям блог Salmon Run.
Выражаю благодарность своему соавтору, Антонио Джулли, 
пригласившему меня принять участие в написании книги. Это 
редкая возможность, благодаря которой я многому научился. 
К тому же, если бы не он, меня бы здесь в буквальном смысле не 
было.
Хочу поблагодарить Рона Дэниэла, директора Elsevier Labs, 
и Брэдли П. Аллена, главного архитектора в Elsevier, которые 
познакомили меня с глубоким обучением и заставили поверить в возможности этой технологии.


Доступ онлайн
639 ₽
В корзину