Библиотека Keras — инструмент глубокого обучения. Реализация нейронных сетей с помощью библиотек Theano и TensorFlow
Покупка
Новинка
Тематика:
Общенаучное знание и теории
Издательство:
ДМК Пресс
Год издания: 2018
Кол-во страниц: 296
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Дополнительное профессиональное образование
ISBN: 978-5-97060-573-8
Артикул: 882176.01.99
Книга представляет собой краткое, но обстоятельное введение в современные нейронные сети, искусственный интеллект и технологии глубокого обучения. В ней представлено более 20 работоспособных нейронных сетей, написанных на языке Python с использованием модульной библиотеки Keras, работающей поверх библиотек TensorFlow от Google или Theano от компании Lisa Lab. Описан функциональный API библиотеки Keras и возможности его расширения. Рассмотрены алгоритмы обучения с учителем (простая линейная регрессия, классический многослойный перцептрон, глубокие сверточные сети), а также алгоритмы обучения без учителя — автокодировщики и порождающие сети. Дано введение в технологию глубокого обучения с подкреплением и ее применение к построению игр со встроенным искусственным интеллектом.
Издание предназначено для программистов и специалистов по анализу и обработке данных.
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Антонио Джулли, Суджит Пал Библиотека Keras — инструмент глубокого обучения Реализация нейронных сетей с помощью библиотек Theano и TensorFlow
Deep Learning with Keras Implement neural networks with Keras on Theano and TensorFlow Antonio Gulli Sujit Pal BIRMINGHAM – MUMBAI
Библиотека Keras – инструмент глубокого обучения Реализация нейронных сетей с помощью библиотек Theano и TensorFlow Антонио Джулли Суджит Пал Москва, 2018
УДК 004.85Keras
ББК 32.971.3
Р51
Р51 Антонио Джулли, Суджит Пал
Библиотека Keras – инструмент глубокого обучения. Реализация
нейронных сетей с помощью библиотек Theano и TensorFlow / пер.
с англ. Слинкин А. А. – М.: ДМК Пресс, 2018. – 294 с.: ил.
ISBN 978-5-97060-573-8
Книга представляет собой краткое, но обстоятельное введение
в современные нейронные сети, искусственный интеллект и технологии глубокого обучения. В ней представлено более 20 работоспособных нейронных сетей, написанных на языке Python с использованием модульной библиотеки Keras, работающей поверх
библиотек TensorFlow от Google или Theano от компании Lisa Lab.
Описан функциональный API библиотеки Keras и возможности его
расширения. Рассмотрены алгоритмы обучения с учителем (простая линейная регрессия, классический многослойный перцептрон, глубокие сверточные сети), а также алгоритмы обучения без
учителя - автокодировщики и порождающие сети. Дано введение в
технологию глубокого обучения с подкреплением и ее применение
к построению игр со встроенным искусственным интеллектом.
Издание предназначено для программистов и специалистов по
анализу и обработке данных.
УДК 004.85Keras
ББК 32.971.3
Authorized Russian translation of the English edition of Deep Learning
with Keras, ISBN 978-1-78712-842-2. Copyright ©Packt Publishing 2017. First
published in the English language under the title 'Deep Learning with Keras –
(9781787128422)'. This translation is published and sold by permission of Published by Packt Publishing Ltd., which owns or controls all rights to publish and
sell the same.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами
без письменного разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но, поскольку вероятность технических ошибок все равно существует, издательство не может гарантировать абсолютную точность и правильность приводимых сведений. В связи с этим издательство не несет ответственности за
возможные ошибки, связанные с использованием книги.
ISBN 978-1-78712-842-2 (англ.) © Packt Publishing, 2017.
ISBN 978-5-97060-573-8 (рус.) © Оформление, перевод на русский язык,
издание, ДМК Пресс, 2018
Оглавление Об авторах........................................................................................................9 О рецензенте..................................................................................................12 Предисловие..................................................................................................13 Назначение.................................................................................... 13 Чем глубокое обучение отличается от машинного обучения и искусственного интеллекта......................................................... 14 Краткое содержание книги............................................................. 16 Что необходимо для чтения книги.................................................. 17 На кого рассчитана эта книга......................................................... 17 Графические выделения................................................................ 17 Отзывы.......................................................................................... 18 Поддержка клиентов...................................................................... 19 Загрузка кода примеров..............................................................................................................19 Загрузка цветных иллюстраций................................................................................................20 Опечатки.............................................................................................................................................20 Нарушение авторских прав........................................................................................................20 Вопросы......................................................................................... 21 Глава 1. Основы нейронных сетей..............................................................22 Перцептрон.................................................................................... 24 Первый пример кода с использованием Keras..................................................................24 Многослойный перцептрон – первый пример нейросети............... 25 Проблемы обучения перцептрона и их решение.............................................................26 Сигмоида............................................................................................................................................27 Блок линейной ректификации...................................................................................................28 Функции активации........................................................................................................................28 Реальный пример – распознавание рукописных цифр.................... 29 Унитарное кодирование...............................................................................................................30 Определение простой нейронной сети в Keras..................................................................30 Прогон простой сети Keras и создание эталона для сравнения.................................34 Улучшение простой сети в Keras посредством добавления скрытых слоев..........35 Дальнейшее улучшение простой сети Keras с помощью прореживания................38 Тестирование различных оптимизаторов в Keras.............................................................41 Увеличение числа периодов......................................................................................................46 Управление скоростью обучения оптимизатора...............................................................46 Увеличение числа нейронов в скрытых слоях....................................................................47 Увеличение размера пакета.......................................................................................................48 Подведение итогов экспериментов по распознаванию рукописных цифр...........49
6 Оглавление Применение регуляризации для предотвращения переобучения............................50 Настройка гиперпараметров......................................................................................................52 Предсказание выхода...................................................................................................................52 Практическое изложение алгоритма обратного распространения....52 В направлении глубокого обучения................................................ 54 Резюме.......................................................................................... 55 Глава 2. Установка Keras и описание API...................................................56 Установка Keras.............................................................................. 56 Шаг 1 – установка зависимостей..............................................................................................56 Шаг 2 – установка Theano...........................................................................................................57 Шаг 3 – установка TensorFlow....................................................................................................57 Шаг 4 – установка Keras...............................................................................................................58 Шаг 5 – проверка работоспособности Theano, TensorFlow и Keras...........................58 Настройка Keras............................................................................. 59 Установка Keras в контейнер Docker............................................... 60 Установка Keras в Google Cloud ML................................................. 62 Установка Keras в Amazon AWS....................................................... 64 Установка Keras в Microsoft Azure................................................... 65 Keras API........................................................................................ 67 Введение в архитектуру Keras...................................................................................................68 Обзор готовых слоев нейронных сетей.................................................................................69 Обзор готовых функций активации.........................................................................................72 Обзор функций потерь..................................................................................................................72 Обзор показателей качества......................................................................................................73 Обзор оптимизаторов...................................................................................................................73 Некоторые полезные операции................................................................................................73 Резюме.......................................................................................... 77 Глава 3. Глубокое обучение с применением сверточных сетей............79 Глубокая сверточная нейронная сеть.............................................. 80 Локальные рецептивные поля...................................................................................................80 Разделяемые веса и смещения.................................................................................................81 Пулинговые слои.............................................................................................................................82 Промежуточные итоги...................................................................................................................83 Пример ГСНС – LeNet..................................................................... 83 Код LeNet в Keras............................................................................................................................83 О силе глубокого обучения............................................................. 89 Распознавание изображений из набора CIFAR-10 с помощью глубокого обучения........................................................................ 90 Повышение качества распознавания набора CIFAR-10 путем углубления сети.................................................................................95 Повышение качества распознавания набора CIFAR-10 путем пополнения данных........................................................................ 97 Предсказание на основе результатов обучения на наборе CIFAR-10...................100
Оглавление 7 Очень глубокие сверточные сети для распознавания больших изображений................................................................................ 101 Распознавание кошек с помощью сети VGG-16..............................................................102 Использование встроенного в Keras модуля VGG-16...................................................103 Использование готовых моделей глубокого обучения для выделения признаков........................................................................................................................................104 Очень глубокая сеть inception-v3, применяемая для переноса обучения...........105 Резюме........................................................................................ 108 Глава 4. Порождающие состязательные сети и WaveNet.................... 109 Что такое ПСС?............................................................................ 109 Некоторые приложения ПСС...................................................................................................111 Глубокие сверточные порождающие состязательные сети........... 114 Применение Keras adversarial для создания ПСС, . подделывающей MNIST................................................................ 118 Применение Keras adversarial для создания ПСС, . подделывающей CIFAR................................................................ 124 WaveNet – порождающая модель для обучения генерации звука....132 Резюме........................................................................................ 141 Глава 5. Погружения слов.......................................................................... 143 Распределенные представления.................................................. 144 word2vec...................................................................................... 145 Модель skip-грамм......................................................................................................................146 Модель CBOW................................................................................................................................150 Извлечение погружений word2vec из модели.................................................................151 Сторонние реализации word2vec..........................................................................................154 Введение в GloVe......................................................................... 158 Использование предобученных погружений................................. 159 Обучение погружений с нуля..................................................................................................161 Настройка погружений на основе предобученной модели word2vec...................165 Настройка погружений на основе предобученной модели GloVe..........................169 Поиск погружений.......................................................................................................................170 Резюме........................................................................................ 174 Глава 6. Рекуррентная нейронная сеть – РНС........................................ 176 Простые ячейки РНС.................................................................... 177 Простая РНС с применением Keras – порождение текста..........................................179 Топологии РНС............................................................................. 184 Проблема исчезающего и взрывного градиента........................... 186 Долгая краткосрочная память – LSTM.......................................... 188 Пример LSTM – анализ эмоциональной окраски...........................................................191 Вентильный рекуррентный блок – GRU......................................... 197 Пример GRU – частеречная разметка.................................................................................198 Двунаправленные РНС................................................................. 205
8 Оглавление РНС с запоминанием состояния................................................... 206 Пример LSTM с запоминанием состояния – предсказание потребления электричества................................................................................................................................206 Другие варианты РНС.................................................................. 212 Резюме........................................................................................ 213 Глава 7. Дополнительные модели машинного обучения..................... 214 Функциональный API Keras........................................................... 215 Регрессионные сети.................................................................... 218 Пример регрессии – предсказание содержания бензола в воздухе.....................218 Обучение без учителя – автокодировщики................................... 223 Пример автокодировщика – векторы предложений....................................................225 Композиция глубоких сетей......................................................... 234 Пример – сеть с памятью для ответов на вопросы........................................................235 Расширение Keras........................................................................ 242 Пример – использование слоя lambda...............................................................................242 Пример – построение пользовательского слоя нормировки....................................243 Порождающие модели................................................................. 247 Пример – глубокие сновидения.............................................................................................248 Пример – перенос стиля...........................................................................................................255 Резюме........................................................................................ 260 Глава 8. Искусственный интеллект играет в игры................................. 262 Обучение с подкреплением.......................................................... 263 Максимизация будущих вознаграждений.........................................................................264 Q-обучение.....................................................................................................................................265 Глубокая Q-сеть как Q-функция............................................................................................. 267 Баланс между исследованием и использованием.........................................................268 Воспроизведение опыта...........................................................................................................269 Пример – глубокая Q-сеть для поимки мяча....................................................................269 Что дальше?................................................................................. 282 Резюме........................................................................................ 283 Заключение................................................................................................. 285 Keras 2.0 – что нового................................................................... 286 Установка Keras 2.0..................................................................................................................... 287 Изменения API............................................................................................................................... 287
Об авторах Антонио Джулли – директор по программному обеспечению и предприниматель с тягой к созданию и управлению глобальными инновационными технологическими компаниями. Специализируется в области поисковых систем, онлайновых сервисов, машинного обучения, информационного поиска, аналитики и облачных вычислений. Профессиональный опыт приобретал в шести странах Европы и Америки. Антонио работал в должности исполнительного директора, генерального директора, технического директора, вице-президента и руководителя группы в различных отраслях: от издательского бизнеса (Elsevier) до интернет-технологий для конечного пользователя (Ask.com и Tiscali) и НИОКР в сфере высоких технологий (Microsoft и Google). Выражаю благодарность своему талантливому соавтору, Суджиту Палу, за неизменное стремление помочь, не требуя ничего взамен. Я очень ценю его преданность командной работе, благодаря чему эта книга и смогла стать чем-то стоящим. Благодарю также Франсуа Шолле и многих людей, внесших вклад в Keras, за то, что они тратили свое время и силы на создание впечатляющего инструментария для глубокого обучения, который прост в использовании и не требует сверхъестественных усилий. Спасибо также нашим редакторам из издательства Packt, Дивия Пуджари, Черил Дса и Динешу Павару, и рецензентам из Packt и Google за поддержку и ценные предложения. Без вас эта книга не состоялась бы. Я также благодарен своему начальнику, Брэду, и коллегам Майку и Коррадо из Google, которые подвигли меня написать эту книгу, читали ее черновые варианты и высказывали свое мнение. Еще я признателен кофейне Same Fusy в Варшаве, где у меня впервые появилась мысль написать эту книгу, когда я наслаждался чашечкой чая, выбранной из весьма обширного меню.
10 Об авторах Это место обладает особой магией, и я горячо рекомендую его всем, ищущим, где бы подстегнуть свое воображение (http:// www.samefusy.pl/). Далее я хочу поблагодарить отдел кадров в Google, пошедший навстречу моему пожеланию отдать все отчисления от продажи этой книги на стипендии представителям этнических меньшинств. Спасибо моим друзьям, Эрику, Лауре, Франческо, Этторе и Антонелле, которые поддерживали меня, когда я в том нуждался. Дружба – большая ценность, и вы – мои настоящие друзья. Спасибо моему сыну Лоренцо, который побудил меня устроиться в Google, моему сыну Леонардо за постоянное стремление открывать что-то новое и моей дочери Авроре, благодаря которой я встречаю каждый день с улыбкой. И наконец, спасибо моему отцу Элио и матери Марии за их любовь. Суджит Пал – руководитель отдела технологических исследований в Elsevier Labs, работает над созданием интеллектуальных систем поиска по содержимому и метаданным. В область его интересов входят информационный поиск, онтологии, обработка естественных языков, машинное обучение и распределенная обработка. В настоящее время занимается классификацией и установлением сходства изображений с применением моделей глубокого обучения. До этого работал в промышленности безрецептурных медицинских препаратов, где участвовал в построении онтологической системы семантического поиска, организации контекстной рекламы и платформ обработки данных. Ведет посвященный технологиям блог Salmon Run. Выражаю благодарность своему соавтору, Антонио Джулли, пригласившему меня принять участие в написании книги. Это редкая возможность, благодаря которой я многому научился. К тому же, если бы не он, меня бы здесь в буквальном смысле не было. Хочу поблагодарить Рона Дэниэла, директора Elsevier Labs, и Брэдли П. Аллена, главного архитектора в Elsevier, которые познакомили меня с глубоким обучением и заставили поверить в возможности этой технологии.