Эволюционные нейросети на языке Python

Интернет-магазин:  
www.dmkpress.com

Оптовая продажа:
КТК “Галактика”
books@alians-kniga.ru
www.дмк.рф

Эта книга дает исчерпывающее понимание основных концепций 
нейроэволюции и формирует навыки использования подобных 
алгоритмов для решения практических задач. 

Для специалистов по аназизу данных и машинному обучению, стремящихся реализовывать алгоритмы нейроэволюции с нуля.

Требуются базовые знания в области глубокого обучения и нейронных 
сетей, а также навыки программирования на языке Python.
Эволюционные 
нейросети 
на языке Python

Ярослав Омельяненко

9 785970 608548

ISBN 978-5-97060-854-8

Эволюционные нейросети на языке Python

Прочитав книгу, вы:

•   откроете для себя самые популярные алгоритмы нейроэволюции –  
     NEAT, HyperNEAT и ES-HyperNEAT;
•   узнаете, как реализовать алгоритмы нейроэволюции на языке 
    Python;
•   освоите продвинутые инструменты визуализации для исследования 
     сложных графов топологии нейронных сетей;
•   научитесь проверять результаты экспериментов и анализировать 
     производительность алгоритмов;
•   узнаете, как улучшить производительность существующих методов 
     при помощи нейроэволюции;
•   научитесь применять глубокую нейроэволюцию для разработки 
     автономного агента, играющего в классические игры Atari.

Ярослав Омельяненко

Эволюционные  
нейросети  
на языке Python

Hands-On  
Neuroevolution  
with Python

Iaroslav Omelianenko

Эволюционные  
нейросети  
на языке Python

Ярослав Омельяненко

Москва, 2020

УДК 004.421
ББК 32.811
О57

Ярослав Омельяненко
О57 Эволюционные нейросети на языке Python / пер. с анг. В. С. Яценкова. – 
М.: ДМК Пресс, 2020. – 310 с.: ил. 

ISBN 978-5-97060-854-8

Эта книга дает всестороннее представление о нейроэволюции – подходе к обучению 
искусственных нейронных сетей, который использует эволюционные алгоритмы, чтобы 
упростить процесс решения сложных задач в таких областях, как игры, робототехника 
и моделирование естественных процессов.
Читатель начнет знакомство с ключевыми концепциями и методами нейроэволюции, написав несложный код на языке Python, а затем получит практический опыт 
работы с популярными библиотеками Python и научится решать распространенные 
и нестандартные прикладные задачи, используя алгоритмы на основе нейроэволюции. 
Речь пойдет о том, как адаптировать методы нейроэволюции к существующим проектам нейронных сетей для повышения эффективности обучения и принятия решений; 
в завершение будет рассказано о топологиях нейронных сетей и о том, как нейроэволюция позволяет развивать сложную топологию из простейшей базовой структуры.
Издание предназначено для специалистов в области машинного обучения и искусственного интеллекта, которые стремятся реализовать алгоритмы нейроэволюции 
с нуля. Наличие базовых знаний в области глубокого обучения и нейронных сетей, 
а также программирования на языке Python обязательно.

УДК 004.421
ББК 32.811

This translation is published and sold by permission of O’Reilly Media, Inc., which owns or 
controls all rights to publish and sell the same.

Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.

ISBN  (анг.) 9781838824914
ISBN  (рус.) 978-5-97060-854-8

©  Packt Publishing 2019. First published in the English language 
under the title ‘Hands-on Neuroevolution with Python
© Оформление, издание, перевод, ДМК Пресс, 2020

Моей жене Люси с благодарностью за то,  
что она была моим лучшим другом и любящей супругой  
на протяжении всей нашей совместной жизни

Оглавление

Предисловие от издательства ...................................................................13
Отзывы и пожелания ............................................................................................13
Список опечаток ...................................................................................................13
Нарушение авторских прав..................................................................................13

Об авторе ........................................................................................................14

О рецензентах .................................................................................................15

Предисловие от автора .........................................................................16
Для кого написана эта книга................................................................................17
О чем эта книга .....................................................................................................17
Как получить максимальную отдачу от этой книги ...........................................18
Скачивание исходного кода примеров ...............................................................18
Скачивание цветных иллюстраций  ....................................................................18
Условные обозначения и соглашения, принятые в книге .................................18

ЧАСТЬ I. Основы эволюционных вычислительных  
алгоритмов и методов нейроэволюции ...............................................19

Глава 1. Обзор методов нейроэволюции .............................................21
1.1 Эволюционные алгоритмы и нейроэволюционные методы .......................22

1.1.1 Генетические операторы .........................................................................23
1.1.2 Схемы кодирования генома ....................................................................25
1.1.3 Коэволюция ..............................................................................................27
1.1.4 Модульность и иерархия .........................................................................27

1.2 Обзор алгоритма NEAT ...................................................................................28

1.2.1 Схема кодирования NEAT  .......................................................................28
1.2.2 Структурные мутации .............................................................................29
1.2.3 Кроссовер с номером обновления ..........................................................30
1.2.4 Видообразование .....................................................................................32

1.3 NEAT на основе гиперкуба .............................................................................33

1.3.1 Сети, производящие составные паттерны .............................................34
1.3.2 Конфигурация субстрата .........................................................................35
1.3.3 CPPN с развивающимися связями и алгоритм HyperNEAT ..................36

1.4 HyperNEAT с развиваемым субстратом .........................................................37

1.4.1 Плотность информации в гиперкубе ......................................................37

1.4.2 Квадродерево как эффективный экстрактор информации ..................38
1.4.3 Алгоритм ES-HyperNEAT  ........................................................................40

1.5 Метод оптимизации поиском новизны ........................................................42

1.5.1 Поиск новизны и естественная эволюция .............................................43
1.5.2 Метрика новизны.....................................................................................43

1.6 Заключение .....................................................................................................45
1.7 Дополнительное чтение .................................................................................45

Глава 2. Библиотеки Python и настройка среды разработки .......47
2.1 Библиотеки Python для экспериментов с нейроэволюцией ........................47

2.1.1 Библиотека NEAT-Python.........................................................................48
2.1.2 Библиотека PyTorch NEAT .......................................................................49
2.1.3 Библиотека MultiNEAT .............................................................................51
2.1.4 Библиотека Deep Neuroevolution ............................................................53

2.2 Настройка среды .............................................................................................56

2.2.1 Pipenv ........................................................................................................56
2.2.2 Virtualenv ..................................................................................................57
2.2.3 Anaconda Distribution ...............................................................................58

2.3 Заключение .....................................................................................................59

ЧАСТЬ II. Применение методов нейроэволюции  
для решения классических задач информатики ..............................61

Глава 3. Использование NEAT для оптимизации  
решения задачи XOR  ...................................................................................63
3.1 Технические требования ................................................................................63
3.2 Суть задачи XOR ..............................................................................................64
3.3 Целевая функция для эксперимента XOR .....................................................65
3.4 Настройка гиперпараметров .........................................................................66

3.4.1 Секция NEAT .............................................................................................67
3.4.2 Секция DefaultStagnation ........................................................................67
3.4.3 Секция DefaultReproduction ....................................................................68
3.4.4 Секция DefaultSpeciesSet .........................................................................68
3.4.5 Секция DefaultGenome .............................................................................68
3.4.6 Гиперпараметры эксперимента XOR .....................................................70

3.5 Выполнение эксперимента XOR ....................................................................72

3.5.1 Настройка среды ......................................................................................72
3.5.2 Исходный код эксперимента XOR ..........................................................73
3.5.3 Запуск эксперимента и анализ результатов ..........................................76

3.6 Упражнения .....................................................................................................81
3.7 Заключение .....................................................................................................83

Глава 4. Балансировка тележки с обратным маятником ...............85
4.1 Технические требования ................................................................................85
4.2 Задача балансировки обратного маятника ...................................................86

Оглавление  7
7  Оглавление

4.2.1 Уравнения движения балансировщика ..................................................86
4.2.2 Уравнения состояния и управляющие воздействия ..............................87
4.2.3 Взаимодействие между решателем и симулятором ..............................88

4.3 Целевая функция для эксперимента по балансировке  
одиночного маятника ..........................................................................................90

4.3.1 Моделирование тележки .........................................................................90
4.3.2 Цикл моделирования ...............................................................................91
4.3.3 Оценка приспособленности генома .......................................................93

4.4 Эксперимент по балансировке одиночного маятника ................................93

4.4.1 Выбор гиперпараметров .........................................................................94
4.4.2 Настройка рабочей среды........................................................................95
4.4.3 Исходный код эксперимента ..................................................................95
4.4.4 Запуск эксперимента по балансировке одиночного маятника ............98

4.5 Упражнения ...................................................................................................100
4.6 Задача балансировки двойного маятника ..................................................101

4.6.1 Переменные состояния системы и уравнения движения ...................101
4.6.2 Подкрепляющий сигнал ........................................................................104
4.6.3 Начальные условия и обновление состояния ......................................104
4.6.4 Управляющие действия .........................................................................106
4.6.5 Взаимодействие между решателем и симулятором ............................106

4.7 Целевая функция для эксперимента по балансировке  
двойного маятника .............................................................................................107
4.8 Эксперимент по балансировке ....................................................................108

4.8.1 Выбор гиперпараметров .......................................................................108
4.8.2 Настройка рабочей среды......................................................................110
4.8.3 Реализация эксперимента .....................................................................110
4.8.4 Запуск эксперимента с двумя маятниками .........................................111

4.9 Упражнения ...................................................................................................115
4.10 Заключение..................................................................................................116

Глава 5. Автономное прохождение лабиринта ................................117
5.1 Технические требования ..............................................................................117
5.2 Задача навигации в лабиринте ....................................................................118
5.3 Среда моделирования лабиринта ................................................................119

5.3.1 Агент-решатель лабиринта ...................................................................119
5.3.2 Реализация среды моделирования лабиринта ....................................121
5.3.3 Хранение записей агента ......................................................................125
5.3.4 Визуализация записей агента ...............................................................127

5.4 Определение целевой функции с использованием  
показателя приспособленности ........................................................................127
5.5 Проведение эксперимента с простой конфигурацией лабиринта ............129

5.5.1 Выбор гиперпараметров .......................................................................130
5.5.2 Файл конфигурации лабиринта ............................................................132
5.5.3 Настройка рабочей среды......................................................................132
5.5.4 Реализация движка эксперимента .......................................................132
5.5.5 Проведение эксперимента по навигации в простом лабиринте........135

5.6 Упражнения ...................................................................................................140

8  Оглавление
  8

5.7 Эксперимент со сложной конфигурацией лабиринта ................................140

5.7.1 Настройка гиперпараметров .................................................................141
5.7.2 Настройка рабочей среды и движок эксперимента .............................141
5.7.3 Выполнение эксперимента по прохождению  
сложного лабиринта .......................................................................................141

5.8 Упражнения ...................................................................................................143
5.9 Заключение ...................................................................................................144

Глава 6. Метод оптимизации поиском новизны ..............................145
6.1 Технические требования ..............................................................................145
6.2 Метод оптимизации поиском новизны ......................................................146
6.3 Основы реализации алгоритма поиска новизны .......................................147

6.3.1 NoveltyItem .............................................................................................147
6.3.2 NoveltyArchive ........................................................................................148

6.4 Функция приспособленности с оценкой новизны .....................................149

6.4.1 Оценка новизны .....................................................................................150
6.4.2 Метрика новизны...................................................................................152
6.4.3 Функция приспособленности ................................................................153

6.5 Эксперимент с простой конфигурацией лабиринта ..................................158

6.5.1 Настройка гиперпараметров.................................................................159
6.5.2 Настройка рабочей среды......................................................................159
6.5.3 Реализация движка эксперимента .......................................................160
6.5.4 Простой эксперимент по навигации в лабиринте  
с поиском новизны .........................................................................................163
6.5.5 Упражнение 1 .........................................................................................168

6.6 Эксперимент со сложной конфигурацией лабиринта ................................169
6.6.1 Настройка гиперпараметров и рабочей среды ....................................169
6.6.2 Выполнение эксперимента по прохождению  
труднодоступного лабиринта ........................................................................169
6.6.3 Упражнение 2 .........................................................................................172

6.7 Заключение ...................................................................................................173

ЧАСТЬ III. Передовые методы нейроэволюции .............................175

Глава 7. Зрительное различение с NEAT на основе гиперкуба ... 177
7.1 Технические требования...............................................................................177
7.2 Косвенное кодирование нейросетей с CPPN ...............................................178

7.2.1 Кодирование CPPN .................................................................................178
7.2.2 Нейроэволюция с развитием топологии на основе гиперкуба ...........179

7.3 Основы эксперимента по зрительному различению .................................180

7.3.1 Определение целевой функции ............................................................182

7.4 Подготовка эксперимента по зрительному различению ...........................182

7.4.1 Тестовая среда зрительного дискриминатора .....................................183
7.4.2 Движок эксперимента ............................................................................190

7.5 Эксперимент по зрительному различению объектов ................................196

7.5.1 Выбор гиперпараметра ..........................................................................196
7.5.2 Настройка рабочей среды ......................................................................197

Оглавление  9