Практикум по нейронным сетям

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ  
БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ  
«ФИНАНСОВЫЙ УНИВЕРСИТЕТ ПРИ ПРАВИТЕЛЬСТВЕ  
РОССИЙСКОЙ ФЕДЕРАЦИИ»  
(ФИНАНСОВЫЙ УНИВЕРСИТЕТ)

В.А. Иванюк

ПРАКТИКУМ 
ПО НЕЙРОННЫМ СЕТЯМ

 
Учебное пособие

МОСКВА
2024

ISBN 978-5-00172-601-2

УДК 51
ББК 22.1
 
И23

Рецензенты:
Золотова Т.В., доктор физ.-мат. наук, профессор Департамента анализа данных и машинного обучения Финансового Университета;
Самойлова И.А., к.э.н., кафедра «Высшая математика» 
МГТУ им. Н.Э. Баумана.

И23
Иванюк В.А.
Практикум по нейронным сетям: Учебное пособие / В.А. Иванюк. — М.: Прометей, 2024. — 230 с. 

ISBN 978-5-00172-601-2

В учебном пособии рассматриваются математические 
основы нейронных сетей, описываются методы оптимизации. 
Описаны типовые задачи, решаемые нейронными сетями, 
такие как задачи классификации и  регрессии. Также рассматриваются методы машинного обучения. Учебное пособие 
может быть полезно практикам, студентам и  аналитикам, 
изучающим нейронные сети.

© Иванюк В.А., 2024
© Издательство «Прометей», 2024

ОГЛАВЛЕНИЕ

ГЛАВА 1. НЕЙРОНЫ И ИСКУССТВЕННЫЕ 
НЕЙРОННЫЕ СЕТИ ....................................................................5

1.1. Модель искусственного нейрона ............................... 5

1.2. Топология нейронных сетей ...................................10

1.3. Методы обучения нейронной сети ............................17

ГЛАВА 2. МЕТОДЫ ОПТИМИЗАЦИИ НЕЙРОННОЙ  
СЕТИ ............................................................................................22

2.1. Дельта-правило ....................................................22

2.2. Метод обратного распространения ошибки ...............29

2.3. Метод Ньютона .....................................................46

ГЛАВА 3. ПРАКТИКУМ В EXCEL............................................50

3.1. Аналитические нейронные сети ..............................50

3.2. Введение в прогнозирование на основе нейронных 
сетей ...................................................................57

ГЛАВА 4. ТИПОВЫЕ ЗАДАЧИ, РЕШАЕМЫЕ 
НЕЙРОННЫМИ СЕТЯМИ .........................................................65

4.1. История и классификация нейронных сетей .............66

4.2. Применение нейронных сетей  
в задачах прогнозирования ....................................72

4.3. Применение нейронных сетей  
в задачах классификации ..................................... 102

4.4. Распознавание эмоций в тексте на основе  
нейронных сетей ................................................. 112

ГЛАВА 5. МЕТОДЫ МАШИННОГО ОБУЧЕНИЯ .................122

5.1. Аналитические ресурсы языка Python ................... 122

5.2. Практикум по методам машинного обучения 
от простого к сложному  ....................................... 158

СПИСОК ЛИТЕРАТУРЫ .........................................................228

ГЛАВА 1.  
НЕЙРОНЫ И ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

1.1. Модель искусственного нейрона

Рассмотрим изображение среза нейрона головного 
мозга млекопитающих. Условно его можно разделить 
на три области: дендриты, тело нейрона и аксон как показано на рисунке 1.
На рисунке 2 представлена формализация нейрона. 
Приведем описание нейрона с точки зрения биологии 
и математики. Искусственный нейрон представляет собой 
максимально упрощённую математическую модель, представленную суперпозицией функций рецепции, агрегации и активации.
Степень математической примитивизации современных моделей нейронов чрезвычайно высока. Так, реальный нейрон в каждом синапсе содержит порядка тысячи 
электрических и химических переключателей сигнала 
(триггеров). При этом у наиболее близкой к реальности 
модели Ходжкина-Хаксли только в рецептивном поле 
насчитывается 24 параметра каждого элемента. Таким 
образом, математическая формула, описывающая работу 
одного нейрона будет иметь не менее 24 млн аргументов. 
Головной мозг среднего взрослого человека содержит 
не менее 1017 триггерных связей, что примерно соответствует объему всех вычислительных мощностей, используемых человечеством на начало 2020 года.
Нейронная сеть — математическая модель совокупности определённых видов нейронов, связанных между 
собой определённой топологией.

Рисунок 1. Биологический нейрон

Рисунок 2. Формализация нейрона

Единого стандарта математических и графических 
обозначений для нейронных сетей не существует. Традиционно нейрон обозначают кругом с вписанными в него 
в обратном порядке функциями активации, агрегации 
и рецепции. Если используется стандартный нейрон 
Уидроу, то все обозначения опускают.
Обратите внимание на изображения моделей нейрона 
(риc. 3). Каждый автор изображает один и тот же вид нейронов по-своему. Однако наиболее информативным является первый (самый верхний) рисунок [4].

Рисунок 3. Изображение нейрона Уидроу  
у различных авторов

Наиболее оптимальным является традиционный формульный (математический) вид записи полной функции 
нейрона. Также часто используют последовательную 
запись суперпозиции с разделением функций запятыми. 
В том случае, когда у нейрона отсутствует обработка 
одной из функций, вместо неё записывают ноль. Рассмотрим несколько примеров такой записи одного и того же 
нейрона (рисунок 4).

Рисунок 4. Запись нейрона

1.2. Топология нейронных сетей

Топология простых плоских нейронных сетей обычно 
изображается в форме графа, линии в котором обозначают сигнальные связи, а круглые области — отдельные 
нейроны. Внутри круглых областей обычно записывают 
функцию нейрона в определенной форме. Поскольку нейронные сети имеют часто повторяемые однотипные области, их принято разделять на схеме графа, такие области 
называют слоями. В случае многомерных слоёв их объединяют в функциональные области.
В нейронной сети принято выделять только входной 
и выходной слои. Остальные слои или области называют 
скрытыми или промежуточными, обычно они и несут 
в себе функционал сети, поэтому их топологии уделяется 
отдельное внимание.
В качестве обозначающих индексов обычно используют следующий вид записи: i — номер входа, j — номер 
слоя.
Рассмотрим примеры топологий графов плоских (простых) сетей (рисунок 5).

Рисунок 5. Примеры топологий сетей

Топология объёмных сетей записывается указанием 
количества одинаковых нейронов в следующем порядке: