Нейронные сети в экономике и финансах

В.С. Косарев

Нейронные сети 
в экономике 
и финансах

| И  ДЕЛО |

Москва | 2021

Косарев В.С., научный сотрудник Лаборатории системного анализа 
отраслевых рынков Института отраслевых рынков и инфраструктуры

Косарев, В.С.
Нейронные сети в экономике и финансах / В.С. Косарев. — Москва : 
Издательский дом «Дело» РАНХиГС, . —  с. — (Научные доклады: экономика). — ISBN ----

Искусственные нейронные сети в настоящее время находят широкое применение в экономике и финансах. Прежде всего они являются альтернативой эконометрических методов оценки, направленных на построение 
прогнозов, и решают  широкий спектр прикладных задач, связанных 
с предобработкой данных для исследования. Современному экономисту 
может быть полезно иметь данный инструмент в арсенале методов. Целью предлагаемой работы является популярное объяснение принципа 
работы данного инструмента, демонстрация некоторых сфер его применения, особенностей разработки и условий, при которых использование 
рассматриваемого вида машинного обучения может иметь практическую 
пользу.

 

ISBN ----  
УДК  
ББК /-

© ФГБОУ ВО «Российская академия народного хозяйства 
и государственной службы при Президенте Российской Федерации», 

К

УДК 
ББК /-
        К 

Содержание

Введение   .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 7

1. Практика применения нейронных сетей  .  .  10

1.1. Прогнозирование экономических 
и финансовых показателей   .  .  .  .  .  .  .  .  .  .  11

1.2. Предобработка данных эмпирического 
исследования .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  28

2. Подходы к интерпретации нейросетевых 
моделей  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  40

2.1. Анализ чувствительности  .  .  .  .  .  .  .  .  .  41

2.2. Подход на основе интегрированных 
градиентов  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  44

3. Основные архитектуры нейронных сетей.  .  51

3.1. Полносвязные нейросети  .  .  .  .  .  .  .  .  .  51

3.2. Рекуррентные нейросети  .  .  .  .  .  .  .  .  .  65

4. Особенности обучения  .  .  .  .  .  .  .  .  .  .  .  .  .  81

4.1. Адаптивные методы градиентного 
спуска  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  81

4.2. Ландшафт функции потерь  .  .  .  .  .  .  .  .  85

4.3. Отбор объясняющих факторов  .  .  .  .  .  .  93

Заключение  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .102

Список литературы   .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .106

Список терминов

Машинное обучение 
(МО)
– обучение компьютерной программы по мере накопления 
опыта относительно некоторого класса задач Т и целевой 
функции Р, если качество решения этих задач (относительно Р) улучшается с получением нового опыта [1]
Искусственная 
нейронная сеть 
(ИНС)

– вид машинного обучения, 
представляющий собой распределенный параллельный 
процессор, состоящий из элементарных единиц обработки 
информации, накапливающих 
экспериментальные знания 
и предоставляющий их для 
последующей обработки [2]
Архитектура 
искусственной 
нейронной сети 
(топология) 

– описание структуры ИНС, 
включающее информацию 
о количестве слоев, строении 
соединений между блоками, 
функциях активаций и других 
характеристиках
Глубокое обучение
– ветвь машинного обучения, 
архитектуры которой принадлежат глубоким ИНС. Термин 
«глубокий» означает наличие 
нескольких слоев со сложной 
структурой
ANN (Artifi cial neural 
networks)
– полносвязная нейронная сеть

В. С. К. Н     

RNN (Recurrent 
neural network)
– рекуррентная нейронная сеть, 
особенностью которой является возможность связывать 
предыдущую информацию
с текущей
LSTM (Long 
short-term memory)
– рекуррентная ячейка нейронной сети с состоянием долгосрочной памяти. Представляет собой особый тип RNN, 
способный обучаться долгосрочным зависимостям
GRU (Gated recurrent 
units)
– рекуррентная ячейка нейронной сети, представляющая собой упрощение LSTM
CNN (Convolution 
Neural Network)
– сверточная нейронная сеть,  
способная учитывать пространственную связь входных 
данных
Эпоха 
– характеризует этап обучения 
нейронной сети после задействования в процессе обучения всего множества тестовых 
данных
Батч
– набор входных данных искусственной нейронной сети, на 
множестве которых рассчитывается один шаг градиентного 
спуска
Паттерн
– один обучающий набор 
искуственной нейронной сети
Ядро свертки
– элемент сверточной нейронной сети, представляющий 
собой функцию отображения 
пространства данных в подпространство меньшей размерности

Введение

В XXI веке  начался интенсивный рост использования алгоритмов машинного обучения, в том числе искусственных нейронных сетей, одновременно во многих сферах [3]. Исключением не стали 
и прикладные области экономики и финансов [4, 
5, 6, 7, 8]. В настоящей работе представлен набор 
практик применения нейронных сетей в области 
экономики, показаны базовые принципы их работы, а также обозначен ряд особенностей построения нейросетевых моделей.
Стремительный рост популярности нейросетей 
в последние годы объясняется тремя синхронными 
тенденциями, давшими в совокупности заметный 
синергетический эффект. Первая —  накопление 
большого объема цифровых данных человечеством 
во всех сферах деятельности и исследовательский 
интерес в отношении их анализа, обусловленный 
в том числе потенциальной коммерческой выгодой 
(например, построение рекомендательных систем 
на основе истории покупок и просмотров пользователей в офлайн- и онлайн-торговле). Вторая —  
рост производительности вычислительных мощностей.  Эмпирическое наблюдение от 1975 года об 
удвоении каждые два года количества транзисторов, размещаемых на кристалле интегральной схемы, известное как закон Мура [9], продолжает с некоторой погрешностью выполняться и в 2021 году: 
первый микропроцессор Intel 4004, вышедший 

В. С. К. Н     

в 1971 году, имел всего 2250 транзисторов, в то время как в серверном процессоре 2021 года AMD Epic 7763 их около 48 млрд. 
Третья —  доступные сервисы для проведения ресурсоемких вычислений. Возможность выполнять сложные расчеты и хранить 
данные на серверах, расположенных в распределенных датацентрах, при помощи таких платформ, как Google Colab [10], 
Microsoft Azure [11] и других, существенно облегчила и ускорила работу ученых —  исследователей данных.
В результате в настоящее время в основе ряда успешно решаемых прикладных задач компьютерного зрения 1, машинной 
лингвистики, предиктивной аналитики лежат алгоритмы машинного обучения. Ставший широко известным публике успех 
некоторых решений 2 стал причиной ложного представления об 
универсальной применимости и почти неограниченных возможностях так называемого искусственного интеллекта. В некоторых материалах по машинному обучению начального 
уровня, предназначенных для широкой аудитории, подробности работы алгоритмов опускаются и используется обобщающий условный термин —  «искусственный интеллект». Однако, 
как утверждает, например, глава школы глубокого обучения 
МФТИ Надежда Зуева [12], все, что сейчас принято называть 
искусственным интеллектом, скорее является интеллектуальными системами. В их основе —  методы машинного обучения 
и в том числе нейросети, которые выполняют отдельные узкие 
функции. Они используют давно известную математику и в целом статичны: даже если модели дообучаются на новых данных 
в процессе работы, научиться решать иные задачи без вмешательства человека они не могут. В настоящий момент форма 
сильного искусственного интеллекта 3 остается областью науч
 
         1 Область машинного обучения, связанная с анализом изображений и видео.

 
         2 В 2016 году программа AlphaGo, в основе которой лежат алгоритмы машинного обучения, обыграла чемпиона мира по игре в го Ли Седоля, а впоследствии обыгрывала команды из нескольких ведущих профессионалов; 
в 2014–2016 годах использование нейронных сетей в машинном переводе 
текстов на другой язык позволило кардинально повысить качество, в результате чего часто перевод, сделанный компьютером, стал неотличим от 
перевода, сделанного специалистом [3].

 
         3 Предполагает, что машина обладает когнитивными способностями, то есть 
умеет мылить и осознает себя.

В 

ной фантастики. Примечательно, что отец-основатель и теоретик искусственных нейронных сетей Йошуа Бенжио полагает, 
что разработка «разумного» интеллекта для машины требует 
смены технологической парадигмы, а нейронные сети останутся лишь инструментом для решения прикладных задач.
Представление о всесильности нейронных сетей в какой-то 
степени может распространяться и на сферу экономики. Поэтому данная работа направлена в том числе на то, чтобы показать 
некоторые определенные области применения в экономике 
и финансах одного из типов машинного обучения —  искусственных нейронных сетей и попытаться обозначить условия, 
при которых их использование является целесообразным.
Стоит отметить, что данная работа не претендует на полноту обзора, а касается только некоторых популярных направлений применения нейронных сетей в экономической 
сфере. В первом разделе приведен обзор реальных примеров использования нейронных сетей в экономике и финансах. Рассматриваемые работы разделены на два блока исходя 
из целей использования машинного обучения: прогнозирование временного ряда и предобработка данных для исследования. В рамках второго блока рассматриваются два направления: вычленение числовых данных из текстовой информации 
и снижение размерности исходных данных. Во втором разделе приведены примеры методов интерпретации сложных нейросетевых моделей. Преимущественно раздел касается анализа чувствительности целевой переменной к факторам модели. 
В третьей части  более глубоко объясняются принципы работы 
и построения основных архитектур нейронных сетей, использованных в упомянутых в обзоре исследованиях. В последнем 
разделе собраны дополнительные особенности обучения, которые могут быть полезны на практике, а также некоторые решения и открытые проблемы из области обучения глубоких 
нейронных сетей, стоящих на повестке дня. Завершает работу раздел с основными выводами относительно применимости нейросетевых методов в экономике.

1. Практика 
применения 
нейронных сетей

Использование нейронных сетей в экономических задачах началось с попыток улучшить точность наукастинга макроэкономических показателей и прогнозирования показателей финансового 
рынка еще в конце XX века [13, 14, 15]. Нейронная 
сеть, как правило, использовалась как альтернатива структурной эконометрической модели или 
инкорпорировалась в гибридную модель прогнозирования временных рядов ARIMA —  ANN 1. Использование гибридной модели или объединение 
нескольких моделей стало обычной практикой 
для повышения точности прогнозирования с выходом работы [16] в 1982 году, в которой было продемонстрировано, что комбинация прогнозов из 
нескольких моделей приводит к повышению эффективности прогнозирования. В статье Клемена 
[17] представлен обзор большого количества ранних работ в этой области. Основная идея комбинирования моделей в прогнозировании заключалась 
в использовании возможностей каждой модели 
захватывать различные особенности поведения 
в данных.

 
         1 ARIMA (autoregressive integrated moving average) —  интегрированная модель авторегрессии скользящего среднего; ANN (artifi cial neural networks) —  искусственная нейронная сеть.