Регрессионный анализ динамических систем
Покупка
Основная коллекция
Тематика:
Математическое моделирование
Издательство:
НИЦ ИНФРА-М
Автор:
Сарычев Александр Павлович
Год издания: 2022
Кол-во страниц: 229
Дополнительно
Вид издания:
Монография
Уровень образования:
Дополнительное профессиональное образование
ISBN: 978-5-16-017656-7
ISBN-онлайн: 978-5-16-110274-9
DOI:
10.12737/1865377
Артикул: 775997.01.01
В монографии изложены статистические методы моделирования динамических систем по данным наблюдений их функционирования в условиях структурной неопределенности по составу входных переменных и степени статистической зависимости между случайными составляющими в моделях. В рамках метода группового учета аргументов (МГУА) разработаны критерии качества моделей, основанные на разбиении выборки наблюдений на обучающую и проверочную подвыборки, и критерии скользящего экзамена.
Применение изложенных методов моделирования позволяет глубже проникнуть в суть явлений и объектов в процессе научных исследований, позволяет лучше описать состояние и прогнозировать поведение систем в условиях структурной неопределенности в различных приложениях.
Книга предназначена для специалистов по математическому моделированию в различных областях науки и практики, многомерному статистическому анализу, а также для студентов и аспирантов учебных направлений «прикладная математика», «информатика и кибернетика».
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Магистратура
- 02.04.01: Математика и компьютерные науки
- 02.04.02: Фундаментальная информатика и информационные технологии
- 02.04.03: Математическое обеспечение и администрирование информационных систем
- 09.04.03: Прикладная информатика
- ВО - Специалитет
- 01.05.01: Фундаментальные математика и механика
- Аспирантура
- 02.06.01: Компьютерные и информационные науки
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
РЕГРЕССИОННЫЙ АНАЛИЗ ДИНАМИЧЕСКИХ СИСТЕМ А.П. САРЫЧЕВ МОНОГРАФИЯ Москва ИНФРА-М 2022
УДК 519.25:681.5(075.4) ББК 22.172.6 С20 Сарычев А.П. С20 Регрессионный анализ динамических систем : монография / А.П. Сарычев. — Москва : ИНФРА-М, 2022. — 229 с. — (Научная мысль). — DOI 10.12737/1865377. ISBN 978-5-16-017656-7 (print) ISBN 978-5-16-110274-9 (online) В монографии изложены статистические методы моделирования динамических систем по данным наблюдений их функционирования в условиях структурной неопределенности по составу входных переменных и степени статистической зависимости между случайными составляющими в моделях. В рамках метода группового учета аргументов (МГУА) разработаны критерии качества моделей, основанные на разбиении выборки наблюдений на обучающую и проверочную подвыборки, и критерии скользящего экзамена. Применение изложенных методов моделирования позволяет глубже проникнуть в суть явлений и объектов в процессе научных исследований, позволяет лучше описать состояние и прогнозировать поведение систем в условиях структурной неопределенности в различных приложениях. Книга предназначена для специалистов по математическому моделированию в различных областях науки и практики, многомерному статистическому анализу, а также для студентов и аспирантов учебных направлений «Прикладная математика», «Информатика и кибернетика». УДК 519.25:681.5(075.4) ББК 22.172.6 Р е ц е н з е н т ы: Малайчук В.П., доктор технических наук, профессор; Даниев Ю.Ф., кандидат технических наук, старший научный сотрудник ISBN 978-5-16-017656-7 (print) ISBN 978-5-16-110274-9 (online) © Сарычев А.П., 2022
ОГЛАВЛЕНИЕ ПРЕДИСЛОВИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 ГЛАВА 1 ОДНОМЕРНАЯ РЕГРЕССИЯ В УСЛОВИЯХ ПОВТОРНЫХ НАБЛЮДЕНИЙ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.1 Постановка задачи. Проблема разбиения данных на обучающую и проверочную выборки в методе группового учета аргументов . . . . . . 13 1.2 Исследование критерия регулярности МГУА в схеме повторных наблюдений . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 1.3 Исследование зависимости J-функционала качества модели от состава множества регрессоров . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 1.4 Статистический критерий для проверки редукции модели оптимальной сложности в условиях повторных наблюдений . . . . . . . . . . . . . . . . . . . . . 31 1.5 Усредненный критерий регулярности МГУА . . . . . . . . . . . . . . . . . . . . . . 35 1.6 Условие редукции модели оптимальной сложности для усредненного критерия регулярности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 Заключение к главе 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 ГЛАВА 2 ВЕКТОРНАЯ РЕГРЕССИЯ В УСЛОВИЯХ ПОВТОРНЫХ НАБЛЮДЕНИЙ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.1 Априорные предположения об объекте . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.2 Вывод формул для оценивания коэффициентов . . . . . . . . . . . . . . . . . . . . 49 2.3 Итерационная процедура оценивания коэффициентов . . . . . . . . . . . . . . . 51 2.4 Системный критерий регулярности МГУА . . . . . . . . . . . . . . . . . . . . . . . . 53 2.5 Исследование системного критерия регулярности МГУА . . . . . . . . . . . . 59 Заключение к главе 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 ГЛАВА 3 ПОИСК ОПТИМАЛЬНОГО МНОЖЕСТВА РЕГРЕССОРОВ В ЗАДАЧАХ ОДНОМЕРНОЙ И ВЕКТОРНОЙ РЕГРЕССИИ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 3.1 Многоэтапный итерационный алгоритм структурной идентификации в задаче одномерной регрессии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 3.2 Многоэтапный итерационный алгоритм структурной идентификации в задаче векторной регрессии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 Заключение к главе 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
ГЛАВА 4 ОДНОМЕРНАЯ АВТОРЕГРЕССИЯ В УСЛОВИЯХ КВАЗИПОВТОРНЫХ НАБЛЮДЕНИЙ . . . . . . . . . . . . . . . . . . . . . . . . 82 4.1 Априорные предположения о динамическом объекте . . . . . . . . . . . . . . . 83 4.2 Оценивание коэффициентов в авторегрессионной модели . . . . . . . . . . . 85 4.3 Критерий регулярности МГУА для одномерной авторегрессии . . . . . . . 90 4.4 Исследование критерия регулярности МГУА . . . . . . . . . . . . . . . . . . . . . . 93 Заключение к главе 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 ГЛАВА 5 ВЕКТОРНАЯ АВТОРЕГРЕССИЯ В УСЛОВИЯХ КВАЗИПОВТОРНЫХ НАБЛЮДЕНИЙ . . . . . . . . . . . . . . . . . . . . . . . . 102 5.1 Априорные предположения о динамической системе . . . . . . . . . . . . . . . . 103 5.2 Оценивание коэффициентов в системах авторегрессионных моделей . . . 107 5.3 Системный критерий регулярности МГУА . . . . . . . . . . . . . . . . . . . . . . . . 111 5.4 Исследование системного критерия регулярности . . . . . . . . . . . . . . . . . . 116 5.5 Итерационная процедура оценивания коэффициентов в системе авторегрессионных моделей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 5.6 Исследование итерационной процедуры . . . . . . . . . . . . . . . . . . . . . . . . . . 137 Заключение к главе 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 Библиографический список к предисловию и главам 1–5. . . . . . . . . . . . . 145 ГЛАВА 6 КЛАССИФИКАЦИЯ СОСТОЯНИЙ ОБЪЕКТА НА ОСНОВЕ ДИСКРИМИНАНТНОГО АНАЛИЗА . . . . . . . . . . . . . . 159 6.1 Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 6.2 Критерий поиска оптимального множества признаков с разбиением наблюдений на обучающие и проверочные подвыборки . . . . . . . . . . . . . 163 6.3 Критерий скользящего экзамена для поиска оптимального множества признаков . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166 6.4 Существование дискриминантной функции, оптимальной по составу включенных в нее признаков . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 6.5 Условие редукции оптимальной дискриминантной функции в способе с разбиением на обучающие и проверочные выборки . . . . . . . . . . . . . . . 173 6.6 Условие редукции оптимальной дискриминантной функции в способе скользящего экзамена . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175 6.7 Итерационный алгоритм МГУА для поиска дискриминантной функции оптимальной сложности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Заключение к главе 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 183 Библиографический список к главе 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
. ГЛАВА 7 КЛАССИФИКАЦИЯ СОСТОЯНИЙ ОБЪЕКТА, ОПИСЫВАЕМЫХ СИСТЕМАМИ РЕГРЕССИОННЫХ МОДЕЛЕЙ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 7.1 Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189 7.2 Построение систем регрессионных моделей по обучающим выборкам двух классов состояний . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193 7.3 Классификация на основе двух систем регрессионных моделей. Теоретические значения вероятностей правильной и ошибочной классификаций . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 7.4 Решающее правило классификации по результатам идентификации двух систем регрессионных моделей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200 Заключение к главе 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203 Библиографический список к главе 7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 ГЛАВА 8 КЛАССИФИКАЦИЯ СОСТОЯНИЙ ДИНАМИЧЕСКОЙ СИСТЕМЫ, ФУНКЦИОНИРОВАНИЕ КОТОРОЙ ОПИСЫВАЕТСЯ ВЕКТОРНОЙ АВТОРЕГРЕССИЕЙ . . . . . . . . . . . 205 8.1 Априорные предположения о динамической системе . . . . . . . . . . . . . . . . 206 8.2 Оценивание коэффициентов в системах авторегрессионных моделей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210 8.3 Решающее правило классификации на основе двух систем авторегрессионных моделей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214 8.4 Теоретические значения вероятностей правильной и ошибочной классификаций . . . . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . . . . . . . . 219 8.5 Вероятности правильной и ошибочной классификаций по результатам идентификации двух систем авторегрессионных моделей . . . . . . . . . . . . 221 Заключение к главе 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 Библиографический список к главе 8. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223 ЗАКЛЮЧЕНИЕ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225 Суммарно 2+2+9+ 230 +1+16 = 260 стр. (на 3
1 ПРЕДИСЛОВИЕ Статистические методы математического моделирования являются эффективным инструментом познания в научных исследованиях, позволяют лучше описать состояние и прогнозировать поведение систем в различных приложениях. Весьма распространёнными классами статистических моделей, применяемых в задачах моделирования в различных областях науки и практики, являются регрессионные и авторегрессионные модели. Как правило, эти модели необходимо строить в условиях структурной неопределенности по составу входных переменных в отдельных моделях и по степени статистической зависимости между случайными составляющими в системе моделей. Проиллюстрируем смысл этих неопределенностей на некоторых примерах. А. Пусть поставлена задача одномерной регрессии в предположении, что статистическая модель объекта имеет вид ξ θ ξ o 1 o o o j m j j x y y , (1) где y – наблюдаемая выходная переменная; o y – ненаблюдаемая составляющая выходной переменной; ξ – случайная величина с нулевым математическим ожиданием и ограниченной дисперсией; j x o – j -я входная переменная объекта из множества o X , участвующих в формировании выходной переменной объекта; o m – число входных переменных, принадлежащих множеству o X ; T o 2 o 1 o o ) θ , ... , θ , θ ( o m θ – вектор неизвестных, не равных нулю коэффициентов. Будем говорить, что задача одномерной регрессии поставлена в узком смысле, если необходимо: определить оценки коэффициентов в модели регрессии для выходной переменной как функции от заданного (известного) множества входных переменных, определить оценку ошибки предсказания по этой модели. Будем говорить, что задача одномерной регрессии поставлена в широком смысле, если необходимо установить, какие именно входные
переменные X X o , входят в регрессионную модель ( o X – априорно неизвестно, а X – заданное множество наблюдаемых входных переменных). Б. Пусть поставлена задача векторной регрессии в предположении, что статистическая модель объекта имеет вид , , ... ,2 ,1 ), ( ξ ) ( ) ( θ ) ξ( ) ( ) ( ) ( o o o o h k k k x k k k y k y k m 1 j j j (2) где k – номер выходной переменной; h – число выходных переменных; ) (k y – наблюдаемая k -я выходная переменная; ) ( o k y – ненаблюдаемая (незашумленная) составляющая k -й выходной переменной; ) (ξ k – ненаблюдаемая аддитивная случайная составляющая в k -й выходной переменной; ) ( o k x j – j -я входная переменная из множества входных переменных X k X ) ( o , участвующих в формировании k -ой выходной переменной, причем множества входных переменных для разных выходных переменных могут быть, вообще говоря, различными; ) ( o k m – число входов, принадлежащих множеству ) ( o k X ; )) ( θ ),..., ( θ ), ( θ ( ) ( ) ( o 2 o 1 o o o k k k k k m θ – вектор неизвестных, не равных нулю коэффициентов; ) ξ(k – случайная величина с нулевым математическим ожиданием и ограниченной дисперсией. Если случайные величины ) ξ(k для различных выходных переменных статистически независимы, то задача построения статистической модели (2) распадается на h независимых задач одномерной регрессии (1), каждая из которых может решаться отдельно. Если случайные величины ) ξ(k для различных выходных переменных статистически зависимы, то выбор метода построения статистической модели (2) зависит от того, одинаковы ли у них множества входных переменных. Если множества входных переменных одинаковы для всех выходных переменных, т. е. h k X k X ..., ,2 ,1 , ) ( o o , то задача построения статистической модели (2), по-прежнему, сводится к h независимым задачам регрессионного анализа. Если же для каждой выходной переменной существует свой набор входных переменных, то традиционный подход становится неадекватным, и необходимо применять процедуру совместного оценивания коэффициентов системы регрессионных моделей, в которой учитывается факт статистической зависимости между случайными величинами h k k ..., ,2 ,1 ,) ξ( . Особенности задач регрессии, решаемых в условиях структурной неопределенности, приводят к необходимости осторожного применения существующих методов статистического моделирования и требуют разработки новых методов построения статистических моделей.
Под статистической моделью будем понимать математическую модель, которая в своей структуре имеет хотя бы одну случайную составляющую, построена по наблюдаемым данным и, отображая объект исследования, способна описать его состояние. Будем считать, что состояние исследуемого объекта можно описать двумя способами: 1) указать значения переменных состояния (выходных переменных), 2) отнести состояние к известному классу состояний. Первый способ описания можно реализовать, например, подстановкой значений входных переменных в построенные регрессионные модели (1)–(2). Второй способ можно реализовать, например, классификацией состояния на основе решающего правила, построенного по обучающим выборкам наблюдений. Процесс описания состояния моделируемого объекта будем называть идентификацией состояния объекта. Основная цель построения статистических моделей, рассматриваемых в данной работе – идентифицировать состояния исследуемого объекта в условиях структурной неопределенности. Приведем краткое описание исследуемых классов моделей. 1. Одномерная регрессионная модель с детерминированными коэффициентами. Статистическая модель объекта, имеющего m входов и один выход, имеет вид (1). По результатам наблюдения объекта требуется определить множество входов X X o и оценить вектор коэффициентов o θ . 2. Векторная регрессионная модель с детерминированными коэффициентами. Статистическая модель объекта с m входами и h выходами, имеет вид (2). По результатам наблюдения объекта требуется определить множество входов X k X ) ( o и оценить вектор коэффициентов ) ( o k θ для каждого h k ..., ,2 ,1 . 3. Итерационные алгоритмы поиска оптимального множества регрессоров в задачах одномерной и векторной регрессии. Алгоритмы позволяют определить структуру и оценить коэффициенты регрессионной модели одномерной и векторной переменной от входных переменных в условиях, когда априорно неизвестно, какие именно входные переменные участвуют в формировании выходной переменной, и неизвестна ковариационная матрица случайных составляющих в структуре модели. 4. Одномерная авторегрессионная модель с детерминированными коэффициентами. Статистическая модель объекта с одним выходом, имеет вид (2), но входные переменные в ней образованы предыдущими значениями выходной переменной. По результатам наблюдений требуется определить множество предыдущих значений выходной переменной, определяющих текущее значение выходной переменной, и оценить вектор коэффициентов o θ .
5. Векторная авторегрессионная модель с детерминированными коэффициентами. Статистическая модель объекта с h выходами, имеет вид (2), но входные переменные в ней образованы предыдущими значениями выходных переменных объекта. По результатам наблюдения объекта требуется определить множество предыдущих значений выходных переменных, определяющих текущие значения выходных переменных, и оценить вектор коэффициентов ) ( o k θ для каждого h k ..., ,2 ,1 . 6. Классификация состояний объекта на основе дискриминантного анализа. Статистическая модель в виде дискриминантной функции, разделяющей пространство переменных состояния объекта на две области, каждая из которых соответствует одному из двух классов состояний объекта. Дискриминантная функция строится по обучающим выборкам наблюдений, принадлежность которых к одному из классов априорно установлена. Требуется не только оценить коэффициенты дискриминантной функции, но и отыскать оптимальное множество признаков, в котором ошибка классификации на новых данных будет наименьшей. Модель позволяет идентифицировать состояние объекта: по переменным состояния можно на основе решающего правила отнести состояние к первому или второму классу. 7. Классификация состояний объекта на основе векторной регрессии. Статистическая модель классификации состояний статического объекта, который описывается моделью из пункта 2. Объект может находиться в одном из двух классов состояний, и каждый класс описывается своей системой регрессионных моделей. По обучающим выборкам двух классов состояний построены две системы регрессионных моделей. Требуется сформулировать решающее правило. Модель позволяет идентифицировать состояние объекта: по значениям входов и выходов можно на основе модели отнести его к первому или второму классу. 8. Классификация состояний динамической системы на основе векторной авторегрессии. Статистическая модель классификации состояний динамической системы, которая описывается моделью из пункта 5. Система может находиться в одном из двух классов состояний, и каждый класс описывается своей системой авторегрессионных моделей. По обучающим выборкам двух классов состояний построены две системы авторегрессионных моделей. Требуется сформулировать решающее правило. Модель позволяет идентифицировать состояние динамической системы: по значениям входов и выходов можно на основе модели отнести его к первому или второму классу. Для построения регрессионных, авторегрессионных и дискриминантных моделей в условиях структурной неопределенности, необходимо: а) выбрать класс моделей; б) указать метод оценивания коэффициентов в моделях; в) построить алгоритм генерирования структур перебираемых моделей; г) принять критерий качества моделей.
Класс моделей определяется исходными предположениями – априорными гипотезами, и зависит от природы исследуемого объекта и опыта исследователя. Метод оценивания коэффициентов определяется, как правило, априорными гипотезами, и в условиях структурной неопределенности его выбор в решающей степени определяет качество решения задачи моделирования и предопределяет выбор критерия для оценивания качества моделей. Алгоритм генерирования структур перебираемых моделей также определяется априорными гипотезами, и основными ограничениями в его выборе являются количество входных переменных и класс исследуемых моделей. Развитие вычислительной техники привело к тому, что во многих приложениях становится возможным полный перебор всех возможных структур моделей. Критерий качества модели должен отражать степень достижения цели моделирования. К сожалению, в процессе моделирования по разным причинам не всегда удается организовать проверку всех моделей-претендентов на практике, поэтому выбор критерия качества модели и его обоснование в условиях структурной неопределенности становится актуальной задачей. Существуют два подхода и, соответственно, два типа критериев качества статистических моделей, которые применяются при решении задач математического моделирования по данным наблюдений в условиях структурной неопределенности. Первый подход и тип критериев основаны на разбиении исходной выборки данных на обучающую и проверочную части: на обучающей выборке оцениваются коэффициенты модели, а на проверочной оценивается качество модели. Наибольшее развитие этот подход получил в методе группового учета аргументов (МГУА), который разработал академик НАН Украины А.Г. Ивахненко [43–55]. Этот метод широко известен и развивается за рубежом [176, 180, 183, 205]. Периодически теории и применению МГУА посвящаются специальные номера научных журналов [87–88, 153–155, 178, 179, 210–212], проводятся международные семинары ”International Workshop on Inductive Modelling” (IWIM2007, Prague, Czech Republic; IWIM-2009, Krynica, Poland; IWIM-2011–2016, Zhukyn-Kyiv, Ukraine; IWIM-2017–2019, Lviv, Ukraine) и конференции ”International Conference on Inductive Modelling” (ICIM-2002, Lviv, Ukraine; ICIM-2008, Kyiv, Ukraine; ICIM-2010, Yevpatoria, Ukraine; ICIM-2013, Kyiv, Ukraine). Существенный вклад в развитие этого подхода внесли D.M. Allen [169, 170], A.R. Barron [171], S.J. Farlow [205], R.R. Hocking [174–175], H.R. Madala [180], J.-A. Muller [176, 183], F. Lemke [183], R.D. Snee [206], M. Stone [209], H. Tamura, T. Kondo [213], В.И. Васильев [21–22], И.С. Енюков [38], Ю.П. Зайченко [41], Л.Г. Малиновский [75–77], В.С. Степашко [50, 139–146]. Развитию и исследованию этого подхода посвящены предлагаемая монография и многие работы автора.