Численный вероятностный анализ неопределенных данных

Б. С. Добронец
О. А. Попова

Монография

Институт космических и информационных технологий

чиСленный 
верОятнОСтный АнАлиз
неОПреДеленных ДАнных

Впервые изложен подход к использованию численного вероятностного анализа для решения задач с 
неточными входными данными. Основное внимание 
уделено численному решению  систем линейных алгебраических уравнений и нелинейных уравнений,  
а также задачам оптимизации и прогнозирования. 
Разработанные алгоритмы могут быть использованы 
для исследования сложных систем с входными данными, заданными различными типами неопределенности.

9 785763 830934

ISBN 978-5-7638-3093-4

Министерство образования и науки
Российской Федерации
Сибирский федеральный университет

Б.С. Добронец, О.А. Попова

Численный вероятностный анализ

неопределенных данных

монография

Красноярск
СФУ
2014

УДК 517.972.9
ББК 22.193

Рецензенты:

Ю.И. Рогозов, д-р техн. наук, проф., зав. кафедрой САиТ ЮФУ;

Г.A. Доррер, д-р техн. наук, проф., зав. кафедрой систетемотехники СибГТУ

Добронец, Б.С.
Д 564 Численный вероятностный анализ неопределенных данных: монография / Б.С. Добронец, О.А. Попова — Красноярск: Сиб. федер. ун-т, 
2014. — 168 с.

ISBN 978-5-7638-3093-4

Впервые изложен подход к использованию численного вероятностного
анализа для решения задач с неточными входными данными. Основное
внимание уделено численному решению систем линейных алгебраических
уравнений и нелинейных уравнений, а также задачам оптимизации и прогнозирования. Разработанные алгоритмы могут быть использованы для исследования сложных систем с входными данными, заданными различными
типами неопределенности.
Предназначена для специалистов, работающих в области решения задач с неточными входными данными, в условиях их неопределенности и
неоднозначности. Может быть полезной для студентов, магистрантов и аспирантов.

УДК 517.972.9
ББК 22.193
c⃝
Сибирский федеральный
университет 2014
ISBN 978-5-7638-3093-4

Оглавление

Предисловие
6

Введение
16

1. Элиторная неопределенность
25
1.1. Эмпирическая функция распределения
. . . . . . . . . . . .
27
1.2. Дискретная (квантильная) оценка функции распределения .
28
1.3. Гистограммы . . . . . . . . . . . . . . . . . . . . . . . . . . .
29
1.4. Полиграмма . . . . . . . . . . . . . . . . . . . . . . . . . . . .
30
1.5. Восстановление плотности распределения методом Розенблатта–
Парзена . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
31
1.6. Проекционные методы . . . . . . . . . . . . . . . . . . . . . .
32

2. Интервальное представление неопределенности
33
2.1. Интервальные числа . . . . . . . . . . . . . . . . . . . . . . .
33
2.2. Интервальные расширения
. . . . . . . . . . . . . . . . . . .
35
2.3. Интервальные сплайны
. . . . . . . . . . . . . . . . . . . . .
39
2.4. Интервальные интегралы . . . . . . . . . . . . . . . . . . . .
49
2.5. Интервальные СЛАУ
. . . . . . . . . . . . . . . . . . . . . .
53

3. Интервальные функции распределения (P-boxes)
61
3.1. Разложение интервальной функции распределения
. . . . .
63
3.2. Декартово произведение . . . . . . . . . . . . . . . . . . . . .
65
3.3. Независимость переменных . . . . . . . . . . . . . . . . . . .
67
3.4. Сжатие
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
68
3.5. Агрегация . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
69
3.6. Критика . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
71
3.7. Гистограммные функции распределения . . . . . . . . . . . .
71

3

4. Элементы численного вероятностного анализа
74
4.1. Способы представления функций плотности случайных величин
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
75
4.2. Гистограммные переменные . . . . . . . . . . . . . . . . . . .
76
4.3. Законы распределения функций случайных аргументов . . .
77
4.4. Операции над плотностями вероятности случайных величин
78
4.5. Тестирование. Сравнение с методом Монте-Карло . . . . . .
83
4.6. Вероятностные расширения . . . . . . . . . . . . . . . . . . .
84
4.7. Решения систем линейных алгебраических уравнений . . . .
87
4.8. Решения нелинейных уравнений . . . . . . . . . . . . . . . .
91
4.9. Задачи интерполяции
. . . . . . . . . . . . . . . . . . . . . .
94

5. Гистограммные временные ряды
97
5.1. Основы гистограммных временных рядов . . . . . . . . . . .
100
5.2. Оценка погрешности для гистограммных временных рядов .
101
5.3. Использование метода k − NN для прогноза временных рядов102
5.4. Адаптация метода k − NN
. . . . . . . . . . . . . . . . . . .
103
5.5. Построение прогноза . . . . . . . . . . . . . . . . . . . . . . .
104
5.6. Метод расщепления
. . . . . . . . . . . . . . . . . . . . . . .
104
5.7. Численный пример . . . . . . . . . . . . . . . . . . . . . . . .
104
5.8. Временная агрегация . . . . . . . . . . . . . . . . . . . . . . .
105

6. Случайное программирование
109
6.1. Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
109
6.2. Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . .
113
6.3. Случайное линейное программирование . . . . . . . . . . . .
114
6.4. Случайное нелинейное программирование . . . . . . . . . . .
117
6.5. оптимизации выработки электроэнергии гидроэлектростанцией в условиях неопределенности . . . . . . . . . . . . . . .
119

7. Регрессионный анализ
124
7.1. Агрегация данных . . . . . . . . . . . . . . . . . . . . . . . .
126
7.2. Регрессионное моделирование на основе агрегированных данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
129
7.3. Классическая параметрическая регрессия . . . . . . . . . . .
131
7.4. Метрики в пространстве гистограмм . . . . . . . . . . . . . .
131
7.5. Гистограммная регрессия . . . . . . . . . . . . . . . . . . . .
132
7.6. Численный пример . . . . . . . . . . . . . . . . . . . . . . . .
133

4

8. Процедуры распространения неопределенностей
136
8.1. Анализ существующих подходов к представлению и распространению неопределенности . . . . . . . . . . . . . . . . . .
136
8.2. Распространение неопределенности на основе численного вероятностного анализа
. . . . . . . . . . . . . . . . . . . . . .
138
8.3. Арифметика неопределенных данных на основе гистограмм
второго порядка
. . . . . . . . . . . . . . . . . . . . . . . . .
140
8.4. Показатели надежности сложных объектов . . . . . . . . . .
144

9. Технология информационной поддержки принятия инвестиционных решений
149
9.1. Оценки рисков . . . . . . . . . . . . . . . . . . . . . . . . . .
150
9.2. Расчет NPV и IRR . . . . . . . . . . . . . . . . . . . . . . .
150
9.3. Пример использования . . . . . . . . . . . . . . . . . . . . . .
154

Список литературы
157

5

Предисловие

Исследователям и практикам хорошо известно, что при получении неопределенной информации (что довольно часто и происходит в реальной
практике) проведение дальнейших исследований и решение поставленных
задач требует более адекватных методов представления исходной информации и более сложных методов расчета. Например, для руководителей
и специалистов в различных сферах практической деятельности, принимающих ответственные управленческие решения, важно получить ответ
на вопрос: «Можно ли на основе имеющейся информации получить достоверные данные и установить с помощью численных расчетов, достаточно
полезную и реалистичную картину последствий принимаемых управленческих решений, несмотря на тот факт, что информация, на основе которой
принимается решение, носит существенно неопределенный характер?». Ответить на этот вопрос — это значит проанализировать множество аспектов,
связанных как с понятием неопределенной информации, так и собственно
с самими численными методами, моделями и процедурами, необходимыми
для реализации всех стадий информационного процесса. Важно отметить,
что при осуществлении вычислительных процедур над неопределенными
данными с помощью численных методов представления, обработки, моделирования и численных расчетов могут быть установлены дополнительные
неопределенности, которых нет в изначальной постановке. Следует также
указать на необходимость изучения ограничений применимости методов,
используемых для практических расчетов с неопределенными значениями.
Исследователям и практикам также необходимо иметь в виду, что при
разработке и применении численных методов на основе неопределенных
данных должен обеспечиваться определенный уровень надежности и доверия к полученным результатам, прозрачности, полноте, релевантности и
понятности допущений относительно способов представления информационной неопределенности и ограничений для реализуемых численных процедур.
Поэтому изучение способов и разработка новых форм представления

6

информационной неопределенности в данных, применение численного моделирования на основе новых численных методов и подходов и разработка
новых методов, реализующих перечисленные выше аспекты, представляет
собой актуальную задачу.
Актуальность такой постановки проблемы подтверждается требованиями многих норм действующего российского законодательства, рядом российских и зарубежных стандартов. Любые действия, предпринятые по причине неточности или неполноты данных, увеличивают надежность полученной актуарной информации.
Как показал анализ литературы, проблема снижения уровня неопределенности в исходных данных и повышение эффективности численных методов представления, обработки, моделирования и анализа в течение многих десятилетий находится в центре внимания и остается предметом многих научных исследований. Достаточно отметить работы Ф.П. Тарасенко
«О роли ошибок в управленческой деятельности». Вместе с тем можно с
уверенностью утверждать, что данная проблема попрежнему актуальна и
составляет предмет исследования многих ученых. Наиболее значимые результаты в данной предметной области были получены учеными: B. Liu, F.
Scott, A. Neumaier, H. Schjaer-Jacobsen, D. Dubois, О.И. Ужга–Ребровым.
Проблемам принятия экономических решений в условиях неопределенности, в частности проблемам методологии представления неопределенных
данных, моделированию в условиях неопределенности и решению задачи
оптимального выбора в условиях интервально определенных цен, посвящены работы Д.В. Давыдова, А.А. Тарасова. Проблема повышения эффективности принятия инвестиционных решений, задача оценки инвестиционных проектов с учетом факторов риска и неопределенности рассматривается в работах А.М.Дыбова, А.В. Лукашова. В частности, в работах
А.М.Дыбова анализируются достоинства и недостатки различных методов формализации неопределенности, в том числе вероятностного, нечеткомножественного и экспертного. На основе результатов проведенного анализа выдвигается ряд предположений по их оптимальному применению.
Изучению альтернативных методов решения задачи принятия эффективных инвестиционных решений, в частности оценке инвестиционных проектов условиях высокой неопределенности и риска, посвящены исследования
А.В. Лукашова, на практических примерах им демонстрируется применение метода Монте-Карло для численных расчетов NPV инвестиционных
проектов и оценки чистой приведенной стоимости с целью определения
привлекательности инвестиционных проектов.

7

Среди зарубежных публикаций проблеме представления неопределенностей в данных и численным процедурам расчета посвящены работы, Б.С.
Добронца [66, 68], R. C. Williamson [54], D. Berliant [8], Jianzhong Zhang,
где рассматриваются интервальная, вероятностная и нечеткая неопределенность в данных и соответствующие арифметики над ними. Вводится
как отражение специфических свойств экономических данных понятие экономической неопределенности. Изучению свойств информации в условиях
неопределенности, способам и процедурам ее представления, обработки в
условиях элиторной и эпистемистической неопределенности посвящены работы D. Dubois [12], H. Prade, A. Neumaier [38] и S. Ferson [23]. Численные
модели и методы обработки неопределенной информации рассматриваются в работах S. Ferson [24], в частности ряд его публикаций посвящены
вопросам применения и изучения эффективности метода Монте-Карло к
задачам с различными типами неопределенности [22].
В настоящее время понятие неопределенности получило специализированный подтекст. Например, в работах H. Schjaer-Jacobsen [41] вводится
понятие экономической неопределенности, где исследуются представления
экономической неопределенности с помощью интервалов, нечетких чисел и
вероятностей, в том числе квадратичных, кубических, и четырех степенных
оценок и обсуждаются проблемы применения четырех основных арифметических операций к неопределенным экономическим показателям. В данной статье авторы пишут, что заинтересованы главным образом в представлении и расчете экономической неопределенности, т. е. в арифметике
неопределенных значений применительно к экономическим проблемам.
Отсутствие объективной и полной информации о распределении параметров приводит к необходимости рассматривать специальные методы и
подходы работы с данными. Для представления случайных величин и работы с ними определенное удобство представляют гистограммные числа
и соответственно гистограммная арифметика. Исследованию и применению гистограммной арифметики посвящен ряд работ. Среди первых публикаций по данной тематике следует назвать работы Б.С. Добронца [66].
В настоящее время арифметики для работы со случайными величинами
развиваются в следующих направлениях: интервальный анализ [33, 34] и
интервальная арифметика, нечеткая арифметика.
Одним из факторов, влияющих на качество принимаемых решений, является уровень неопределенности информации. Уровень неопределенности
информации определяет различные подходы и методы. Выделяют уровни
и типы неопределенностей. Например, H. Schjaer-Jacobsen [41] определяет

8

несколько уровней неопределенности, где самый низкий уровень неопределенности соответствует ситуации «полная» информированность — точный результат. Более высокий уровень неопределенности предполагает наличие некоторого вероятностного пространства. Существующая неопределенность информации отражается в данных как неопределенность данных.
Можно выделить три типа неопределенных данных: случайные, нечеткие
и интервальные. Случайные числа задаются некоторыми вероятностными
распределениями их возможных значений; нечеткие данные — лингвистически сформулированными распределениями их возможных значений; интервальные данные — интервалами их возможных значений без указания
какого-либо распределения возможных значений внутри заданного интервала. Очевидно, что интервальные данные содержат минимальную информацию о границах изменения неопределенного параметра или его принадлежности некоторому интервалу. В этом случае говорят об интервальной
неопределенности как о состоянии неполного (частичного знания) об интересующей нас величине. В качестве примера можно привести интервальную неопределенность спроса на произведенную продукцию.
Особый интерес в рамках работы с неопределенными данными представляют два вида неопределенностей, а именно: элиторная и эпистемическая.
Неопределённость, которая является неотъемлемым атрибутом случайных
событий, называют элиторной (aleatory) неопределённостью. Теория вероятностей предназначена для моделирования, оценки и оперирования именно элиторными неопределённостями. В свою очередь, неопределённость самих вероятностных оценок называют эпистемической неопределённостью
(epistemic uncertainty). Эпистемическая неопределённость прямо связана с
объёмом и достоверностью информации, на основании которой получаются
эти оценки.
Анализ публикаций по данной тематике позволил выделить шесть основных направлений в изучении эпистемической неопределенности. Первый подход отражает субъективную природу эпистемической неопределенности, когда необходимая информация, снижающая уровень неопределенности и необходимая для получения вероятностных оценок, зависит от
субъекта. В этом случае используются экспертные оценки. Вместо задания значения вероятности осуществления события эксперт задает некоторое множество таких значений и приписывает каждому значению вероятность его истинности. Чтобы получить точечную оценку вероятности
события, рассчитывается математическое ожидание полученного распределения. Подход второй — интервальный, связан с возможностью для по
9