Организационно-экономическое моделирование. Часть 2. Экспертные оценки

УДК 519.2:338 (075.8) 
ББК 60.6я73 
        О-66 
Рецензенты: 
заместитель директора Института проблем управления РАН 
чл.-корр. РАН Д.А. Новиков; 
заведующий кафедрой «Системы управления экономическими 
объектами» Московского авиационного института  
(Государственного технического университета) 
д-р экон. наук, проф. В.Д. Калачанов 
 
 
Орлов А. И. 
Организационно-экономическое моделирование : учебник : в 3 ч. / А. И. Орлов. — М. : Изд-во МГТУ им. Н.Э. Баумана, 2011.   
ISBN 978-5-7038-3276-9 
Ч. 2 : Экспертные оценки. — 486, [2] с.: ил. 
ISBN 978-5-7038-3424-4 
Систематизированы ключевые процедуры теории и практики экспертных оценок, в том числе связанные с типовыми 
стадиями экспертного опроса, методами подбора экспертов, 
разработкой регламентов проведения сбора и анализа экспертных мнений.  
Рассмотрены основные идеи современной теории измерений, согласования кластеризованных ранжировок, парных 
сравнений и люсианов, аксиоматического введения расстояний, оптимизационного определения итогового мнения комиссии экспертов, теории нечеткости и других математических и статистических методов анализа экспертных оценок.  
Содержание учебника соответствует курсам лекций, которые автор читает в МГТУ им. Н.Э. Баумана. 
Для студентов, преподавателей и исследователей в области 
прикладной и математической статистики, сбора и анализа экспертных данных, методов оптимизации, математического и 
организационно-экономического моделирования, а также специалистов в области разработки и применения современных 
методов экспертных оценок и соответствующего программного 
обеспечения. 
                                                                   УДК 519.2:338 (075.8) 
                                                                               ББК 60.6я73 

                                                                     © Орлов А. И., 2011 
ISBN 978-5-7038-3424-4 (ч. 2)                  © Оформление. Издательство 
ISBN 978-5-7038-3276-9                                МГТУ им. Н.Э. Баумана, 2011 

 
О-66 

Оглавление 

Предисловие ................................................................................  
6 
Глава 1. Примеры процедур экспертных оценок .................  11 
1.1. Индивидуальные и коллективные экспертные 
            оценки.................................................................................  11 
1.2. Оценка и выбор вариантов решений с помощью 
           экспертов.............................................................................  18 
1.3. Экспертное прогнозирование ...........................................  24 
1.4. Экспертные оценки на современном этапе .....................  30 
Контрольные вопросы..............................................................  45 
Темы докладов, рефератов, исследовательских работ .........  46 
Литература ................................................................................  46 
Глава 2. Организация работы экспертной комиссии ..........  48 
2.1. Основные стадии экспертного опроса.............................  48 
2.2. Подбор экспертов ..............................................................  52 
2.3. Выбор цели экспертизы ....................................................  57 
2.4. Основания для классификации экспертных методов .....  64 
2.5. Роль интуиции эксперта  при принятии решений...........  69 
Контрольные вопросы..............................................................  76 
Темы докладов, рефератов, исследовательских работ .........  77 
Литература ................................................................................  77 
Глава 3. Теория измерений и экспертные оценки ...............  79 
3.1. Основные шкалы измерения.............................................  79 
3.2. Инвариантные алгоритмы и средние величины .............  92 
3.3. Средние величины в порядковой шкале..........................  98 
3.4. Средние по Колмогорову..................................................  101 
Контрольные вопросы и задачи...............................................  103 
Темы докладов, рефератов, исследовательских работ .........  104 
Литература ................................................................................  105 
Глава 4. Методы средних рангов ............................................  106 
4.1. Экспертные ранжировки...................................................  106 
4.2. Методы средних арифметических рангов и медиан 
           рангов ..................................................................................  109 
4.3. Метод согласования кластеризованных ранжировок.....  112 
Контрольные вопросы и задачи...............................................  121 
Темы докладов, рефератов, исследовательских работ .........  122 
Литература ................................................................................  123 
Глава 5. Принятие решений и голосование ...........................  125 
5.1. Пример задачи принятия решения комиссией 
            экспертов............................................................................  125 

5.2. Голосование как один из методов экспертных  
            оценок.................................................................................  131 
5.3. Парадокс Кондорсе............................................................  136 
5.4. Основные понятия теории принятия решений 
            и экспертные оценки.........................................................  139 
Контрольные вопросы и задачи...............................................  150 
Темы докладов, рефератов, исследовательских работ .........  152 
Литература ................................................................................  152 
Глава 6. Математические методы анализа экспертных 
                оценок ...........................................................................  153 
6.1. Основные математические задачи анализа экспертных  
            оценок.................................................................................  153 
6.2. Экспертные мнения и расстояния ....................................  163 
6.3. Свойства медианы Кемени ...............................................  178 
6.4. Коэффициенты корреляции и конкордации....................  181 
Контрольные вопросы и задачи...............................................  191 
Темы докладов, рефератов, исследовательских работ .........  193 
Литература ................................................................................  194 
Глава 7. Бинарные данные и парные сравнения .................  196 
7.1. Теоретическое обоснование «турнирного» метода 
            ранжирования вариантов..................................................  197 
7.2. Графы и бинарные данные................................................  201 
7.3. Толерантности и люсианы в экспертных оценках..........  211 
7.4. Моделирование ответов экспертов  при парных 
            сравнениях .........................................................................  240 
Контрольные вопросы и задачи...............................................  248 
Темы докладов, рефератов, исследовательских работ .........  249 
Литература ................................................................................  249 
Глава 8. Теория нечеткости и экспертные оценки ................  251 
8.1. Понятие нечеткости...........................................................  251 
8.2. Нечеткие множества..........................................................  258 
8.3. Методы анализа нечетких экспертных данных ..............  273 
8.4. Теория нечеткости как часть теории вероятностей........  281 
8.5. Нечеткий экспертный выбор в контроллинге 
            инноваций ..........................................................................  290 
Контрольные вопросы и задачи...............................................  296 
Темы докладов, рефератов, исследовательских работ .........  297 
Литература ................................................................................  297 
Глава 9. Экспертные оценки в экологии ...............................  299 
9.1. Экспертные оценки в задачах экологического 
           страхования и обеспечения экологической 
           безопасности.......................................................................  299 
9.2. Технология экологических экспертиз..............................  303 
9.3. Общественная экологическая экспертиза........................  310 

  

9.4. Проведение экологических экспертиз с правовой 
            точки зрения ......................................................................  314 
Контрольные вопросы..............................................................  326 
Темы докладов, рефератов, исследовательских работ .........  327 
Литература ................................................................................  327 
Глава 10. Экспертные технологии оценки рисков ................  329 
10.1. Бизнес-процессы инновационных проектов .................  329 
10.2. Инновационные проекты в вузах ..................................  346 
10.3. Модель инновационного проекта...................................  349 
10.4. Прогнозирование рисков.................................................  358 
10.5. Различные виды рисков...................................................  368 
10.6. Управление рисками........................................................  374 
Контрольные вопросы..............................................................  387 
Темы докладов, рефератов, исследовательских работ .........  388 
Литература ................................................................................  388 
Глава 11. Основы теории рейтингов .......................................  390 
11.1. Оперативные методы принятия решений на основе  
              экспертных оценок..........................................................  390 
11.2. Веса факторов ..................................................................  404 
11.3. Бинарные рейтинги..........................................................  418 
11.4. Сравнение рейтингов и линейные рейтинги .................  428 
Контрольные вопросы и задачи...............................................  438 
Темы докладов, рефератов, исследовательских работ .........  439 
Литература ................................................................................  440 
Глава 12. Экспертные оценки — интеллектуальные  
                  инструменты организационно-экономических  
                 исследований...............................................................  441 
12.1. Экспертные оценки в маркетинговом исследовании .....  441 
12.2. Экспертные технологии в системе «Шесть сигм»........  448 
12.3. Оценка технического уровня и качества продукции  
              на основе иерархической системы показателей ...........  453 
12.4. Применение экспертных оценок при упорядочении 
              системы государственных стандартов .........................  461 
12.5. Экспертные оценки в оценочной деятельности 
              и инвестиционном менеджменте ..................................  468 
12.6. Прогнозирование и метод сценариев.............................  477 
Контрольные вопросы..............................................................  485 
Темы докладов, рефератов, исследовательских работ .........  485 
Литература ................................................................................  486 
 

Предисловие 

Как изменится экономика через десять лет? Будут ли 
экологически безопасны города и промышленные предприятия или же вокруг нас возникнет рукотворная пустыня? 
Достаточно вдуматься в эти вопросы, проанализировать, как 
десять лет назад мы представляли себе сегодняшний день, 
чтобы понять, что стопроцентно надежных прогнозов просто 
не может быть. Вместо утверждений с конкретными числами можно ожидать лишь качественных оценок. Тем не менее 
мы должны принимать решения, например, об экологических, инвестиционных и других проектах, последствия которых станут известны через десять, двадцать и более лет.  
Бесспорно, что для принятия обоснованных решений 
необходимо опираться на опыт, знания и интуицию специалистов. После Второй мировой войны на основе кибернетики, теории управления, менеджмента и исследования 
операций стала быстро развиваться самостоятельная дисциплина — теория и практика экспертных оценок.  
Методы экспертных оценок — это методы организации 
работы со специалистами-экспертами и обработки мнений 
экспертов. Эти мнения обычно выражены частично в количественной, частично в качественной форме. Экспертные 
исследования проводят с целью подготовки информации для 
принятия решений. Для проведения работы по методу экспертных оценок формируют рабочую группу, которая организует деятельность экспертов, объединенных (формально 
или по существу) в экспертную комиссию. Лицо, принимающее решение, — это тоже эксперт, поэтому можно констатировать, что любое решение — это решение эксперта! 
Содержание учебника посвящено методам и технологиям сбора и анализа мнений экспертов, применению экспертных оценок. Учебник состоит из 12 глав.  
В главах 1–5 приведены введение в теорию и практику 
экспертных оценок, типовые процедуры экспертных оце

нок, основные стадии экспертного опроса и примеры применения теории измерений для выбора способа усреднения 
мнений экспертов. Рассмотрены методы средних арифметических рангов и медиан рангов, согласования кластеризованных ранжировок, голосование как один из методов 
принятия решений. 
В главах 6–8 обсуждены математические методы анализа экспертных оценок. Рассмотрены подходы к аксиоматическому введению расстояний между ответами экспертов, оптимизационный подход к определению итогового 
мнения комиссии экспертов, свойства расстояния Кемени и 
медианы Кемени, использование коэффициентов корреляции и конкордации. Для анализа бинарных данных и результатов парных сравнений рекомендовано использовать 
теорию случайных толерантностей и люсианов. Рассмотрены основы методологии нечеткости, сведение теории нечеткости к теории вероятностей и ее использование в экспертных технологиях. 
В главах 9–12 рассмотрены примеры применения экспертных оценок. Глава 9 посвящена задачам экологического страхования и обеспечения экологической безопасности, 
технологиям экологических экспертиз. В главе 10 обсуждены экспертные технологии оценки рисков и управления 
ими, в том числе при выполнении инновационных проектов. В главе 11 приведена теория рейтингов (основное внимание уделено бинарным и линейным рейтингам), разработанная автором. В главе 12 экспертные оценки рассмотрены как интеллектуальные инструменты конкретных 
организационно-экономических исследований. Обсуждено 
их применение в маркетинговых исследованиях, в системе 
«Шесть сигм», при использовании иерархической системы 
показателей технического уровня и качества продукции и 
упорядочении совокупности государственных стандартов 
по статистическим методам управления качеством, в оценочной деятельности и инвестиционном менеджменте, при 
прогнозировании, в том числе методом сценариев.  

В конце каждой главы приведены контрольные вопросы и задачи, темы докладов, рефератов, исследовательских 
работ. Для понимания материала достаточно знания стандартных учебных курсов по высшей математике. 
Автор более 35 лет постоянно занимается экспертной 
деятельностью и как практик, и как теоретик. В учебник 
включены теоретические и практические результаты исследований автора начиная с 1970-х годов и по настоящее 
время. 
Теория экспертных оценок связана с прикладной статистикой, эконометрикой, теорией принятия решений. Запросы теории экспертных оценок стимулировали развитие 
наиболее современной области прикладной статистики — 
нечисловой статистики.  
Математические результаты нечисловой статистики, а 
также различные вопросы теории принятия решений включены в часть 1 «Нечисловая статистика» учебника «Организационно-экономическое моделирование» и частично в 
учебники «Прикладная статистика», «Эконометрика» и 
«Теория принятия решений», выпущенные издательством 
«Экзамен» в 2004–2006 гг.  
В учебнике рассмотрены современные методы анализа 
статистических данных, полученных от экспертов. При 
этом субъективные экспертные данные не противопоставляются объективным результатам измерений (наблюдений, 
испытаний, анализов, опытов), поскольку для их описания 
и анализа используются одни и те же вероятностностатистические методы и модели.  
Автор стремился сделать доступным широкому кругу 
читателей более чем 35-летний опыт работы междисциплинарного исследовательского коллектива научного семинара 
«Экспертные оценки и анализ данных». Семинар, организованный в 1973 г., работал сначала в МГУ им. М.В. Ломоносова, а затем в Институте проблем управления РАН. В рамках этого междисциплинарного коллектива создана отечественная научная школа в области экспертных оценок. 

Учебник может быть рекомендован различным категориям читателей. Студенты дневных отделений управленческих и экономических специальностей, прежде всего специальности «Менеджмент высоких технологий», найдут в 
нем необходимый материал для изучения соответствующих 
разделов учебных курсов: «Организационно-экономическое 
моделирование», «Эконометрика», «Прикладная статистика», «Управленческие решения», «Теория принятия решений», «Экономико-математическое моделирование», «Математические методы в экономике», «Маркетинговые исследования», «Математические методы оценки» и др.  
Слушатели вечерних отделений вузов, в том числе получающие второе образование по экономике и менеджменту, смогут изучить основы теории экспертных оценок и вопросы ее практического использования. Менеджеры, экономисты и инженеры, изучающие экспертные оценки и 
теорию принятия решений самостоятельно или в институтах повышения квалификации, по программам переподготовки или получения академической степени «Мастер (магистр) делового администрирования» (Master of Business 
Administration — МВА), смогут ознакомиться с ключевыми 
идеями.  
Учебник предназначен для широкого круга специалистов, заинтересованных в применении современных методов экспертных оценок в любой предметной области, разработчиков таких методов и соответствующего программного обеспечения. Современный взгляд на экспертные 
технологии, основные подходы и результаты в этой области открывает большие перспективы для дальнейших математических исследований в теории вероятностей и математической статистике. Книга представляет несомненный интерес для исследователей — специалистов по вопросам 
управления, в том числе по принятию решений, методам 
оптимизации и математическому моделированию, а также 
для преподавателей, включающих в курсы лекций разделы 
по экспертным оценкам. 

Материалы книги использовались при преподавании в 
МГТУ им. Н.Э. Баумана и во многих других отечественных 
и зарубежных образовательных структурах. 
Благодарности. Автор выражает благодарность своим 
многочисленным студентам и слушателям, прежде всего 
различных образовательных структур Московского государственного технического университета им. Н.Э. Баумана, 
участникам научных конференций и семинаров, коллегам 
по работе в научно-учебном комплексе «Инженерный бизнес и менеджмент», на кафедре «Экономика и организация 
производства» и в Институте высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана, Российской ассоциации статистических методов и Российской 
академии статистических методов. 
Учебник написан в традициях отечественной вероятностно-статистической школы. Автор выражает благодарность своим учителям — акад. АН УССР Б.Г. Гнеденко, 
чл.-кор. АН СССР Л.Н. Большеву, проф. В.В. Налимову.  
Автор признателен всем сотрудникам Издательства 
МГТУ им. Н.Э. Баумана за большую работу по подготовке 
рукописи к изданию. 
С текущей научной информацией по теории и практике 
экспертных оценок можно ознакомиться на сайте «Высокие 
статистические технологии» (http://orlovs.pp.ru) и его форуме (http://forum.orlovs.pp.ru/), а также на странице Лаборатории экономико-математических методов в контроллинге 
(http: //www.ibm.bmstu.ru/nil/lab.html) на сайте научноучебного комплекса «Инженерный бизнес и менеджмент» 
МГТУ им. Н.Э. Баумана. Достаточно большой объем информации содержит еженедельник «Эконометрика», выпускаемый с июля 2000 г. (http://subscribe.ru/catalog/science. 
humanity. econometrika). Автор искренне благодарен разработчику сайтов и редактору электронного еженедельника 
А.А. Орлову за многолетний энтузиазм. 
Автор просит читателей присылать свои вопросы и замечания по адресу Издательства или непосредственно по 
электронной почте: prof-orlov@mail.ru.