Методы и средства комплексного статистического анализа данных

ВЫСШЕЕ ОБРАЗОВАНИЕ - БАКАЛАВРИАТ

серия основана в 1 996 г.




А.П. КУЛАИЧЕВ



МЕТОДЫ И СРЕДСТВА КОМПЛЕКСНОГО СТАТИСТИЧЕСКОГО АНАЛИЗА ДАННЫХ



УЧЕБНОЕ ПОСОБИЕ
5-е издание, переработанное и дополненное

Допущено
             Учебно-методическим объединением по классическому университетскому образованию в качестве учебного пособия для вузов по дисциплинам «Математическая статистика» и «Информатика»



znanium.com

Москва ИНФРА-М 2022

 УДК 519.2(075.8)
 ББК 22.172я73
       К90


   ФЗ    Издание не подлежит маркировке   
№ 436-ФЗ в соответствии с п. 1 ч. 4 ст. 11

 К90


        Кулаичев А.П.
           Методы и средства комплексного статистического анализа данных : учебное пособие / А.П. Кулаичев. — 5-е изд., перераб. и доп. — Москва : ИНФРА-М, 2022. — 484 с. — (Высшее образование: Бакалавриат). — DOI 10.12737/25093.
           ISBN 978-5-16-012834-4 (print)
           ISBN 978-5-16-103357-9 (online)
           Книга представляет собой обобщающее учебное пособие по математической статистике. В конспективной и доступной форме, с использованием наглядных предметных примеров из различных областей приложения рассмотрены все основные статистические разделы, понятия, методы и средства анализа данных на компьютере.
           Обучающим инструментом для практического освоения излагаемых методов является универсальный российский статистический пакет STADIA, ставший в данной области своеобразным стандартом де-факто.
           Для студентов, аспирантов и преподавателей вузов, а также для специалистов разного профиля, связанных с анализом информации в различных областях науки, техники, производства, медицины, управления, планирования, экономики, бизнеса и др.

УДК 519.2(075.8)
ББК 22.172я73



  ISBN 978-5-16-012834-4 (print)
  ISBN 978-5-16-103357-9 (online)



© Кулаичев А.П., 2017

               Оригинал-макет подготовлен в НИЦ ИНФРА-М
ООО «Научно-издательский центр ИНФРА-М» 127214, Москва, ул. Полярная, д. 31В, стр. 1 Тел.: (495) 280-15-96, 280-33-86. Факс: (495) 280-36-29
E-mail: books@infra-m.ru http://www.infra-m.ru

Подписано в печать 03.07.2021.
Формат 60x90/16. Бумага офсетная. Гарнитура Newton. Печать цифровая. Усл. печ. л. 30,25.
ППТ20. Заказ № 00000
ТК 68000-1815604-200317


Отпечатано в типографии ООО «Научно-издательский центр ИНФРА-М»
127214, Москва, ул. Полярная, д. 31В, стр. 1
Тел.: (495) 280-15-96, 280-33-86. Факс: (495) 280-36-29

            ОГЛАВЛЕНИЕ


Первому читателю......................................7
Последующим читателям.................................8
Глава 1. Изучение прикладной статистики
1.1. Статистические разделы и методы..................11
1.2. Этапы анализа данных...........................16
1.3. Статистические пакеты..........................19
1.4. Организация учебного процесса..................24
1.5. Примеры календарных планов.....................29
1.6. Темы занятий.....................................33
Глава 2. Работа в среде Windows
2.1. Статистическая диалоговая система STADIA.......38
2.2. Порядок диалога................................46
2.3. Использование формул...........................53
2.4. Экранная помощь и совет........................55
2.5. Буфер обмена...................................56
2.6. Диагностика ошибок.............................57
Глава 3. Работа с данными
3.1. Электронная таблица............................60
3.2. Чтение, запись и удаление файлов...............62
3.3. Калькулятор....................................67
3.4. Преобразования.................................68
3.5. Пропуски и выбросы.............................75
    Примеры и задачи................................77
Глава 4. Графические средства
4.1. Графический диалог.............................80
4.2. Научная графика и сплайны......................86
4.3. Деловая графика................................90
4.4. Трехмерная графика.............................94
Глава 5. Статистические средства
5.1. Статистический диалог.........................103
5.2. Статистические данные.........................106
5.3. Статистические гипотезы.......................110
5.4. Текстовый редактор результатов................118
5.5. Обозначения, учебная версия и примеры.........119

Оглавление

Глава 6. Параметрические критерии
6.1. Описательная статистика..............................123
    Примеры и задачи......................................126
6.2. Гистограмма и проверка распределения на нормальность.128
    Примеры и задачи......................................132
6.3. Линейная корреляция..................................134
    Примеры и задачи......................................137
6.4. Критерии Стьюдента и Фишера..........................139
    Примеры и задачи......................................140

Глава 7. Непараметрические критерии
7.1. Критерий хи-квадрат..................................144
    Примеры и задачи......................................145
7.2. Критерии различия сдвига (положения).................146
    Примеры и задачи......................................149
7.3. Критерии различия масштаба (рассеяния)..............150
    Примеры и задачи......................................152
7.4. Критерии интегральных различий.......................153
    Примеры и задачи......................................153
7.5. Ранговая корреляция..................................154
    Примеры и задачи......................................156
7.6. Анализ таблиц сопряженности..........................156
    Примеры и задачи......................................160

Глава 8. Дисперсионный анализ факторных эффектов
8.1. Модели факторного эксперимента.......................164
    Примеры и задачи......................................169
8.2. Однофакторный дисперсионный анализ...................170
 8.2.1. Параметрические методы............................170
      Примеры и задачи....................................173
8.2.2. Непараметрические методы Крускала-Уоллиса и Джонкхриера.............................................174
      Примеры и задачи....................................176
 8.2.3. Непараметрические методы Фридмана и Пейджа .......176
      Примеры и задачи....................................178
8.3. Двухфакторный дисперсионный анализ...................179
    Примеры и задачи......................................182
8.4. Дисперсионный анализ групповых измерений.............185
    Примеры и задачи......................................195
8.5. Многофакторный дисперсионный анализ..................206
    Примеры и задачи......................................207
8.6. Ковариационный анализ................................209
    Примеры и задачи......................................210

Оглавление

5

Глава 9. Анализ временных рядов
9.1. Анализ и прогнозирование тренда...................214
9.2. Корреляционный анализ.............................214
    Примеры и задачи...................................217
9.3. Спектральный анализ...............................222
    Примеры и задачи...................................230
9.4. Сглаживание и фильтрация..........................236
    Примеры и задачи...................................238
9.5. Авторегрессионные модели..........................241
    Примеры и задачи...................................246
9.6. Фурье-модели......................................249
    Примеры и задачи...................................253
Глава 10. Регрессионный анализ
10.1. Общие регрессионные результаты...................264
10.2. Сравнение двух линий регрессии...................268
     Примеры и задачи..................................269
10.3. Простая регрессия................................269
     Примеры и задачи..................................277
10.4. Множественная линейная регрессия.................287
     Примеры и задачи..................................288
10.5. Пошаговая регрессия..............................291
     Примеры и задачи..................................295
10.6. Общая регрессия..................................296
     Примеры и задачи..................................299
Глава 11. Многомерные методы
11.1. Факторный анализ.................................302
     Примеры и задачи..................................329
11.2. Кластерный анализ................................341
     Примеры и задачи..................................348
11.3. Дискриминантный анализ...........................355
     Примеры и задачи..................................358
11.4. Шкалирование.....................................361
     Примеры и задачи..................................364
Глава 12. Вероятности и частоты
12.1. Случайные величины и распределения...............368
12.2. Вычисления вероятностей..........................370
     Примеры и задачи..................................373
12.3. Согласие распределений...........................374
     Примеры и задачи..................................377
12.4. Согласие частот событий (долей)..................377
     Примеры и задачи..................................379

Оглавление

12.5. Последовательный анализ.........................379
     Примеры и задачи.................................380
12.6. Анализ выживаемости.............................381
     Примеры и задачи.................................384
Глава 13. Методы контроля качества
13.1. Гистограмма качества............................386
     Примеры и задачи.................................387
13.2. Диаграмма Парето................................387
     Примеры и задачи.................................388
13.3. Контрольные карты...............................389
     Примеры и задачи.................................391
Глава 14. Комплексная статистическая аналитика
14.1. Оценка индивидуальной квалификации..............395
14.2. Оценка квалификации в коллективных действиях....409
14.3. Многомерные ряды и зависимости..................423
14.4. Макроэкономические исследования.................444
   14.4.1. Временные и функциональные зависимости.....444
   14.4.2. Деятельность предприятий...................451
   14.4.3. Экономика государства......................462
Литература............................................473

Предметный указатель..................................476

            ПЕРВОМУ ЧИТАТЕЛЮ


                            «Непродуманная жизнь не стоит того, чтобы ее прожить» [Хаммураби]
   На рубеже 80-х нам посчастливилось с десяток лет вести в МГУ комплексный практикум по статистике, программированию и автоматизации эксперимента для старшекурсников и слушателей ФПК (объемом около 40 часов). В течение отведенных на статистику 10—15 лекционных и практических часов слушатели, к своему немалому удивлению, начинали понимать в статистике то, что они не поняли на предыдущих объемных общих семестровых курсах. Тогда-то и зародилась идея создания такого методического и инструментального обеспечения, которое сделала бы эту область доступной не только для избранных.
   Действительно, обычно профессиональные статистики и написанные ими учебники грешат изложением предмета в плане принципов построения и конструктивных особенностей телеги, в то время как потенциального пользователя волнует, где запрягать лошадь, и сколько, чего, куда и зачем можно увезти. По наблюдениям того времени, лишь отдельные монографии по статистике представлялись сбалансированными и понятными, а большинство статистических пакетов страдали обилием редко употребляемых методов, чрезмерно сложным и запутанным диалогом и тотальным отсутствием пояснений.
   Поэтому в первой версии воплощались следующие тезисы:
•   достигнуть максимальной понятности, компактности и лаконичности в изложении материала и операционных средствах (статистика — для Человека);
•   собрать представительный набор элементарных и развитых методов анализа и преобразования данных, покрывающих большую часть типичных практических задач (все необходимое — под рукой);
•   предоставить лаконичные оперативные подсказки и неформальные взаимосвязанные справки по используемым методам (библиотека — на экране);
•   во всех возможных случаях буквально навязать наглядное графи -ческое представление данных и результатов.
   Особую признательность автор приносит А.Н. Гусеву, А.А. Макарову, В.Э. Фигурнову, Д.С. Шмерлингу, а также многим профессионалам, коллегам и пользователям за многочисленные обсуждения, настойчивые критические замечания и предложения. Большое спасибо профессору В.В. Налимову за изумительный пример личной стойкости, во многом инициировавший данную работу.


Москва, 1989

канд. физ.-мат. наук. А.П.Кулаичев

            ПОСЛЕДУЮЩИМ ЧИТАТЕЛЯМ



Посвящается друзьям и близким, оставшимся во II тысячелетии

               «Гуны движутся среди гун» [Бхагавад-Гита: 3, 28]

   Достаточно часто приходится наблюдать чисто утилитарный подход к прикладной статистике: есть данные, есть конкретная узкая задача, есть метод для этой задачи, применяем этот метод. Обычно прагматической целью такой деятельности является сделать убедительными для аудитории выводы, очевидные исследователю из содержательных соображений, профессиональной интуиции и опыта. Широко распространены и более прозаические, житейские мотивировки, например: «у нас все так делают» или «при обсуждении работы посоветовали оценить различия данных по Вилкоксону — ну мы и оценили» (с глаз долой, из сердца вон). Такому узконаправленному взгляду способствует и большинство учебников, в которых статистические методы излагаются как изолированные, почти не связанные друг с другом разноцелевые разделы.
   В противовес этому нашей главной задачей в последующих изданиях является научение творческому подходу к работе с исходными данными, методологии комплексного статистического мышления с целью выжать из данных максимум возможного, потрясти их с разных сторон и разными методами, внимательно вглядываясь в результаты каждого шага, выявляя новые тонкие закономерности и последовательно выдвигая задачи и шаги для их дальнейшего изучения. Очень важно, что при этом высвечивается внутренняя взаимосвязанность и дополнительность различных разделов и методов анализа данных.
   Этим подходом проникнуто большинство рассматриваемых в книге примеров, проходящих «красной нитью» через серии разделов статистического анализа. Но наиболее полно и всесторонне эта комплексная методология продемонстрирована в специальной заключительной главе 14.
   При этом везде особо подчеркивается и предметно доказывается, что одним из важнейших и эффективнейших инструментов исследования является визуальный анализ данных и результатов, когда преимущества наглядно-образного мышления становятся очевидными.


Москва, 2005

доктор биол. наук А.П.Кулаичев

Глава 1



            ИЗУЧЕНИЕ ПРИКЛАДНОЙ СТАТИСТИКИ


                                     «Знающий — не говорит, говорящий — не знает» [Лао Дзы]
   Введение. Хорошо известно, что в развитых странах практически любое решение (политическое, финансовое, техническое и даже бытовое) принимается только после всестороннего анализа данных. Поэтому изучение прикладной статистики и методов анализа данных является неотъемлемым компонентом образования на всех уровнях, а компьютерные пакеты для аналитических исследований и прогнозирования ежегодно расходятся в десятках тысяч экземпляров и являются настольным рабочим инструментом любого специалиста, так или иначе связанного с информационной сферой. И в нашей стране в последнее время заметен рост понимания значимости таких инструментов, хотя, в силу исторических причин, мы сильно отстали в соответствующем массовом образовании.
   Для чего же нужна математическая статистика в нашем мире? Известно, что окружающий нас мир характеризуется постоянной изменчивостью и в нем, наряду с закономерностью, существует и случайность, порождающая много прекрасных вещей, включая разнообразие возможностей и свободу выбора. Однако в практической деятельности люди обычно хотят, чтобы их действия приносили стабильный, полезный и предсказуемый результат.
   Действительно, современному человеку ежедневно приходится решать многие проблемы выбора, связанные с организацией производства, сбытом готовой продукции, оптимизацией поставок сырья, областями вложения капитала, эффективностью деятельности персонала, перспективными исследованиями и многое другое. Некоторое время, особенно на этапе становления, все эти вопросы можно решать за счет личной энергии, интуиции и предыдущего опыта. Однако тот, кто серьезно думает о перспективах своей деятельности, обязательно будет накапливать информацию об окружающем мире, пытаясь выделить закономерности из случайностей, чтобы опереться на них в своих действиях, и он будет постоянно искать стабильные и обоснованные критерии выбора, позволяющие стандартизировать процесс принятия решений.
   Именно таким, изумительным по мощности и гибкости инструментом для выделения закономерностей и отсеивания случайностей, является аппарат математической статистики, созданный многими поколениями выдающихся математиков.

Глава 1. Изучение прикладной статистики

   Ситуация с учебным обеспечением. К сожалению, имеющиеся в портфелях отечественных издательств учебники по математической статистике являют достаточно удручающую картину. Они затрагивают преимущественно начальные разделы статистики, часто включая малоизвестные методы по субъективному выбору авторов, с излишним теоретизированием и отсутствием интегрированного, комплексного и критического подхода к материалу. Если и затрагиваются некоторые более продвинутые разделы, то их изложение обычно сокращенное и отрывочное. Особенно это усугубляется с ориентацией на новую 2-ступенчатую систему высшего образования, когда для каждой ступени субъективно отбирается некоторый материал. К тому же обычно нет доступного обучающего инструмента. Авторы чего-то понаизлагали, а на чем и как это все можно руками пощупать, опробовать и освоить - неизвестно! И наконец, изучение статистических методов часто выступает некой вспомогательной добавкой к теории вероятностей, из которой для понимания и применения статистических методов достаточно лишь ограниченных сведений о статистических гипотезах, ошибках, основных законах распределения вероятностей и частотах событий.
   Перечень компетенций ГОС ВПО приведен в разделе 1.4.


ПРИКЛАДНАЯ СТАТИСТИКА


Рис. 1.1. Группировка статистических методов, используемых в различных областях исследования.