Критерии проверки гипотез о случайности и отсутствии тренда. Руководство по применению
Покупка
Основная коллекция
Издательство:
НИЦ ИНФРА-М
Год издания: 2021
Кол-во страниц: 221
Дополнительно
Вид издания:
Монография
Уровень образования:
Дополнительное профессиональное образование
ISBN: 978-5-16-017054-1
ISBN-онлайн: 978-5-16-109774-8
DOI:
10.12737/1587437
Артикул: 755764.01.01
В монографии рассматриваются вопросы применения статистических критериев, ориентированных на проверку гипотез об отсутствии тренда в анализируемых выборках. Отклонение такой гипотезы дает основание рассматривать анализируемые данные как выборки независимых одинаково распределенных случайных величин. Рассматривается множество специальных критериев, ориентированных на проверку такого рода гипотез, а также множество критериев однородности законов, однородности средних и однородности дисперсий, которые также могут применяться в указанных целях. Подчеркиваются недостатки и преимущества различных критериев, рассматривается применение критериев в условиях нарушения стандартных предположений. Приводятся оценки мощности критериев, что позволяет ориентироваться при выборе наиболее предпочтительных критериев. Следование рекомендациям обеспечит корректность и повысит обоснованность статистических выводов при анализе данных.
Рассчитана на специалистов, интересующихся вопросами применения статистических методов для анализа различных аспектов и тенденций окружающей действительности и соприкасающихся в своей деятельности с обработкой результатов экспериментов, необходимостью анализа данных. Будет полезна инженерам, научным сотрудникам, специалистам различного профиля (медикам, биологам, социологам, экономистам и др.), сталкивающимся в своей деятельности с необходимостью статистического анализа результатов экспериментов. Также будет полезна преподавателям вузов, аспирантам и студентам.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 38.03.01: Экономика
- ВО - Магистратура
- 38.04.01: Экономика
- Аспирантура
- 38.06.01: Экономика
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Б.Ю. ЛЕМЕШКО И.В. ВЕРЕТЕЛЬНИКОВА КРИТЕРИИ ПРОВЕРКИ ГИПОТЕЗ О СЛУЧАЙНОСТИ И ОТСУТСТВИИ ТРЕНДА РУКОВОДСТВО ПО ПРИМЕНЕНИЮ МОНОГРАФИЯ Москва ИНФРА-М 2021
УДК 519.23(075.4) ББК 22.172 Л44 Р е ц е н з е н т ы: Попов А.А., доктор технических наук, профессор, профессор кафедры теоретической и прикладной информатики Новосибирского государственного технического университета; Селезнев В.А., доктор физико-математических наук, профессор, заведующий кафедрой инженерной математики Новосибирского государственного технического университета Лемешко Б.Ю. Л44 Критерии проверки гипотез о случайности и отсутствии тренда. Руководство по применению : монография / Б.Ю. Лемешко, И.В. Веретельникова. — Москва : ИНФРА-М, 2021. — 221 с. — (Научная мысль). — DOI 10.12737/1587437. ISBN 978-5-16-017054-1 (print) ISBN 978-5-16-109774-8 (online) В монографии рассматриваются вопросы применения статистических критериев, ориентированных на проверку гипотез об отсутствии тренда в анализируемых выборках. Отклонение такой гипотезы дает основание рассматривать анализируемые данные как выборки независимых одинаково распределенных случайных величин. Рассматривается множество специальных критериев, ориентированных на проверку такого рода гипотез, а также множество критериев однородности законов, однородности средних и однородности дисперсий, которые также могут применяться в указанных целях. Подчеркиваются недостатки и преимущества различных критериев, рассматривается применение критериев в условиях нарушения стандартных предположений. Приводятся оценки мощности критериев, что позволяет ориентироваться при выборе наиболее предпочтительных критериев. Следование рекомендациям обеспечит корректность и повысит обоснованность статистических выводов при анализе данных. Рассчитана на специалистов, интересующихся вопросами применения статистических методов для анализа различных аспектов и тенденций окружающей действительности и соприкасающихся в своей деятельности с обработкой результатов экспериментов, необходимостью анализа данных. Будет полезна инженерам, научным сотрудникам, специалистам различного профиля (медикам, биологам, социологам, экономистам и др.), сталкивающимся в своей деятельности с необходимостью статистического анализа результатов экспериментов. Также будет полезна преподавателям вузов, аспирантам и студентам. УДК 519.23(075.4) ББК 22.172 Данная книга доступна в цветном исполнении в электронно-библиотечной системе Znanium.com ISBN 978-5-16-017054-1 (print) ISBN 978-5-16-109774-8 (online) © Лемешко Б.Ю., Веретельникова И.В., 2021
Оглавление ПРЕДИСЛОВИЕ ..............................................................................6 ВВЕДЕНИЕ........................................................................................8 1. ОБЩИЕ ПОЛОЖЕНИЯ...........................................................12 1.1. Общие сведения о проверке статистических гипотез.......... 12 1.2. Конкурирующие гипотезы, рассматриваемые при анализе мощности критериев............................................................................ 18 2. КРИТЕРИИ ПРОВЕРКИ СЛУЧАЙНОСТИ И ОТСУТСТВИЯ ТРЕНДА..........................................................26 2.1. Критерий автокорреляции...................................................... 26 2.2. Критерий Морана.................................................................... 30 2.3. Критерий Люнга – Бокса ........................................................ 32 2.4. Критерий Дюффа – Роя .......................................................... 33 2.5. Модификация критерия автокорреляции.............................. 35 2.6. Критерий Вальда – Вольфовица ............................................ 37 2.7. Ранговый критерий Вальда – Вольфовица ........................... 41 2.8. Ранговый критерий Дюффа – Роя.......................................... 44 2.9. Критерий Бартелса.................................................................. 45 2.10. Критерий кумулятивной суммы ............................................ 48 2.11. Знаково-ранговый критерий Холлина................................... 51 2.12. Критерии Фостера – Стюарта ................................................ 55 2.13. Критерий Кокса – Стюарта .................................................... 61 2.14. Критерий Хсу обнаружения «сдвига дисперсии»................ 67 2.15. G-критерий Хсу обнаружения точки «сдвига дисперсии»………………………………………………………….....71 2.16. Ранговые критерии обнаружения «сдвига дисперсий» Клотца и Сэвиджа ................................................................................ 77 2.17. Критерий инверсий ................................................................. 87 2.18. Сериальный критерий Вальда – Вольфовица....................... 91 2.19. Критерий Рамачандрана – Ранганатана ................................ 95 2.20. Критерий числа серий знаков первых разностей................. 99 2.21. Сравнительный анализ критериев, используемых для проверки гипотезы об отсутствии тренда в математическом ожидании ............................................................................................ 104 2.22. Сравнительный анализ критериев, используемых для проверки гипотезы об отсутствии тренда в характеристиках рассеяния ............................................................................................ 112 3
2.23. Технологии проверки гипотез о случайности и отсутствии тренда .............................................................................. 114 2.24. Выводы по разделу 2............................................................. 123 3. КРИТЕРИИ ОДНОРОДНОСТИ ПРИ ПРОВЕРКЕ ГИПОТЕЗ ОБ ОТСУТСТВИИ ТРЕНДА ................................126 3.1. Критерий Смирнова.............................................................. 127 3.2. Критерий Лемана – Розенблатта.......................................... 128 3.3. Критерий Андерсона – Дарлинга......................................... 129 3.4. Многовыборочный критерий Андерсона – Дарлинга ....... 130 3.5. Критерии однородности Жанга ........................................... 134 3.6. Использование двухвыборочных критерии при анализе k выборок............................................................................................... 136 3.6.1. k-выборочный критерий Смирнова (max)........................... 138 3.6.2. k-выборочный критерий Лемана – Розенблатта (max) ...... 140 3.6.3. k-выборочный критерий Андерсона – Дарлинга (max) ..... 142 3.7. Критерий однородности χ2................................................... 143 3.8. Замечания о мощности критериев однородности законов………………………………………………………………..144 3.9. Пример применения критериев однородности законов для проверки гипотез об отсутствии тренда ................................... 146 4. КРИТЕРИИ ОДНОРОДНОСТИ СРЕДНИХ ПРИ ПРОВЕРКЕ ГИПОТЕЗ ОБ ОТСУТСТВИИ ТРЕНДА .........152 4.1. Параметрические критерии однородности средних .......... 153 4.1.1. Критерий сравнения двух выборочных средних при известных дисперсиях .......................................................... 153 4.1.2. Критерий Стьюдента ............................................................ 153 4.1.3. Критерий сравнения двух выборочных средних при неизвестных и неравных дисперсиях.................................. 154 4.1.4. F-критерий однородности средних ..................................... 155 4.1.5. k-выборочный вариант критерия Стьюдента ..................... 156 4.1.6. Об устойчивости параметрических критериев................... 156 4.2. Непараметрические критерии однородности средних ...... 157 4.2.1. Критерии Уилкоксона и Манна – Уитни. ........................... 157 4.2.2. Критерий Краскела – Уаллиса ............................................. 158 4.2.3. Критерий Ван дер Вардена................................................... 159 4.2.4. Критерий Фишера – Йэйтса – Терри – Гёфдинга............... 160 4.2.5. Многовыборочный критерий Ван дер Вардена.................. 160 4.3. Сравнительный анализ мощности критериев..................... 161 4
4.4. Пример применения критериев однородности средних для проверки гипотез об отсутствии тренда ................................... 162 5. КРИТЕРИИ ОДНОРОДНОСТИ ДИСПЕРСИЙ ПРИ ПРОВЕРКЕ ГИПОТЕЗ ОБ ОТСУТСТВИИ ТРЕНДА .........168 5.1. Параметрические критерии однородности дисперсий ...... 169 О̓ Брайена . Неймана – Пирсона 5.1.1. Критерий Бартлетта .............................................................. 169 5.1.2. Критерий Кокрена................................................................. 170 5.1.3. Критерий Хартли................................................................... 171 5.1.4. Критерий Левене................................................................... 171 5.1.5. Критерий Фишера ................................................................. 172 5.1.6. Критерий Неймана-Пирсона ................................................ 172 5.1.7. Критерий ОCБрайена............................................................. 173 5.1.8. Критерий Линка .................................................................... 174 5.1.9. Критерий Ньюмана ............................................................... 175 5.1.10. Критерий Блиса – Кокрена – Тьюки.................................... 176 5.1.11. Критерий Кадуэлла – Лесли – Брауна................................. 176 5.1.12. Z-критерий Оверолла – Вудворда........................................ 177 5.1.13. Модифицированный Z-критерий......................................... 178 5.1.14. Критерий Миллера................................................................ 179 5.1.15. Критерий Лайарда................................................................. 180 5.2. Непараметрические критерии однородности дисперсий…………………………………………………………….181 5.2.1. Критерий Ансари – Бредли .................................................. 181 5.2.2. Критерий Муда...................................................................... 182 5.2.3. Критерий Сижела – Тьюки................................................... 183 5.2.4. Критерий Клотца................................................................... 184 5.2.5. Критерий Кейпена................................................................. 186 5.2.6. k-выборочный критерий Флайне – Киллина ...................... 187 5.3. Сравнительный анализ мощности критериев однородности дисперсий................................................................... 188 5.4. Пример применения критериев однородности дисперсий для проверки гипотез об отсутствии тренда................. 191 6. О ПРИМЕНЕНИИ КРИТЕРИЕВ В УСЛОВИЯХ ОКРУГЛЕНИЯ ДАННЫХ .........................................................197 ЗАКЛЮЧЕНИЕ............................................................................205 Библиографический список.......................................................207 5
ПРЕДИСЛОВИЕ Чтобы статистические методы в твоих руках стали инструментом, помогающим докопаться до истины, надо лишь знать тонкости его применения и уметь владеть им… В различных приложениях часто возникает необходимость убедиться в том, что в рядах измерений некоторой величины или в наблюдаемой последовательности не появилось значимых изменений, свидетельствующих о нарушении ранее установленных закономерностей. Например, хотят убедиться в отсутствии дрейфа в значениях измеряемого параметра, или убедиться в неизменности характеристик точности измерительной системы в течение определенного периода времени. В прикладной математической статистике накопился достаточно обширный арсенал критериев (параметрических и непараметрических), предназначенных для проверки гипотез об отсутствии каких-либо изменений в наблюдаемой последовательности измерений. Множество таких критериев иногда объединяют названием «критерии проверки случайности или отсутствия тренда», понимая под этим, что если проверяемая гипотеза не отклонена, то анализируемый ряд можно рассматривать как выборку независимых одинаково распределенных случайных величин. Следует отметить, что для решения этих же и близких задач может использоваться множество критериев проверки однородности законов, однородности средних, однородности дисперсий [134]. Вместе с тем приходится констатировать, что на практике оба эти множества критериев используется достаточно редко, что связано с рядом причин. Во-первых, заинтересованные специалисты просто не 6
обладают необходимыми знаниями о совокупности таких критериев и, тем более, о реальных свойствах этих критериев. Во-вторых, в нестандартных условиях приложений реальные свойства критериев могут существенно отличаться от асимптотических. В-третьих, многие из критериев затруднительно использовать без соответствующего программного обеспечения. А если говорить о применении критериев в условиях нарушения стандартных предположений, то необходимы специальные программные средства, обеспечивающие корректность статистических выводов в нестандартных условиях. В основу настоящего руководства легли наши результаты, полученные при исследовании свойств рассмотренных в работе критериев. Это численные исследования, опирающиеся на интенсивное использование методов статистического моделирования. Обобщение результатов в программной системе [148] обеспечивает корректность статистических выводов при использовании системы для проверки гипотез по рассмотренным критериям (в том числе в нестандартных условиях). Надеемся, что данное руководство, как рекомендации [145, 146] и предшествующие книги [130, 132, 131, 133, 134], окажет реальную помощь специалистам, заинтересованным в корректности проводимого статистического анализа. 7
ВВЕДЕНИЕ Под временным рядом понимается упорядоченная последовательность ^ , 1, ` i X i n результатов измерений значений некоторой переменной, произведенных, например, через равные промежутки времени. С анализом временных рядов сталкиваются при обработке измерений в технических областях, в экономике, сельском хозяйстве, метеорологии [100]. Временные ряды могут отражать наличие тренда, систематической составляющей, сезонной составляющей, а также случайной составляющей (шума). Под трендом понимается основная тенденция изменения временного ряда, определяющая направление преимущественного движения исследуемой переменной. Рассматриваемое в данном руководстве множество критериев иногда называют критериями проверки гипотез о случайности и отсутствии тренда [109]. По существу проверяемая гипотеза 0 H в таких критериях заключается в том, что наблюдаемый ряд измерений представляет собой выборку независимых, одинаково распределенных случайных величин (н.о.р.с.в.). Именно в этом смысле надо понимать проверку гипотезы о случайности в контексте данного руководства. Отклонение проверяемой гипотезы может являться признаком наличия в наблюдаемой случайной последовательности измерений некоторой неслучайной закономерности, коррелированности наблюдений, присутствия грубых ошибок (выбросов), и всего того, что заставляет нас усомниться в том, что мы имеем дело с выборкой н.о.р.с.в. Причина отклонения проверяемой гипотезы 0 H может быть связана с наличием тренда, но сам факт отклонения ничего не говорит о характере тренда. Определение характера тренда - это уже предмет другой задачи. Для проверки гипотезы о случайности и отсутствии тренда в разное время было предложено множество параметрических и непараметрических критериев. Однако имеющиеся источники не позволяют судить о преимуществах тех или иных критериев, не содержат четких рекомендаций, очерчивающих область применения и предпосылки, выполнение которых обеспечивает корректность 8
статистических выводов при использовании рассматриваемых критериев. Достаточно полный перечень критериев, ориентированных на проверку гипотезы о случайности и об отсутствии тренда, представлен в работе [109], которую можно рассматривать как справочное пособие, охватывающее самое широкое (в отечественных источниках по прикладной статистике) множество критериев проверки статистических гипотез. Естественно, что книга [109] не дает ответа на сформулированные выше вопросы. Более того, пользоваться ею надо осторожно из-за существенного числа ошибок, допущенных в описаниях критериев и в примерах их применения. Основной предпосылкой, обеспечивающей корректное применение параметрических критериев, как правило, является предположение о нормальном законе распределения шума, что далеко не всегда выполняется на практике. Возникает вопрос, что произойдет с распределением статистики этого критерия в случае нарушения предположения о нормальности" Насколько будут оставаться корректными выводы, осуществляемые на основании классических результатов" Использование непараметрических критериев опирается на асимптотические распределения статистик этих критериев. При ограниченных объемах выборок распределения статистик параметрических и непараметрических критериев могут существенно отличаться от соответствующих предельных и асимптотических распределений статистик, используемых в процедуре проверки гипотезы. В случае непараметрических критериев проблема зачастую усугубляется из-за ярко выраженной дискретности статистики. В таких ситуациях использование при проверке гипотезы предельного (асимптотического) распределения статистики вместо «истинного» распределения этой статистики может приводить к неверному выводу. Исследователя в связи с необходимостью решения задачи статистического анализа может интересовать критерий, обладающий наибольшей мощностью против заданной конкурирующей гипотезы. В зависимости от конкурирующей гипотезы более предпочтительными по мощности могут оказаться (и оказываются) различные критерии. В то же время, как правило, параметрические критерии показывают более высокую мощность по сравнению со своими непараметрическими аналогами, особенно если конкурирующая 9
гипотеза связана с наличием тренда в характеристиках рассеяния наблюдаемого процесса. Таким образом, любого исследователя, с одной стороны, интересуют «действительные» свойства критериев, интересует, когда и при каких условиях (при выполнении каких стандартных предположений) он может получить корректные выводы, используя классические результаты. С другой стороны, он заинтересован в возможности осуществления корректных выводов и в ситуациях, когда стандартные предположения нарушаются и использование классических результатов невозможно. Также исследователя может интересовать наличие или отсутствие тренда в математическом ожидании (в среднем) и в дисперсии (в характеристиках рассеяния). При проверке гипотезы об отсутствии тренда в математическом ожидании задача формулируется следующим образом. Предполагается, что наблюдается временной ряд значений 1 2 , , ..., n X X X взаимно независимых случайных величин с математическими ожиданиями 1 2 , ,..., n P P P и одинаковыми (но неизвестными) дисперсиями. Проверяется гипотеза 0 H : i P P , 1,2, ..., i n , о том, что все выборочные значения принадлежат к одной генеральной совокупности со средним P , против конкурирующей гипотезы о наличии тренда 1 H : 1 0 i i P P ! , 1,2, ..., 1 i n . Проверяемая гипотеза об отсутствии тренда в дисперсии формулируется аналогичным образом (проверяется 0 : i H V V , 1,2,..., i n , против 1 1 : 0 i i H V V ! , 1,2,..., 1 i n ). При проверке отсутствия сдвига в дисперсии (в характеристиках рассеяния) предполагается, что наблюдаемая последовательность измерений 1 2 , , ..., n X X X имеет одно и то же среднее P . Проверяется гипотеза 0 H : 2 2 2 1 0 ... n V V V ( 2 0 V неизвестно) против конкурирующей гипотезы 1 : H 2 2 2 2 1 2 0 ... ; k V V V V 2 2 2 2 1 2 0 ... k k n V V V V G , ( 0 G ! ), утверждающей, что значение дисперсии меняется в некоторой неизвестной точке, то есть k неизвестно (1 1 k n d d ). В настоящем руководстве рассматриваются все перечисленные ситуации. По результатам исследования свойств критериев и оценок 10