Непараметрические критерии согласия
Методология применения непараметрических критериев согласия в современных статистических исследованиях
В монографии Б.Ю. Лемешко «Непараметрические критерии согласия. Руководство по применению» представлен глубокий анализ классических и современных методов проверки статистических гипотез. Автор акцентирует внимание на критически важной проблеме: некорректном использовании критериев согласия (Колмогорова, Крамера–Мизеса–Смирнова, Андерсона–Дарлинга, Купера, Ватсона и Жанга) в условиях, когда параметры теоретического распределения оцениваются по той же выборке, что и проверяемая гипотеза.
Проблема сложных гипотез и «свобода от распределения»
Фундаментальная сложность заключается в том, что при проверке сложных гипотез (когда параметры закона оцениваются по анализируемым данным) классические непараметрические критерии теряют свое ключевое свойство — «свободу от распределения». Асимптотические распределения статистик в таких случаях перестают быть универсальными и начинают зависеть от вида закона, метода оценивания параметров, их количества и даже конкретных значений. Игнорирование этого факта приводит к систематическим ошибкам: необоснованному принятию или отклонению гипотез, что делает статистические выводы невалидными.
Влияние ошибок округления и больших данных
Особое внимание во втором издании монографии уделено проблеме анализа больших выборок (Big Data) и влиянию ошибок округления. Автор доказывает, что при наличии фиксированной точности измерений (округлений) распределения статистик критериев перестают сходиться к предельным даже при увеличении объема выборки. В таких условиях стандартные таблицы критических значений становятся неприменимыми. Лемешко подчеркивает, что ошибки округления — это не просто техническая погрешность, а фактор, радикально меняющий свойства критериев, что требует пересмотра подходов к статистическому выводу в автоматизированных системах контроля.
Практические рекомендации и компьютерный подход
Монография носит прикладной характер и содержит обширный справочный аппарат. В приложениях приведены таблицы процентных точек и модели распределений статистик для широкого спектра законов (включая распределения Джонсона, гамма- и бета-распределения, обобщенные законы Вейбулла и нормальные распределения).
Для случаев, когда теоретическая модель не представлена в таблицах или условия анализа являются нестандартными, автор предлагает методику компьютерного анализа статистических закономерностей. Суть подхода заключается в использовании методов статистического моделирования (Монте-Карло) в интерактивном режиме непосредственно в процессе проверки гипотезы. Это позволяет «на лету» строить реальное распределение статистики для конкретной выборки, учитывая метод оценивания и наличие ошибок округления.
Заключение
Работа Б.Ю. Лемешко является необходимым пособием для специалистов, работающих с анализом данных в различных областях — от инженерии и экономики до биологии и социологии. Автор убедительно показывает, что слепое следование классическим алгоритмам без учета специфики проверяемой гипотезы и качества данных ведет к ложным научным результатам. Предложенный интерактивный подход к исследованию распределений статистик является современным стандартом обеспечения обоснованности статистических выводов, позволяя исследователю адаптировать методы анализа под конкретные условия эксперимента.
- Среднее профессиональное образование
- 09.02.03: Программирование в компьютерных системах
- 31.02.03: Лабораторная диагностика
- 38.02.01: Экономика и бухгалтерский учет (по отраслям)
- 38.02.03: Операционная деятельность в логистике
- 38.02.07: Банковское дело
- 38.02.08: Торговое дело
- 39.02.01: Социальная работа
- 40.02.04: Юриспруденция
- ВО - Бакалавриат
- 05.03.01: Геология
- 05.03.02: География
- 05.03.03: Картография и геоинформатика
- 05.03.04: Гидрометеорология
- 05.03.05: Прикладная гидрометеорология
- 05.03.06: Экология и природопользование
- 06.03.01: Биология
- 37.03.01: Психология
- 37.03.02: Конфликтология
- 38.03.01: Экономика
- 38.03.02: Менеджмент
- 38.03.03: Управление персоналом
- 38.03.04: Государственное и муниципальное управление
- 38.03.05: Бизнес-информатика
- 38.03.06: Торговое дело
- 38.03.07: Товароведение
- 39.03.01: Социология
- ВО - Магистратура
- 05.04.01: Геология
- 05.04.02: География
- 05.04.03: Картография и геоинформатика
- 05.04.04: Гидрометеорология
- 05.04.05: Прикладная гидрометеорология
- 05.04.06: Экология и природопользование
- 06.04.01: Биология
- 37.04.01: Психология
- 37.04.02: Конфликтология
- 38.04.01: Экономика
- 38.04.02: Менеджмент
- 38.04.03: Управление персоналом
- 38.04.04: Государственное и муниципальное управление
- 38.04.05: Бизнес-информатика
- 38.04.06: Торговое дело
- 38.04.07: Товароведение
- 38.04.08: Финансы и кредит
- 38.04.09: Государственный аудит
- 39.04.01: Социология
- ВО - Специалитет
- 30.05.01: Медицинская биохимия
- 30.05.02: Медицинская биофизика
- 31.05.01: Лечебное дело
- 31.05.02: Педиатрия
- 31.05.03: Стоматология
- 38.05.01: Экономическая безопасность
- 38.05.02: Таможенное дело
НЕПАРАМЕТРИЧЕСКИЕ КРИТЕРИИ СОГЛАСИЯ РУКОВОДСТВО ПО ПРИМЕНЕНИЮ Б.Ю. ЛЕМЕШКО 2-е издание, переработанное и дополненное МОНОГРАФИЯ Москва ИНФРА-М
УДК 519.23(075.4) ББК 22.172 Л44 Лемешко Б.Ю. Л44 Непараметрические критерии согласия. Руководство по применению : монография / Б.Ю. Лемешко. — 2-е изд., перераб. и доп. — Москва : ИНФРА-М, 2027. — 201 с. — (Научная мысль). — DOI 10.12737/2058731. ISBN 978-5-16-018942-0 (print) ISBN 978-5-16-111773-6 (online) В монографии рассматриваются вопросы применения непараметрических критериев согласия (Колмогорова, Купера, Крамера – Мизеса – Смирнова, Ватсона, Андерсона – Дарлинга, Жанга) при проверке простых и сложных гипотез. В приложении приводятся таблицы, содержащие процентные точки и модели распределений статистик, необходимые для корректного использования критериев при проверке простых и, главное, различных сложных гипотез. По сравнению с первым изданием больше внимания уделено вопросам применения критериев в нестандартных условиях приложений, в частности для анализа выборок большого объема. Показано, что в приложениях свойства критериев могут существенно изменяться вследствие наличия ошибок округления, и это необходимо учитывать при формировании статистических выводов. Следование рекомендациям при анализе данных обеспечит корректность статистических выводов и повысит их обоснованность. Рассчитана на специалистов, в той или иной мере сталкивающихся в своей деятельности с вопросами статистического анализа данных, обработкой результатов экспериментов, применением статистических методов для анализа различных аспектов и тенденций окружающей действительности. Будет полезна инженерам, научным сотрудникам, специалистам различного профиля (медикам, биологам, социологам, экономистам и др.), преподавателям вузов, аспирантам и студентам. УДК 519.23(075.4) ББК 22.172 Р е ц е н з е н т ы: Попов А.А., доктор технических наук, профессор, профессор кафедры теоретической и прикладной информатики Новосибиского государственного технического университета; Селезнев В.А., доктор физико-математических наук, профессор, заведующий кафедрой инженерной математики Новосибиского государственного технического университета ISBN 978-5-16-018942-0 (print) ISBN 978-5-16-111773-6 (online) © Лемешко Б.Ю., 2014 © Лемешко Б.Ю., 2023, с изменениями Данная книга доступна в цветном исполнении в электронно-библиотечной системе Znanium
Оглавление Предисловие ко второму изданию ................................................5 Предисловие к первому изданию ..................................................6 1. Введение .........................................................................................8 2. Непараметрические критерии согласия при проверке простых гипотез ..............................................................................13 2.1. Критерий Колмогорова .................................................................. 13 2.2. Критерий Смирнова ....................................................................... 14 2.3. Критерий Крамера–Мизеса–Смирнова ........................................ 15 2.4. Критерий Андерсона Дарлинга .................................................... 17 2.5. Критерий Купера ............................................................................ 17 2.6. Критерий Ватсона .......................................................................... 19 2.7. Критерии Жанга ............................................................................. 22 2.8. Проверка простых гипотез ............................................................ 23 2.8.1. Порядок проверки простой гипотезы ..................................... 23 2.8.2. Проверка простой гипотезы по критерию Колмогорова ...... 24 2.8.3. Проверка простой гипотезы по критерию Смирнова ........... 24 2.8.4. Проверка простой гипотезы по критерию Крамера–Мизеса– Смирнова ............................................................................................ 24 2.8.5. Проверка простой гипотезы по критерию Андерсона– Дарлинга ............................................................................................. 25 2.8.6. Проверка простой гипотезы по критерию Купера ................ 25 2.8.7. Проверка простой гипотезы по критерию Ватсона .............. 26 2.8.8. Проверка простой гипотезы по критериям Жанга ................ 26 3. Непараметрические критерии согласия при проверке сложных гипотез .............................................................................28 3.1. Факторы, влияющие на распределения статистик критериев при проверке сложных гипотез ................................................................... 28 3.2. Методы оценивания параметров распределений и зависимость от них распределений статистик критериев ....................................... 29 3.3. Зависимость распределений статистик непараметрических критериев от вида закона ..................................................................... 32 3.4. Зависимость распределений статистик непараметрических критериев от числа и типа оцениваемых параметров ...................... 33 3.5. Зависимость распределений статистик непараметрических – критериев от конкретных значений параметра ................................. 36 3.6. Выводы ............................................................................................ 44
4. Проверка сложных гипотез ......................................................46 4.1. Порядок проверки сложной гипотезы .......................................... 46 4.2. Перечень распределений, для которых регламентирована проверка сложных гипотез ................................................................... 48 4.3. Примеры применения критериев согласия при простых и сложных гипотезах ............................................................................ 55 4.4. Некоторые замечания к применению ........................................... 72 4.4.1. О мощности критериев ............................................................ 72 4.4.2. О типичных ошибках применения ......................................... 74 5. О решении проблем проверки сложных гипотез .................77 5.1. Развитие ситуации.......................................................................... 77 5.2. Методика компьютерного анализа статистических закономерностей ................................................................................... 79 5.3. Интерактивный подход к проверке гипотез в нестандартных условиях ................................................................................................. 82 6. Ошибки округления и свойства критериев ..........................86 6.1. Применение критериев при больших выборках ......................... 86 6.1.1. Проблемы анализа больших выборок .................................... 86 6.1.2. Об оценивании параметров ..................................................... 88 6.1.3. Является ли именно большой объём выборки причиной некорректности выводов? ................................................................. 90 6.1.4. Изменение распределений статистик под влиянием ошибок округления .......................................................................................... 96 6.2. Применение критериев при влиянии ошибок округления ......... 98 6.2.1. Влияние ошибок округления на распределения статистик критериев ............................................................................................ 98 6.2.2. Проверка нормальности при наличии округлений ............. 104 6.2.3. Заключительные замечания о влиянии ошибок округления на свойства критериев .......................................................................... 110 6.2.4. Реализация применения критериев согласия в нестандартных условиях ............................................................................................ 113 7. Заключение ................................................................................120 Библиографический список .......................................................122 Приложение A. Таблицы распределений статистик непараметрических критериев согласия при простых и сложных гипотезах ....................................................................132
Предисловие ко второму изданию С момента первого издания [102] прошло не так уж много времени, но ситуация существенным образом изменилась, так как, в некоторой степени неожиданно, на передний план в задачах применения множества критериев проверки статистических гипотез выдвинулась проблема наличия округлений в рядах измерений, осуществляемых в различных сферах человеческой деятельности. Опасения того, что присутствие ошибок округления может отражаться на выводах по результатам статистического анализа, высказывались давно. В том числе приводились конкретные примеры, подтверждающие изменение свойств некоторых критериев под влиянием ошибок округления. В настоящее время, когда в силу естественных причин резко возрос интерес к анализу больших объёмов информации, проблема изменения свойств критериев под влиянием ошибок округления выдвинулась на первый план. В рамках международной конференции “Analytical and Computational Methods in Probability Theory and its Applications (ACMPT-2017)” проводилось заседание круглого стола, посвящённого использованию статистических методов для анализа Big Data. В своём выступлении автор высказал мнение, что проблема многих неудач с применением классических критериев проверки гипотез для анализа больших выборок связана именно с наличием ошибок округления. Ряд подтверждающих примеров в практике автора ранее имел место. Под впечатлением упомянутого обсуждения в работе [89] нами исследовались изменения распределений статистик критериев согласия с ростом объёмов выборок в зависимости от величины ошибок округления. Результаты подтвердили все высказанные предположения. А дальнейшие исследования [84, 85, 24, 103, 91, 92, 94] показали, что проблема влияния ошибок округления на распределения статистик применяемых критериев проверки статистических гипотез имеет место не только при больших выборках, и её нельзя недооценивать. Б.Ю. Лемешко Май 2023
Предисловие к первому изданию История применения непараметрических критериев согласия насчитывает ровно 80 лет, начиная с работы А.Н. Колмогорова [21], после которой был предложен еще ряд непараметрических критериев, ставших классическими, статистики которых обладают замечательным свойством “свободы от распределения” при проверке простых гипотез. Это свойство предопределило широкое использование этих критериев в приложениях при решении задач статистического анализа. Через 20 с небольшим лет стало известно о проблеме [20]. Если по анализируемой выборке оцениваются параметры закона распределения вероятностей, а затем по ней же проверяется согласие с данным законом с применением непараметрического критерия, то свойство “свободы от распределения” статистики этого критерия теряется. Распределения статистик непараметрических критериев согласия при проверке сложных гипотез оказываются совсем другими, нежели при проверке простых, и нельзя использовать классические результаты. С тех пор математическая статистика в своем развитии ушла далеко вперед, а проблема применения непараметрических критериев согласия при проверке сложных гипотез осталась. При этом множество специалистов, имеющих отношение к математической статистике и применению методов статистического анализа, условно можно разбить на два подмножества. К первому отнести специалистов в области математической статистики, которые знают о проблеме применения непараметрических критериев согласия при проверке сложных гипотез, но поглощенные своими задачами, не занимаясь анализом данных в приложениях, не используют эти критерии в своей деятельности. К другому подмножеству, которое несравненно больше, отнести тех, кто не знает об этой проблеме, но в своей практической деятельности, сталкиваясь с необходимостью статистического анализа результатов экспериментальных исследований, применяет непараметрические критерии согласия. При этом применяет, как правило, в условиях
Предисловие проверки сложных гипотез, опираясь на классические результаты, а, следовательно, не корректно. Эти два подмножества специалистов практически не пересекаются. Более того, складывается ощущение, что доля первого подмножества относительно сокращается и это связано с тем, что в университетских курсах математической статистики о проблеме не упоминается. 17 лет назад, когда нам стала известно о существовании этой проблемы и степени её решения, мы относились ко второму подмножеству, к той его части, которая не понимала, почему оценивая параметры и применяя непараметрические критерии согласия, мы никак не учитываем этого факта при принятии решения о результатах проверки гипотезы. Было откровением, что проблема давно известна, но далека от разрешения. Тогда, используя свои возможности и методы статистического моделирования, мы убедились, что можно строить приближенные модели, которые с достаточной точностью описывают распределения статистик критериев согласия при проверке различных сложных гипотез. На базе этих результатов были подготовлены рекомендации [118], а затем рекомендации по стандартизации Р 50.1.037–2002 [136]. Готовя рекомендации по стандартизации [136], мы очень надеялись, что следование им позволит снизить уровень некорректного применения критериев в приложениях. Ожидания не очень оправдались, но надежда остается. Данное руководство, которое на базе последующих исследований существенно уточняет и расширяет прежние результаты, призвано заменить рекомендации по стандартизации [136]. Я очень признателен своим ученикам и коллегам (Постовалову С.Н., Чимитовой Е.В., Лемешко С.Б., Волковой В.М., Рогожникову А.П., Горбуновой А.А.), сделавшим много для исследования распределений статистик критериев в условиях нарушения стандартных предположений и вносящим вклад в развитие компьютерных технологий исследования статистических закономерностей. Б.Ю. Лемешко Январь 2014
1. Введение Целью первичной обработки экспериментальных наблюдений обычно является выбор закона распределения, наиболее хорошо описывающего случайную величину, выборку которой наблюдают. Насколько хорошо наблюдаемая выборка описывается теоретическим законом, проверяют с помощью различных критериев согласия. Цель проверки гипотезы о согласии опытного распределения с теоретическим – это стремление удостовериться в том, что данная модель теоретического закона не противоречит наблюдаемым данным, и использование ее не приведет к существенным ошибкам при вероятностных расчетах. Некорректное использование критериев согласия может приводить к необоснованному принятию (чаще всего) или необоснованному отклонению проверяемой гипотезы. Проверка статистических гипотез о согласии эмпирических данных с теоретическим законом распределения обычно осуществляется с применением критериев типа 2 F или непараметрических критериев. В данном руководстве говорится только о применении непараметрических критериев согласия, в частности, о применении критериев Колмогорова, Крамера–Мизеса–Смирнова, Андерсона– Дарлинга, Купера, Ватсона, Жанга. К сожалению, практика применения такого рода критериев в приложениях богата большим числом примеров некорректного использования. Нередко с такими примерами можно столкнуться в литературных источниках учебного характера. Наиболее распространенные ошибки применения связаны с использованием классических результатов, имеющих место при проверке простых гипотез, для ситуаций, соответствующих проверке сложных гипотез [88, 31]. При проверке согласия различают простые и сложные гипотезы. Простая проверяемая гипотеза имеет вид 0 H : ( ) ( , ) F x F x T , где ( , ) F x T – функция распределения вероятностей, с которой проверяют согласие наблюдаемой выборки, а T – известное значение параметра (скалярного или векторного).
Сложная проверяемая гипотеза имеет вид H : ^ ` ( ) ( , ), , F x F x T T4 где 4 – область определения параметра T . Следует отметить, что если процесс вычисления оценки ˆT скалярного или векторного параметра закона не опирается на ту же самую выборку, по которой проверяют гипотезу о согласии, то алгоритм применения критерия согласия при проверке сложной гипотезы не отличается от проверки простой гипотезы. Проблемы возникают, если при проверке сложной гипотезы оценку ˆT параметра распределения вычисляют по той же самой выборке, по которой проверяют согласие. Далее, говоря о проверке сложных гипотез, мы, как правило, будем предполагать, что оценка параметра ˆT вычисляется по той же выборке. Очевидно, что на практике при обработке результатов измерений с проблемой проверки сложных гипотез чаще всего сталкиваются именно в такой ситуации, поскольку сначала оценивают по выборке параметры модели, чтобы лучше подогнать ее к наблюдаемым данным, а потом проверяют адекватность полученной модели. Схема проверки гипотезы заключается в следующем. В соответствии с применяемым критерием согласия вычисляют значение * S статистики критерия S как некоторой функции от выборки и теоретического закона распределения с плотностью 0 ( , ) F x T [или ˆ ( , ) F x T при сложной гипотезе]. Для используемых на практике критериев асимптотические (предельные) распределения 0 ( ) G S H соответствующих статистик при условии истинности гипотезы 0 H обычно известны. Как правило, для ситуаций проверки простых и сложных гипотез эти распределения различаются. В ситуации проверки простых гипотез предельные распределения статистик классических непараметрических критериев согласия известны и не зависят от вида наблюдаемого закона распределения и, в частности, от его параметров. Говорят, что эти критерии являются «свободными от распределения». Это достоинство предопределило широкое использование данных критериев в различных приложениях. Далее в принятой практике статистического анализа обычно полученное значение статистики * S сравнивают с критическим
значением SD при заданном уровне значимости D . Нулевую гипотезу
отвергают, если
*
S
SD
!
(рис. 1.1).
Рис. 1.1. Плотность распределения статистики при справедливости
гипотезы
0
H
Критическое значение SD , определяемое в случае одномерной
статистики из уравнения
0
0
(
)
1
(
)
S
g s H
ds
G S
H
D
f
D
D
³
,
(1.1)
где
0
(
)
g s H
í условная плотность распределения статистики, обычно
берут из соответствующей статистической таблицы или вычисляют.
Больше информации о степени согласия можно почерпнуть из
«достигаемого
уровня
значимости»:
величины
вероятности
возможного превышения полученного значения статистики при
истинности нулевой гипотезы
*
*
*
0
0
{
}
(
)
1
(
)
v
S
p
P S
S
g s H
ds
G S
H
f
!
³
.
(1.2)
Именно эта вероятность позволяет судить о том, насколько хорошо
выборка согласуется с теоретическим распределением, так как по