Статистика и планирование эксперимента для непосвященных. Как отучить статистику лгать

Майкл Х. Херцог, Грегори Фрэнсис, Аарон Кларк

Статистика и планирование 
эксперимента 
для непосвященных

Как отучить статистику лгать

Michael H. Herzog • Gregory Francis • Aaron Clarke

Understanding Statistics  
and Experimental Design

How to Not Lie with Statistics

Майкл Х. Херцог • Грегори Фрэнсис • Аарон Кларк

Статистика и планирование 
эксперимента 
для непосвященных

Как отучить статистику лгать

Москва, 2023

УДК519.242
ББК22.183
Х39

МайклХ.Херцог,ГрегориФрэнсис,АаронКларк
Х39Статистикаипланированиеэкспериментадлянепосвященных:Как отучитьстатистикулгать /пер. с англ.А. А. Слинкина. –М.:ДМК Пресс,2023. –174 с.: ил.

ISBN978-5-93700-195-5

Непониманиестатистики –важнаяпроблемавнашемобществе.Благодарякомпьютернымтехнологиямсобиратьстатистическиеданныесталопроще,ноглавнуюзадачу–правильнообработатьрезультаты–по-прежнемуберетнасебячеловек.Изэтойкнигивыузнаете,какиспользоватьиинтерпретироватьстатистикуистатистическиеданныевразличномокружении.Рассмотреныосновныепонятияи принципыстатистики,наиболеераспространенныестатистическиекритерии,множественнаяпроверкагипотез,планированиеэксперимента,атакжеметастатистика.
Изданиепригодитсятем,ктохочетпонятьпринципыстатистикии научитьсяинтерпретироватьеерезультаты,невдаваясьвматематическиедеталивычислений.Дляизученияматериалатребуетсяминимальныйуровеньматематическойподготовки.

УДК519.242
ББК22.183

This book is licensed under the terms of the Creative Commons 
Attribution 4.0InternationalLicense(http://creativecommons.org/licenses/
by-nc/4.0/),whichpermitsanynoncommercialuse,sharing,adaptation,distributionandreproductioninanymediumorformat,aslongasyougiveappropriatecredittotheoriginalauthor(s)andthesource,providealinktotheCreativeCommonslicenceandindicateifchangesweremade.

Всеправазащищены.Любаячастьэтойкнигине можетбытьвоспроизведенав какойбытонибылоформеи какимибытонибылосредствамибезписьменногоразрешениявладельцевавторскихправ.

©HerzogM.,FrancisG.,ClarkeA.,2019.Thisbookisanopenaccesspublication.
©Оформление,издание,перевод,ДМКПресс,2023
ISBN(анг.)978-3-030-03498-6
ISBN(рус.)978-5-93700-195-5

Оглавление

Предисловие от издательства ........................................... 9

Предисловие .......................................................................10

ЧАСТЬ I. ПРИНЦИПЫ СТАТИСТИКИ .........................15

Глава 1. Основы теории вероятностей ...........................16
1.1.Путаницавокругпростыхпонятийтеориивероятностей:условныевероятности.....................................................................16
1.1.1.Базовыйсценарий..............................................................16
1.1.2.Второйтест.........................................................................20
1.1.3.Ещепример:синдромГийена–Барре...............................22
1.2.Недоразумениявокругвероятностей:отношениешансов..........................................................................22
1.2.1.Основныесведенияоботношениишансов(ОШ)............22
1.2.2.Частичнаяинформацияи мир,полныйболезней...........25

Глава 2. Планирование эксперимента и основы 
статистики: теория обнаружения сигналов (ТОС) ........26
2.1.КлассическийсценарийТОС....................................................26
2.2.ТОСи доляправильныхответов..............................................29
2.3.Эмпирическаяd'........................................................................32

Глава 3. Главная концепция статистики .........................38
3.1.Ещеодинспособоценкиотношениясигнал–шум.................38
3.2.Недостаточнаявыборка............................................................41
3.2.1.Выборочноераспределениесреднего..............................43
3.2.2.Сравнениесредних............................................................46
3.2.3.ОшибкитипаI иII..............................................................49

3.2.4.ОшибкатипаI:p-значениесвязанос порогом................51
3.2.5.ОшибкатипаII:подтверждения,пропуски.....................54
3.3.Резюме.......................................................................................56
3.4.Пример.......................................................................................57
3.5.Следствия,комментариии парадоксы....................................60

Глава 4. Вариации на тему t-критерия............................71
4.1.Немноготерминологии............................................................71
4.2.Стандартныйподход:проверканулевойгипотезы...............72
4.3.Другиеt-критерии....................................................................73
4.3.1.Одновыборочныйt-критерий...........................................73
4.3.2.t-критерийдлязависимыхвыборок.................................74
4.3.3.Односторонниеи двусторонниекритерии......................75
4.4.Предположенияв основеt-критерияи ихнарушения...........75
4.4.1.Данныедолжныбытьнезависимыи одинаковораспределены...............................................................................76
4.4.2.Распределениягенеральнойсовокупностинормальные.................................................................................76
4.4.3.Шкалазависимойпеременной.........................................77
4.4.4.Равныедисперсиигенеральнойсовокупности...............77
4.4.5.Фиксированныйразмервыборки.....................................78
4.5.Непараметрическийподход.....................................................79
4.6.Принципиальныеосновыстатистическихкритериев...........80
4.7.Чтодальше?...............................................................................80

ЧАСТЬ II. МНОЖЕСТВЕННАЯ ПРОВЕРКА  
ГИПОТЕЗ ............................................................................83

Глава 5. Задача множественной проверки гипотез .....84
5.1.Независимыепроверки............................................................84
5.2.Зависимыепроверки................................................................86
5.3.Скольконаучныхрезультатовневерно?.................................87

Глава 6. Дисперсионный анализ (ANOVA) ......................88
6.1.ОднофакторныйANOVAс независимымипеременными........88
6.2.ЛогикаANOVA...........................................................................88
6.3.О чемANOVAговорит,а очемнет:апостериорныекритерии..........................................................................................92
6.4.Предположения.........................................................................93
6.5.ПримервычислениядляоднофакторногоANOVAс независимымипеременными.....................................................93

6 
Оглавление

6.5.1.ВычислениеANOVA............................................................93
6.5.2.Апостериорныекритерии.................................................95
6.6.Размерэффекта.........................................................................97
6.7.ДвухфакторныйANOVAс независимымипеременными......98
6.8.ANOVAс повторнымиизмерениями.....................................103

Глава 7. Планирование эксперимента:  
подгонка модели, мощность и сложные планы .........105

7.1.Подгонкамодели.....................................................................105
7.2.Мощностьи размервыборки.................................................108
7.2.1.Оптимизацияплана.........................................................108
7.2.2.Вычислениемощности....................................................109
7.3.Возможноеснижениемощностиприсложномпланеэксперимента.................................................................................113

Глава 8. Корреляция ........................................................119

8.1.Ковариацияи корреляция......................................................119
8.2.Проверкагипотезс помощьюкорреляции...........................120
8.3.Интерпретациякорреляции...................................................122
8.4.Размерэффекта.......................................................................124
8.5.Сравнениес подгонкоймодели,ANOVAи t-критерием......124
8.6.Предположенияи подводныекамни.....................................125
8.7.Регрессия..................................................................................126

ЧАСТЬ III. МЕТААНАЛИЗ И КРИЗИC НАУКИ ........129

Глава 9. Метаанализ .........................................................130

9.1.Стандартизованныеразмерыэффектов...............................130
9.2.Метаанализ..............................................................................132
Приложение.Стандартизованныеразмерыэффектовв болеесложныхслучаях...............................................................133

Глава 10. Воспроизводимость ........................................137

10.1.Кризисвоспроизводимости.................................................137
10.2.Тестизбыточногоуспеха......................................................140
10.3.Избыточныйуспехкакследствиестатистическогосмещенияпубликации..................................................................143
10.4. Избыточныйуспехкакследствиенеобязательнойостановки.......................................................................................145
10.5.Избыточныйуспехи теоретическиеутверждения.............149

Оглавление  7

Глава 11. Величина избыточного успеха .....................151
11.1.Приопределениисмещениявозможнытрудности............151
11.2.Насколькоширокораспространеныэтипроблемы?..........154
11.3.Чтопроисходит?....................................................................156
11.3.1.Непониманиевоспроизводимости...............................156
11.3.2.Статистическоесмещениепубликации.......................157
11.3.3.Необязательнаяостановка............................................157
11.3.4.Выдвижениегипотезпослетого,как результатысталиизвестны..........................................................................158
11.3.5.Гибкостьанализа............................................................158
11.3.6.Непониманиетого,чтотакоепредсказание................159
11.3.7.Небрежностьи избирательнаядвойнаяпроверка.......160

Глава 12. Предлагаемые улучшения  
и нерешенные проблемы ...............................................162
12.1.Любойлиэкспериментследуетпубликовать?....................162
12.2.Предварительноеобъявление..............................................163
12.3.Альтернативныевидыстатистическогоанализа...............166
12.4.Рольвоспроизводимости......................................................168
12.5.Упорнамеханизмы...............................................................170

8 
Оглавление

Предисловие от издательства

Отзывы и пожелания
Мывсегдарадыотзывамнашихчитателей.Расскажитенам,чтовыдумаетеобэтойкниге –чтопонравилосьили,можетбыть,не понравилось.Отзывыважныдлянас,чтобывыпускатькниги,которыебудутдлявасмаксимальнополезны.
Выможетенаписатьотзывнанашемсайтеwww.dmkpress.com,зайдянастраницукнигии оставивкомментарийв разделе«Отзывыи рецензии».Такжеможнопослатьписьмоглавномуредакторупоадресуdmkpress@gmail.com;при этомукажитеназваниекнигив темеписьма.
Есливыявляетесьэкспертомв какой-либообластии заинтересованыв написанииновойкниги,заполнитеформунанашемсайтепоадресуhttp://dmkpress.com/authors/publish_book/илинапишитев издательствопоадресуdmkpress@gmail.com.

Список опечаток
Хотямыприняливсевозможныемерыдлятого,чтобыобеспечитьвысокоекачествонашихтекстов,ошибкивсеравнослучаются.Есливынайдетеошибкув однойизнашихкниг –возможно,ошибкув основномтекстеилипрограммномкоде, –мыбудемоченьблагодарны,есливысообщитенамо ней.Сделавэто,выизбавитедругихчитателейотнедопониманияи поможетенамулучшитьпоследующиеизданияэтойкниги.
Есливынайдетекакие-либоошибкив коде,пожалуйста,сообщитео нихглавномуредакторупоадресуdmkpress@gmail.com,и мыисправимэтов следующихтиражах.

Нарушение авторских прав
Пиратствов интернетепо-прежнемуостаетсянасущнойпроблемой.Издательство«ДМКПресс»оченьсерьезноотноситсяк вопросамзащитыавторскихправи лицензирования.Есливыстолкнетесьв интернетес незаконнойпубликациейкакой-либоизнашихкниг,пожалуйста,пришлитенамссылкунаинтернет-ресурс,чтобымымоглиприменитьсанкции.
Ссылкунаподозрительныематериалыможноприслатьпоадресуdmkpress@gmail.com.
Мывысокоценимлюбуюпомощьпозащитенашихавторов,благодарякотороймыможемпредоставлятьвамкачественныематериалы.

Предисловие

Наука, общество и статистика

Современныймирдокраевзаполненстатистикой.Статистиказнает,чтомыедим,кактренируемся,с кемдружим,какучимсвоихдетейи какиепринимаемлекарства.Очевидно,чтостатистикавездесуща,каки –к глубокомусожалению –окружающиееедомыслы.В главе1мырасскажемо том,каксудьивыносятнеправильныеприговоры, –отправлятьчеловекав тюрьмуилинет, –посколькуне понимаютдажеосновстатистики.Мы покажем,чтопациентысовершаютсамоубийство,потомучтоврачине умеютинтерпретироватьрезультатыанализов.Ученыезачастуюничутьне лучше.Мы знаемколлег,которыеслеподоверялирезультатамстатистическихпрограмм,дажекогдаонине имелинималейшегосмысла.Встречалисьнами опубликованныенаучныестатьи,в которыхрезультатыне согласуютсяс теоретическимивыводамиавторов.
Естьстароеизречение(иногдаегоприписываютМаркуТвену,но,по-видимому,оновсежестарше):«Существуеттривидалжи:ложь,наглаяложьи статистика».Мы вынужденыпризнать,чтов немимеетсязерноистины.Людичастонеправильнопользуютсястатистическиманализом.Бытьможет,допрямойлжи(высказываниязаведомоложногоутверждения)и недоходит,ностатистиказачастуютолькозапутывает,а непроясняетдело.Названиеэтойкнигиотражаетнашиусилияповыситькачествоиспользованиястатистикитак,чтобыте,ктозанимаетсяанализом,научилисьлучшеинтерпретироватьсвоиданные,а те,кточитаетстатистическиерезультаты,лучшеихпонимали.Пониманиеключевыхидейстатистикипоможетосознать,чтомногиенаучныерезультатыпосутисвоейбессмысленны,и объяснит,почемумногиеэмпирическиенаукив настоящеевремясталкиваютсяс кризисомвоспроизводимости.Вычислениестатистикиможетоказатьсяоченьтруднымделом(отсюдаи сложныепрограммы,и толстыекнигис глубокимитеоремами),ноясноепониманиеосновныхпринциповстатистикивполнедоступнокаждому.
В2013году,вдохновленныеэтимиидеями,мыначаличитатькурсв ФедеральнойполитехническойшколеЛозанны,Швейцария,посвященныйконцептуальнымосновамстатистикии планированияэксперимента.С годамикурссталдовольнопопулярным,егостали