Статистика и планирование эксперимента для непосвященных. Как отучить статистику лгать

Майкл Х. Херцог, Грегори Фрэнсис, Аарон Кларк
Статистика и планирование 
эксперимента 
для непосвященных
Как отучить статистику лгать

Michael H. Herzog • Gregory Francis • Aaron Clarke
Understanding Statistics  
and Experimental Design
How to Not Lie with Statistics

Майкл Х. Херцог • Грегори Фрэнсис • Аарон Кларк
Статистика и планирование 
эксперимента 
для непосвященных
Как отучить статистику лгать
Москва, 2023

УДК 
519.242
ББК  22.183
Х39
Майкл Х. Херцог, Грегори Фрэнсис, Аарон Кларк
Х39 
Статистика и планирование эксперимента для непосвященных: 
Как отучить статистику лгать / пер. с англ. А. А. Слинкина. – М.: 
ДМК Пресс, 2023. – 174 с.: ил.
ISBN 978-5-93700-195-5
Непонимание статистики – важная проблема в нашем обществе. 
Благодаря компьютерным технологиям собирать статистические данные стало проще, но главную задачу – правильно обработать результаты – по-прежнему берет на себя человек. Из этой книги вы узнаете, 
как использовать и интерпретировать статистику и статистические 
данные в различном окружении. Рассмотрены основные понятия 
и принципы статистики, наиболее распространенные статистические 
критерии, множественная проверка гипотез, планирование эксперимента, а также метастатистика.
Издание пригодится тем, кто хочет понять принципы статистики 
и научиться интерпретировать ее результаты, не вдаваясь в математические детали вычислений. Для изучения материала требуется минимальный уровень математической подготовки.
УДК 519.242
ББК 22.183
This book is licensed under the terms of the Creative Commons 
Attribution 4.0 International License (http://creativecommons.org/licenses/
by-nc/4.0/), which permits any noncommercial use, sharing, adaptation, 
distribution and reproduction in any medium or format, as long as you give 
appropriate credit to the original author(s) and the source, provide a link to 
the Creative Commons licence and indicate if changes were made.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было 
средствами без письменного разрешения владельцев авторских прав.
©  Herzog M., Francis G., Clarke A., 2019. 
     This book is an open access publication.
©  Оформление, издание, перевод, ДМК Пресс, 2023
ISBN  (анг.) 978-3-030-03498-6
ISBN  (рус.) 978-5-93700-195-5

Оглавление
Предисловие от издательства............................................ 9
Предисловие.
.......................................................................10
ЧАСТЬ I. ПРИНЦИПЫ СТАТИСТИКИ.
.........................15
Глава 1. Основы теории вероятностей............................16
1.1. Путаница вокруг простых понятий теории вероятностей: 
условные вероятности.
.....................................................................16
1.1.1. Базовый сценарий.
..............................................................16
1.1.2. Второй тест..........................................................................20
1.1.3. Еще пример: синдром Гийена–Барре.
...............................22
1.2. Недоразумения вокруг вероятностей:  
отношение шансов...........................................................................22
1.2.1. Основные сведения об отношении шансов (ОШ).............22
1.2.2. Частичная информация и мир, полный болезней.
...........25
Глава 2. Планирование эксперимента и основы 
статистики: теория обнаружения сигналов (ТОС).........26
2.1. Классический сценарий ТОС.
....................................................26
2.2. ТОС и доля правильных ответов.
..............................................29
2.3. Эмпирическая d'.
........................................................................32
Глава 3. Главная концепция статистики..........................38
3.1. Еще один способ оценки отношения сигнал–шум.
.................38
3.2. Недостаточная выборка.
............................................................41
3.2.1. Выборочное распределение среднего...............................43
3.2.2. Сравнение средних.............................................................46
3.2.3. Ошибки типа I и II.
..............................................................49

6   
Оглавление
3.2.4. Ошибка типа I: p-значение связано с порогом.
................51
3.2.5. Ошибка типа II: подтверждения, пропуски......................54
3.3. Резюме........................................................................................56
3.4. Пример.
.......................................................................................57
3.5. Следствия, комментарии и парадоксы.
....................................60
Глава 4. Вариации на тему t-критерия............................71
4.1. Немного терминологии.............................................................71
4.2. Стандартный подход: проверка нулевой гипотезы................72
4.3. Другие t-критерии.....................................................................73
4.3.1. Одновыборочный t-критерий............................................73
4.3.2. t-критерий для зависимых выборок.
.................................74
4.3.3. Односторонние и двусторонние критерии.......................75
4.4. Предположения в основе t-критерия и их нарушения.
...........75
4.4.1. Данные должны быть независимы и одинаково 
распределены...............................................................................76
4.4.2. Распределения генеральной совокупности  
нормальные..................................................................................76
4.4.3. Шкала зависимой переменной..........................................77
4.4.4. Равные дисперсии генеральной совокупности................77
4.4.5. Фиксированный размер выборки.
.....................................78
4.5. Непараметрический подход.
.....................................................79
4.6. Принципиальные основы статистических критериев............80
4.7. Что дальше?................................................................................80
ЧАСТЬ II. МНОЖЕСТВЕННАЯ ПРОВЕРКА  
ГИПОТЕЗ.............................................................................83
Глава 5. Задача множественной проверки гипотез......84
5.1. Независимые проверки.............................................................84
5.2. Зависимые проверки.................................................................86
5.3. Сколько научных результатов неверно?..................................87
Глава 6. Дисперсионный анализ (ANOVA).
......................88
6.1. Однофакторный ANOVA с независимыми переменными.........88
6.2. Логика ANOVA............................................................................88
6.3. О чем ANOVA говорит, а о чем нет: апостериорные  
критерии...........................................................................................92
6.4. Предположения..........................................................................93
6.5. Пример вычисления для однофакторного ANOVA 
с независимыми переменными......................................................93

Оглавление    7
6.5.1. Вычисление ANOVA............................................................93
6.5.2. Апостериорные критерии..................................................95
6.6. Размер эффекта.
.........................................................................97
6.7. Двухфакторный ANOVA с независимыми переменными.......98
6.8. ANOVA с повторными измерениями.
.....................................103
Глава 7. Планирование эксперимента:  
подгонка модели, мощность и сложные планы..........105
7.1. Подгонка модели......................................................................105
7.2. Мощность и размер выборки..................................................108
7.2.1. Оптимизация плана..........................................................108
7.2.2. Вычисление мощности.....................................................109
7.3. Возможное снижение мощности при сложном плане 
эксперимента.
.................................................................................113
Глава 8. Корреляция.........................................................119
8.1. Ковариация и корреляция.......................................................119
8.2. Проверка гипотез с помощью корреляции............................120
8.3. Интерпретация корреляции.
...................................................122
8.4. Размер эффекта.
.......................................................................124
8.5. Сравнение с подгонкой модели, ANOVA и t-критерием.......124
8.6. Предположения и подводные камни.
.....................................125
8.7. Регрессия.
..................................................................................126
ЧАСТЬ III. МЕТААНАЛИЗ И КРИЗИC НАУКИ.
........129
Глава 9. Метаанализ.
.........................................................130
9.1. Стандартизованные размеры эффектов................................130
9.2. Метаанализ.
..............................................................................132
Приложение. Стандартизованные размеры эффектов  
в более сложных случаях................................................................133
Глава 10. Воспроизводимость.
........................................137
10.1. Кризис воспроизводимости..................................................137
10.2. Тест избыточного успеха.......................................................140
10.3. Избыточный успех как следствие статистического  
смещения публикации...................................................................143
10.4. Избыточный успех как следствие необязательной  
остановки........................................................................................145
10.5. Избыточный успех и теоретические утверждения.
.............149

8   
Оглавление
Глава 11. Величина избыточного успеха......................151
11.1. При определении смещения возможны трудности.
............151
11.2. Насколько широко распространены эти проблемы?.
..........154
11.3. Что происходит?.
....................................................................156
11.3.1. Непонимание воспроизводимости.
...............................156
11.3.2. Статистическое смещение публикации........................157
11.3.3. Необязательная остановка.............................................157
11.3.4. Выдвижение гипотез после того, как результаты  
стали известны...........................................................................158
11.3.5. Гибкость анализа.
............................................................158
11.3.6. Непонимание того, что такое предсказание.
................159
11.3.7. Небрежность и избирательная двойная проверка........160
Глава 12. Предлагаемые улучшения  
и нерешенные проблемы.
...............................................162
12.1. Любой ли эксперимент следует публиковать?.
....................162
12.2. Предварительное объявление...............................................163
12.3. Альтернативные виды статистического анализа................166
12.4. Роль воспроизводимости.
......................................................168
12.5. Упор на механизмы.
...............................................................170

Предисловие от издательства
Отзывы и пожелания
Мы всегда рады отзывам наших читателей. Расскажите нам, что вы 
думаете об этой книге – что понравилось или, может быть, не понравилось. Отзывы важны для нас, чтобы выпускать книги, которые 
будут для вас максимально полезны.
Вы можете написать отзыв на нашем сайте www.dmkpress.com, зайдя 
на страницу книги и оставив комментарий в разделе «Отзывы и рецензии». Также можно послать письмо главному редактору по адресу 
dmkpress@gmail.com; при этом укажите название книги в теме письма.
Если вы являетесь экспертом в какой-либо области и заинтересованы 
в написании новой книги, заполните форму на нашем сайте по адресу 
http://dmkpress.com/authors/publish_book/ или напишите в издательство по 
адресу dmkpress@gmail.com.
Список опечаток
Хотя мы приняли все возможные меры для того, чтобы обеспечить 
высокое качество наших текстов, ошибки все равно случаются. Если 
вы найдете ошибку в одной из наших книг – возможно, ошибку в основном тексте или программном коде, – мы будем очень благодарны, если вы сообщите нам о ней. Сделав это, вы избавите других читателей от недопонимания и поможете нам улучшить последующие 
издания этой книги.
Если вы найдете какие-либо ошибки в коде, пожалуйста, сообщите о них главному редактору по адресу dmkpress@gmail.com, и мы исправим это в следующих тиражах.
Нарушение авторских прав
Пиратство в интернете по-прежнему остается насущной проблемой. 
Издательство «ДМК Пресс» очень серьезно относится к вопросам защиты авторских прав и лицензирования. Если вы столкнетесь в интернете с незаконной публикацией какой-либо из наших книг, пожалуйста, пришлите нам ссылку на интернет-ресурс, чтобы мы могли 
применить санкции.
Ссылку на подозрительные материалы можно прислать по адресу 
dmkpress@gmail.com.
Мы высоко ценим любую помощь по защите наших авторов, благодаря которой мы можем предоставлять вам качественные материалы.

Предисловие
Наука, общество и статистика
Современный мир до краев заполнен статистикой. Статистика знает, что мы едим, как тренируемся, с  кем дружим, как учим своих 
детей и какие принимаем лекарства. Очевидно, что статистика вездесуща, как и – к глубокому сожалению – окружающие ее домыслы. 
В главе 1 мы расскажем о том, как судьи выносят неправильные приговоры, – отправлять человека в тюрьму или нет, – поскольку не понимают даже основ статистики. Мы покажем, что пациенты совершают самоубийство, потому что врачи не умеют интерпретировать 
результаты анализов. Ученые зачастую ничуть не лучше. Мы знаем 
коллег, которые слепо доверяли результатам статистических программ, даже когда они не имели ни малейшего смысла. Встречались 
нам и опубликованные научные статьи, в которых результаты не согласуются с теоретическими выводами авторов.
Есть старое изречение (иногда его приписывают Марку Твену, но, 
по-видимому, оно все же старше): «Существует три вида лжи: ложь, 
наглая ложь и статистика». Мы вынуждены признать, что в нем имеется зерно истины. Люди часто неправильно пользуются статистическим анализом. Быть может, до прямой лжи (высказывания заведомо 
ложного утверждения) и не доходит, но статистика зачастую только 
запутывает, а не проясняет дело. Название этой книги отражает наши 
усилия повысить качество использования статистики так, чтобы те, 
кто занимается анализом, научились лучше интерпретировать свои 
данные, а те, кто читает статистические результаты, лучше их понимали. Понимание ключевых идей статистики поможет осознать, что 
многие научные результаты по сути своей бессмысленны, и объяснит, почему многие эмпирические науки в настоящее время сталкиваются с  кризисом воспроизводимости. Вычисление статистики 
может оказаться очень трудным делом (отсюда и сложные программы, и толстые книги с глубокими теоремами), но ясное понимание 
основных принципов статистики вполне доступно каждому.
В 2013 году, вдохновленные этими идеями, мы начали читать курс 
в  Федеральной политехнической школе Лозанны, Швейцария, посвященный концептуальным основам статистики и планирования 
эксперимента. С годами курс стал довольно популярным, его стали