Десять проектов из прикладной статистики

Питер Маккаллах
Десять проектов 
из прикладной статистики

Ten Projects in Applied
Statistics
Peter McCullagh

Москва, 2024
Питер Маккаллах
Десять проектов 
из прикладной статистики

УДК   519.23
ББК   22.172
М15
М15   Маккаллах Питер
Десять проектов из прикладной статистики / пер. с англ. А. В. Логунова. – М.: ДМК Пресс, 2024. – 424 с.: ил.
         ISBN 978-5-93700-262-4
Книга посвящена обсуждению проектов из разных областей – от медицинских 
и биологических наук до изучения поведения животных, кривых роста, временных рядов и экологии. Статистические методы максимально упрощены, чтобы 
соответствовать научным целям. Цель книги – не столько проиллюстрировать 
алгоритмы или методы вычислений, сколько показать роль статистического мышления и стохастического моделирования в научных и инженерных исследованиях.
Издание предназначено специалистам широкого круга, уже знакомым с линейными моделями, но желающим получить опыт применения статистических идей 
на практике. Оно также будет полезно научным работникам, преподавателям и 
студентам, которые хотят использовать соответствующие статистические методы 
в своей работе.
First published in English under the title Ten Projects in Applied Statistics by Peter McCullagh, 
edition: 1. Copyright © Peter McCullagh, under exclusive license to Springer Nature Switzerland 
AG, 2022.
This edition has been translated and published under licence from Springer Nature Switzerland 
AG.Springer Nature Switzerland AG takes no responsibility and shall not be made liable for the 
accuracy of the translation.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но, поскольку вероятность технических ошибок все равно существует, издательство не может гарантировать 
абсолютную точность и правильность приводимых сведений. В связи с этим издательство 
не несет ответственности за возможные ошибки, связанные с использованием книги.
ISBN 978-3-03114-275-8 (англ.)         © Copyright © Peter McCullagh, 2022
ISBN 978-5-93700-262-4 (рус.)              © Оформление, перевод на русский язык, издание,
	
     ДМК Пресс, 2024

Посвящается Розе

Оглавление
Предисловие..........................................................................................................................14
Глава 1. Хирургия: опыты на крысах.................................................................................18
1.1 Заживление хирургических ран..........................................................................................18
1.2 Элементарный анализ.............................................................................................................20
1.3 Два неправильно проведенных анализа.........................................................................21
1.4 Модельные формулы...............................................................................................................22
1.5 Более подходящий формальный анализ.........................................................................23
1.6 Дополнительные вопросы......................................................................................................25
1.6.1 Исключения.....................................................................................................................................25
1.6.2 Отсутствующие компоненты.....................................................................................................25
1.6.3 Обратное преобразование.......................................................................................................26
1.7 Краткое изложение статистических понятий.................................................................27
1.8 Упражнения..................................................................................................................................28
Глава 2. Цепные пилы..........................................................................................................33
2.1 Эффективность цепных пил..................................................................................................33
2.2 Факторы ковариаты и вмешательства..............................................................................34
2.3 Цели статистического анализа.............................................................................................35
2.4 Формальные модели................................................................................................................37
2.5 REML и отношения правдоподобия...................................................................................38
2.6 Краткие выводы.........................................................................................................................39
2.7 Упражнения..................................................................................................................................40
Глава 3. Плодовые мушки....................................................................................................43
3.1 Рацион и предпочтения в спаривании.............................................................................43
3.2 Первоначальные аналитические расчеты.......................................................................44
3.2.1 Ассортативное спаривание.......................................................................................................44
3.2.2 Первоначальные вопросы и упражнения...........................................................................45
3.3 Эффекты невосприимчивости..............................................................................................46
3.3.1 Более подробные частотности спариваний.......................................................................46
3.3.2 Последующие аналитические расчеты................................................................................48
3.3.3 Разбросанность Лексиса............................................................................................................49
3.3.4 Возможна ли недостаточная разбросанность?.................................................................50
3.3.5 Независимость................................................................................................................................52
3.3.6 Признательность............................................................................................................................53
3.4 Технические моменты..............................................................................................................54
3.4.1 Гипергеометрическая симуляция методом случайного подбора..............................54
3.4.2 Статистика Пирсона......................................................................................................................55
3.5 Дальнейшие проекты с дрозофилами..............................................................................57
3.6 Упражнения..................................................................................................................................59
Глава 4. Кривые роста..........................................................................................................62
4.1 Рост растений: описание данных........................................................................................62

Оглавление    7
4.2 Модели кривых роста..............................................................................................................64
4.3 Технические моменты..............................................................................................................66
4.3.1 Нелинейная модель с компонентами дисперсии............................................................66
4.3.2 Подогнанные значения против предсказанных значений..........................................68
4.4 Стратегии моделирования.....................................................................................................70
4.5 Прочие функции R.....................................................................................................................71
4.6 Упражнения..................................................................................................................................72
Глава 5. Эволюция пухоедов...............................................................................................73
5.1 Эволюция пухоедов на отловленных голубях...............................................................73
5.1.1 История вопроса............................................................................................................................73
5.1.2 Постановка эксперимента.........................................................................................................74
5.1.3 Деконструкция постановки эксперимента.........................................................................74
5.2 Анализ данных............................................................................................................................76
5.2.1 Роль таблиц и графиков..............................................................................................................76
5.2.2 Тренды в средних квадратах....................................................................................................78
5.2.3 Начальные значения и факториальные подпространства...........................................80
5.2.4 Простая дисперсионно-компонентная модель.................................................................82
5.2.5 Согласованность с рандомизацией........................................................................................83
5.3 Критика авторских выводов.................................................................................................85
5.4 Дополнительные замечания..................................................................................................86
5.4.1 Роль пола пухоеда........................................................................................................................86
5.4.2 Устойчивость начальных закономерностей........................................................................88
5.4.3 Единицы наблюдения..................................................................................................................89
5.5 Дальнейшие действия..............................................................................................................91
5.5.1 Новая информация о постановке эксперимента.............................................................91
5.5.2 Модификации в аналитических расчетах...........................................................................92
5.5.3 Дополнительные замечания.....................................................................................................94
5.6 Упражнения..................................................................................................................................95
Глава 6. Временные ряды I...............................................................................................100
6.1 Метеорологический температурный ряд......................................................................100
6.2 Сезонные циклы......................................................................................................................101
6.2.1 Средние значения и дисперсии........................................................................................... 101
6.2.2 Перекос и эксцесс...................................................................................................................... 103
6.3 Годовая статистика.................................................................................................................105
6.3.1 Средние значения и дисперсии........................................................................................... 105
6.3.2 Дисперсия блочных средних ............................................................................................... 107
6.3.3 Вариограмма при коротких и длинных лагах................................................................ 108
6.4 Стохастические модели для сезонного цикла............................................................110
6.4.1 Структура единиц наблюдения............................................................................................. 110
6.4.2 Сезонная структура................................................................................................................... 111
6.4.3 Стационарные периодические процессы........................................................................ 111
6.5 Оценивание векового тренда............................................................................................112
6.5.1 Гауссово оценивание и предсказание............................................................................... 112
6.5.2 Применение к оцениванию тренда.................................................................................... 113
6.5.3 Матерновские модели.............................................................................................................. 113

8    Оглавление
6.5.4 Статистические проверки и отношения правдоподобия........................................... 114
6.5.5 Неровные пути в сопоставлении с гладкими путями.................................................. 114
6.5.6 Гладкие пути в сопоставлении со сверхгладкими путями......................................... 115
6.6 Упражнения...............................................................................................................................116
Глава 7. Временные ряды II...............................................................................................121
7.1 Анализ частотной области...................................................................................................121
7.1.1 Преобразование Фурье........................................................................................................... 121
7.1.2 Дисперсионно-аналитическое разложение по частоте.............................................. 122
7.2 Температурный спектр..........................................................................................................123
7.2.1 Спектральные графики............................................................................................................. 123
7.2.2 Параметрическая спектральная модель........................................................................... 125
7.3 Стационарные темпоральные процессы....................................................................... 127
7.3.1 Стационарность........................................................................................................................... 127
7.3.2 Визуализация траекторий....................................................................................................... 128
7.3.3 Правдоподобие Уиттла............................................................................................................. 131
7.4 Упражнения................................................................................................................................132
Глава 8. Выход из Африки.................................................................................................135
8.1 Лингвистическое разнообразие.......................................................................................135
8.2 Перечень фонем.....................................................................................................................136
8.3 Расстояния................................................................................................................................. 137
8.4 Карты и диаграммы рассеяния.........................................................................................138
8.5 Точечные оценки и доверительные области...............................................................141
8.5.1 Простая версия............................................................................................................................ 141
8.5.2 Учет корреляций......................................................................................................................... 143
8.6 Вопросы для дальнейшего рассмотрения....................................................................145
8.6.1 Перечень фонем как отклик.................................................................................................. 145
8.6.2 Гласные, согласные и тоны..................................................................................................... 146
8.6.3 Гранулярность.............................................................................................................................. 146
8.7 Последующий проект............................................................................................................ 147
8.7.1 Расширенная база данных...................................................................................................... 147
8.7.2 Элементарное заблуждение.................................................................................................. 148
8.8 Упражнения...............................................................................................................................149
Глава 9. Природоохранные проекты...............................................................................150
9.1 Последствия потепления атмосферы.............................................................................150
9.1.1 Эксперимент................................................................................................................................. 150
9.1.2 Данные............................................................................................................................................ 151
9.1.3 Упражнения................................................................................................................................... 152
9.2 Участь шмеля............................................................................................................................153
9.2.1 Введение........................................................................................................................................ 153
9.2.2 Риск инфицирования................................................................................................................ 154
9.2.3 Смешанные модели................................................................................................................... 156
9.2.4 Переставляемость...................................................................................................................... 157
9.2.5 Роль обобщенной линейной (GLM) и обобщенной линейной  
смешанной (GLMM) моделей................................................................................................ 159

Оглавление    9
9.3 Два дальнейших проекта....................................................................................................160
9.4 Упражнения...............................................................................................................................160
Глава 10. Приспособленность глупышей.........................................................................162
10.1 Колония на острове Эйнхаллоу......................................................................................162
10.1.1 История вопроса...................................................................................................................... 162
10.1.2 Учет размножения на Эйнхаллоу...................................................................................... 163
10.1.3 Репродуктивная последовательность.............................................................................. 164
10.1.4 Средние для когорт................................................................................................................. 165
10.1.5 Средние для непересекающихся подмножеств.......................................................... 167
10.1.6 Урегулирование парадокса................................................................................................. 168
10.2 Формальные модели..........................................................................................................169
10.2.1 Линейная гауссова модель.................................................................................................. 169
10.2.2 Предсказание............................................................................................................................ 171
10.2.3 Адекватность модели............................................................................................................. 172
10.3 Постановки в формате «мечение – повторный отлов»........................................173
10.4 Дополнительные источники.............................................................................................174
10.5 Упражнения............................................................................................................................174
Глава 11. Базовые понятия................................................................................................176
11.1 Стохастические процессы.................................................................................................176
11.1.1 Процесс........................................................................................................................................ 176
11.1.2 Вероятность................................................................................................................................ 177
11.1.3 Самосогласованность............................................................................................................. 178
11.1.4 Статистическая модель.......................................................................................................... 179
11.2 Выборки...................................................................................................................................180
11.2.1 Базовая линия........................................................................................................................... 180
11.2.2 Единица наблюдения............................................................................................................. 181
11.2.3 Популяция................................................................................................................................... 182
11.2.4 Биологические популяции................................................................................................... 183
11.2.5 Выборки и подвыборки........................................................................................................ 183
11.2.6 Иллюстрации............................................................................................................................. 184
11.3 Переменные...........................................................................................................................185
11.3.1 Обычные переменные........................................................................................................... 185
11.3.2 Взаимосвязь............................................................................................................................... 190
11.3.3 Внешняя переменная............................................................................................................. 191
11.4 Сравнительные исследования........................................................................................193
11.4.1 Рандомизация........................................................................................................................... 193
11.4.2 Единица эксперимента.......................................................................................................... 194
11.4.3 Эффекты ковариат и вмешательства............................................................................... 195
11.4.4 Аддитивность............................................................................................................................. 196
11.4.5 Постановка................................................................................................................................. 197
11.4.6 Репликация................................................................................................................................. 197
11.4.7 Независимость.......................................................................................................................... 197
11.4.8 Интерференция........................................................................................................................ 198
11.4.9 Пространство состояний....................................................................................................... 198
11.4.10 Эволюция пространства состояний............................................................................... 199

10    Оглавление
11.4.11 Продольное исследование................................................................................................ 200
11.4.12 Жизненный предел............................................................................................................... 201
11.5 Несравнительные исследования...................................................................................201
11.5.1 Примеры...................................................................................................................................... 201
11.5.2 Стратифицированная популяция....................................................................................... 201
11.5.3 Гетерогенность.......................................................................................................................... 202
11.5.4 Случайная выборка................................................................................................................. 202
11.5.5 Стратифицированная случайная выборка.................................................................... 203
11.5.6 Доступность................................................................................................................................ 203
11.5.7 Популяционные cредние...................................................................................................... 203
11.5.8 Целевая задача оценивания I............................................................................................. 203
11.5.9 Обратное вероятностное взвешивание......................................................................... 204
11.5.10 Целевая задача оценивания II......................................................................................... 204
11.6 Интерпретация изменчивости........................................................................................206
11.6.1 Сказ о двух дисперсиях........................................................................................................ 206
11.6.2 Какая дисперсия уместна?................................................................................................... 209
11.7 Упражнения.............................................................................................................................210
Глава 12. Принципы............................................................................................................214
12.1 Согласованность выборок................................................................................................214
12.2 Адекватность для приложения....................................................................................... 217
12.3 Принцип правдоподобия..................................................................................................218
12.4 Подходы...................................................................................................................................221
12.5 Упражнения............................................................................................................................224
Глава 13. Начальные значения.........................................................................................227
13.1 Протоколы рандомизации................................................................................................ 227
13.2 Четыре гауссовы модели..................................................................................................228
13.2.1 Распределение и правдоподобие..................................................................................... 231
13.2.2 Численное сравнение оценок............................................................................................ 232
13.2.3 Начальные значения против ковариат........................................................................... 233
13.2.4 Начальные значения в наблюдательном исследовании......................................... 233
13.3 Упражнения............................................................................................................................235
Глава 14. Распределения вероятностей..........................................................................238
14.1 Переставляемые процессы..............................................................................................238
14.1.1 Безусловная переставляемость......................................................................................... 238
14.1.2 Регрессионные процессы..................................................................................................... 238
14.1.3 Блочная переставляемость.................................................................................................. 239
14.1.4 Стационарность........................................................................................................................ 240
14.1.5 Переставляемость.................................................................................................................... 240
14.1.6 Аксиоматическая точка......................................................................................................... 241
14.1.7 Блочная рандомизация......................................................................................................... 241
14.2 Семейства с независимыми компонентами.............................................................242
14.2.1 Параметрические модели.................................................................................................... 242
14.2.2 Модель I (с независимыми и одинаково распределенными  
компонентами)........................................................................................................................... 242