Причинно-следственный анализ для смелых и честных
Покупка
Новинка
Тематика:
Базы и банки данных. СУБД
Издательство:
ДМК Пресс
Автор:
Факур Матеус
Перевод:
Груздев Артем Владимирович
Год издания: 2025
Кол-во страниц: 596
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-349-2
Артикул: 890551.01.99
Причинно-следственный анализ — это метод статистического анализа данных, помогающий выявить, как одно событие влияет на другое. Прочитав данную книгу, читатели научатся находить причинно-следственные связи в данных, применять правильные методы анализа и оценивать достоверность полученных выводов.
Издание предназначено специалистам по анализу данных, а также будет полезно бизнес-аналитикам и инженерам.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.03: Прикладная информатика
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Матеус Факур, Артем Груздев Причинно-следственный анализ для смелых и честных
Matheus Facure Alves Causal Inference for The Brave and True
Матеус Факур, Артем Груздев Причинноследственный анализ для смелых и честных Москва, 2025
УДК 005.642.4 ББК 65.291.2 Ф18 Факур М., Груздев А. В. Ф18 Причинно-следственный анализ для смелых и честных / пер. с англ. А. В. Груздева. – М.: ДМК Пресс, 2025. – 594 с.: ил. ISBN 978-5-93700-349-2 Причинно-следственный анализ – это метод статистического анализа данных, помогающий выявить, как одно событие влияет на другое. Прочитав данную книгу, читатели научатся находить причинно-следственные связи в данных, применять правильные методы анализа и оценивать достоверность полученных выводов. Издание предназначено специалистам по анализу данных, а также будет полезно бизнес-аналитикам и инженерам. УДК 005.642.4 ББК 65.291.2 Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Copyright © 2022 by Matheus Facure Alves ISBN 978-5-93700-349-2 (рус.) © Оформление, издание, перевод, ДМК Пресс, 2025
Содержание От издательства............................................................................................................... 10 Часть I. ЯН.......................................................................................................................... 11 Глава 1. Введение в причинность (каузальность)................................................. 12 Зачем беспокоиться?........................................................................................................... 12 Наука о данных уже не та, что была раньше (или наконец-то стала таковой)............... 12 Отвечая на вопросы другого рода...................................................................................... 14 Когда ассоциация ЯВЛЯЕТСЯ причинно-следственной связью....................................... 15 Смещение............................................................................................................................ 21 Ключевые идеи.................................................................................................................... 28 Глава 2. Рандомизированные эксперименты......................................................... 29 Золотой стандарт................................................................................................................. 29 В школе «на удаленке»........................................................................................................ 31 Идеальный эксперимент.................................................................................................... 34 Механизм распределения................................................................................................... 35 Ключевые идеи.................................................................................................................... 36 Глава 3. Обзор статистик: самое опасное уравнение........................................... 37 Стандартная ошибка наших оценок.................................................................................. 41 Доверительные интервалы................................................................................................. 42 Тестирование гипотез......................................................................................................... 48 P-значения........................................................................................................................... 53 Ключевые идеи.................................................................................................................... 55 Глава 4. Графовые причинно-следственные (каузальные) модели................. 57 Рассуждая о причинности.................................................................................................. 57 Ускоренный курс по графовым моделям.......................................................................... 59 Смещение, вызванное спутывающими факторами (ошибка спутывания, confounding bias).................................................................................................................. 66 Смещение из-за отбора (ошибка отбора, selection bias).................................................. 69 Ключевые идеи.................................................................................................................... 74 Глава 5. Поразительная эффективность линейной регрессии........................... 75 Все, что вам нужно, – это регрессия................................................................................... 75 Теоретические аспекты регрессии..................................................................................... 79 Регрессия для неслучайных данных.................................................................................. 81 Смещение, вызванное опущенной переменной или спутывающим фактором (omitted variable bias или confounding bias)....................................................................... 85 Ключевые идеи.................................................................................................................... 89
6 Содержание Глава 6. Регрессия, обученная на сгруппированных данных, и регрессия с дамми-переменными.......................................................................... 91 Регрессия, обученная на сгруппированных данных......................................................... 91 Регрессия c дамми-переменными..................................................................................... 97 Ключевые идеи...................................................................................................................105 Глава 7. Помимо спутывающих переменных.........................................................106 «Хорошие» контрольные переменные.............................................................................106 Преимущественно вредные контрольные переменные.................................................113 Плохие контрольные переменные – смещение из-за отбора.........................................119 Плохой COP-эффект...........................................................................................................124 Ключевые идеи...................................................................................................................130 Глава 8. Инструментальные переменные...............................................................131 Обход смещения, возникшего из-за опущенной переменной.......................................131 Квартал рождения человека и влияние образования на заработную плату..................135 Коэффициент регрессии 1-го этапа..................................................................................137 Коэффициент короткой регрессии...................................................................................140 Инструментальные переменные, созданные вручную...................................................141 Несколько инструментальных переменных....................................................................143 Ключевые идеи...................................................................................................................148 Глава 9. Несоблюдение требований и LATE...........................................................149 Погружаемся в разнородный мир.....................................................................................149 Локальный средний эффект воздействия (local average treatment effect – LATE).........155 Влияние на вовлеченность................................................................................................158 Ключевые идеи...................................................................................................................161 Глава 10. Матчинг (сопоставление объектов тестовой и контрольной групп)....................................................................................................162 Что же в конце концов делает регрессия?........................................................................162 Субклассификационная оценка........................................................................................166 Матчинг-оценка.................................................................................................................167 Смещенность матчинг-оценки.........................................................................................174 Проклятие размерности....................................................................................................178 Ключевые идеи...................................................................................................................180 Глава 11. Оценка склонности (Propensity Score)...................................................181 Психология роста...............................................................................................................181 Оценка склонности............................................................................................................186 Взвешивание по склонности.............................................................................................188 Прогнозирование оценки склонности.............................................................................190 Стандартная ошибка..........................................................................................................194 Распространенные проблемы с оценкой склонности.....................................................196 Сопоставление по оценке склонности (propensity score matching)................................200 Ключевые идеи...................................................................................................................201 Глава 12. Получение оценок с двойной робастностью.......................................203 Не кладите все яйца в одну корзину.................................................................................203
Содержание 7 Получение оценок с двойной робастностью....................................................................206 Ключевые идеи...................................................................................................................212 Глава 13. Метод разности разностей........................................................................213 Три рекламных щита на юге Бразилии............................................................................213 Метод разности разностей (difference in differences – DiD).............................................215 Непараллельные тренды....................................................................................................221 Ключевые идеи...................................................................................................................223 Глава 14. Панельные данные и фиксированные эффекты...............................224 Параллельные тренды........................................................................................................225 Контролируйте то, что вы не видите................................................................................226 Фиксированные эффекты..................................................................................................230 Визуализация фиксированных эффектов........................................................................236 Фиксированные эффекты для периодов времени...........................................................239 Когда панельные данные вам не помогут........................................................................240 Ключевые идеи...................................................................................................................241 Глава 15. Синтетический контроль...........................................................................242 Один удивительный математический трюк, позволяющий узнать то, что невозможно узнать......................................................................................................242 У нас есть время.................................................................................................................245 Синтетический контроль в виде линейной регрессии....................................................248 Не экстраполируйте...........................................................................................................251 Делаем вывод......................................................................................................................256 Ключевые идеи...................................................................................................................262 Глава 16. Разрывной регрессионный дизайн........................................................263 Алкоголь убивает вас?........................................................................................................264 Оценка RDD........................................................................................................................267 Взвешивание с помощью ядерной функции....................................................................271 Эффект овчины и нечеткий RDD......................................................................................274 Тест Маккрари....................................................................................................................278 Ключевые идеи...................................................................................................................282 Дополнительное чтение....................................................................................................283 Часть II. ИНЬ.....................................................................................................................285 Глава 17. Курс по прогнозным моделям..................................................................286 Машинное обучение в промышленности........................................................................287 Ускоренный курс по машинному обучению....................................................................292 Перекрестная проверка.....................................................................................................295 Прогнозы и политики........................................................................................................297 Политика на основе одного признака..............................................................................297 Политика на основе модели машинного обучения.........................................................302 Тонкая настройка политики..............................................................................................307 Ключевые идеи...................................................................................................................310 Дополнительное чтение....................................................................................................311
8 Содержание Глава 18. Гетерогенные эффекты воздействия и персонализация.................312 От прогнозов к анализу причинно-следственных связей...............................................312 От ATE к CATE.....................................................................................................................314 Прогнозирование чувствительности................................................................................318 Ключевые идеи...................................................................................................................327 Дополнительное чтение....................................................................................................328 Глава 19. Оценка качества причинно-следственных (каузальных) моделей............................................................................................................................329 Чувствительность по диапазонам прогнозов модели.....................................................333 Кривая накопленной чувствительности (cumulative sensitivity curve)...........................337 Кривая накопленного выигрыша (cumulative gain curve)...............................................341 Принимаем дисперсию во внимание...............................................................................344 Ключевые идеи...................................................................................................................347 Дополнительное чтение....................................................................................................347 Глава 20. Модели «Подключи и пользуйся»..........................................................349 Формулировка проблемы..................................................................................................349 Преобразование зависимой переменной.........................................................................351 Случай непрерывного воздействия..................................................................................357 Нелинейные эффекты воздействия..................................................................................363 Ключевые идеи...................................................................................................................364 Дополнительное чтение....................................................................................................365 Глава 21. Метамодели...................................................................................................367 S-модель..............................................................................................................................368 T-модель..............................................................................................................................372 X-модель.............................................................................................................................376 Ключевые идеи...................................................................................................................380 Дополнительное чтение....................................................................................................380 Глава 22. Несмещенное/ортогональное машинное обучение.........................382 Машинное обучение для мешающих параметров...........................................................384 Теорема Фриша–Во–Ловелла............................................................................................385 Теорема Фриша–Во–Ловелла на стероидах.....................................................................388 Оценивание CATE с помощью двойного машинного обучения.....................................393 Непараметрическое двойное/несмещенное машинное обучение.................................394 Что такое непараметрическая оценка?............................................................................398 Ненаучное двойное/несмещенное машинное обучение................................................402 Возможно, потребуется больше эконометрики!..............................................................409 Ключевые идеи...................................................................................................................411 Дополнительное чтение....................................................................................................412 Глава 23. Проблемы, связанные с гетерогенностью эффекта и нелинейностью............................................................................................................413 Эффекты воздействия для бинарного результата...........................................................413 Симулируем данные..........................................................................................................416 Непрерывное воздействие и нелинейность.....................................................................425
Содержание 9 Ключевые идеи...................................................................................................................429 Дополнительное чтение....................................................................................................430 Глава 24. Сага о разности разностей........................................................................431 1. Рождение: многообещающие панельные данные.......................................................433 2. Смерть: проблемы из-за гетерогенности эффекта......................................................441 Изменение эффекта воздействия с течением времени..............................................443 Дизайн анализа событий...............................................................................................452 3. Просветление: гибкая функциональная форма...........................................................455 Ключевые идеи...................................................................................................................463 Дополнительное чтение....................................................................................................464 Глава 25. Синтетическая разность разностей........................................................466 Ревизия метода разности разностей................................................................................470 Ревизия метода синтетического контроля.......................................................................473 Синтетическая разность разностей..................................................................................477 Временная гетерогенность эффекта и постепенная адаптация.....................................489 Оценивание плацебо-дисперсии......................................................................................495 Ключевые идеи...................................................................................................................500 Дополнительное чтение....................................................................................................501 Приложение 1. Устранение смещения с помощью ортогонализации............502 Приложение 2. Устранение смещения с помощью оценки склонности........518 Приложение 3. Когда прогнозирование не работает.........................................537 Приложение 4. Когда прогнозные метрики опасны для причинно-следственных моделей....................................................................563 Приложение 5. Конформный вывод для синтетического контроля..............568 Словарь..............................................................................................................................586 Предметный указатель.................................................................................................592
От издательства Отзывы и пожелания Мы всегда рады отзывам наших читателей. Расскажите нам, что вы думаете об этой книге – что понравилось или, может быть, не понравилось. Отзывы важны для нас, чтобы выпускать книги, которые будут для вас максимально полезны. Вы можете написать отзыв на нашем сайте www.dmkpress.com, зайдя на страницу книги и оставив комментарий в разделе «Отзывы и рецензии». Также можно послать письмо главному редактору по адресу dmkpress@gmail. com; при этом укажите название книги в теме письма. Если вы являетесь экспертом в какой-либо области и заинтересованы в написании новой книги, заполните форму на нашем сайте по адресу http:// dmkpress.com/authors/publish_book/ или напишите в издательство по адресу dmkpress@gmail.com. Список опечаток Хотя мы приняли все возможные меры для того, чтобы обеспечить высокое качество наших текстов, ошибки все равно случаются. Если вы найдете ошибку в одной из наших книг, мы будем очень благодарны, если вы сообщите о ней главному редактору по адресу dmkpress@gmail.com. Сделав это, вы избавите других читателей от недопонимания и поможете нам улучшить последующие издания этой книги. Нарушение авторских прав Пиратство в интернете по-прежнему остается насущной проблемой. Издательство «ДМК Пресс» очень серьезно относится к вопросам защиты авторских прав и лицензирования. Если вы столкнетесь в интернете с незаконной публикацией какой-либо из наших книг, пожалуйста, пришлите нам ссылку на интернет-ресурс, чтобы мы могли применить санкции. Ссылку на подозрительные материалы можно прислать по адресу электронной почты dmkpress@gmail.com. Мы высоко ценим любую помощь по защите наших авторов, благодаря которой мы можем предоставлять вам качественные материалы. Благодарность Издательство «ДМК Пресс» выражает искреннюю благодарность Дмитрию Колодезеву и Аслану Байрамкулову за неоценимую помощь в подготовке русскоязычного издания книги. Ваши знания, опыт и поддержка сыграли важную роль в создании качественного и доступного перевода. Спасибо за ваш вклад в популяризацию знаний!