Причинно-следственный анализ в науке о данных
Покупка
Новинка
Тематика:
Системы управления базами данных (СУБД)
Издательство:
ДМК Пресс
Автор:
Вилья Роберт Алекс Руис де
Перевод:
Киселев А. Н.
Год издания: 2025
Кол-во страниц: 434
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-365-2
Артикул: 890847.01.99
Понимание сути и роли причинности имеет большое значение для анализа данных. Эта книга послужит прочной основой для применения методов причинно-следственного вывода в повседневных задачах науки о данных. Вы научитесь правильно выбирать и применять математические и статистические инструменты, необходимые для успешного моделирования причинно-следственных связей.
Книга адресована начинающим и опытным аналитикам данных, а также специалистам в области машинного обучения, экономики и статистики, желающим усовершенствовать процесс принятия решений.
Тематика:
ББК:
УДК:
- 004: Информационные технологии. Вычислительная техника...
- 519: Комбинатор. анализ. Теория графов. Теория вер. и мат. стат. Вычисл. мат., числ. анализ. Мат. кибер..
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Алекс Руис де Вилья Роберт Причинно-следственный анализ в науке о данных
Causal Inference for Data Science ALEIX RUIZ DE VILLA ROBERT
Причинно-следственный анализ в науке о данных Алекс Руис де Вилья Роберт Москва, 2025
УДК 004.6:519.25 ББК 16.35 Р83 Алекс Руис де Вилья Роберт Р83 Причинно-следственный анализ в науке о данных / пер. с англ. А. Н. Киселева. – М.: ДМК Пресс, 2025. – 432 с.: ил. ISBN 978-5-93700-365-2 Понимание сути и роли причинности имеет большое значение для анализа данных. Эта книга послужит прочной основой для применения методов причинно-следственного вывода в повседневных задачах науки о данных. Вы научитесь правильно выбирать и применять математические и статистические инструменты, необходимые для успешного моделирования причинно-следственных связей. Книга адресована начинающим и опытным аналитикам данных, а также специалистам в области машинного обучения, экономики и статистики, желающим усовершенствовать процесс принятия решений. УДК 004.6:519.25 ББК 16.35 Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ©DMKPress 2025. Authorized translation of the English edition. © 2025 Manning Publications. This translation is published and sold by permission of Manning Publications, the owner of all rights to publish and sell the same. © 2025 Manning Publications Co. All rights reserved © Оформление, издание, перевод, ДМК Пресс, 2025 ISBN (анг.) 9781633439658 ISBN (рус.) 978-5-93700-365-2
Посвящается моему сыну Арану
Краткое оглавление
Часть I. Причинно-следственный анализ
и роль искажающих факторов.................................................. 27
1
Введение в причинность................................................ 29
2 Первые шаги: работа с искажающими факторами....... 60
3 Применение причинно-следственного анализа...............102
4 Как машинное обучение и причинно-следственный
анализ могут помочь друг другу......................................123
Часть II. Формула корректировки на практие ...................... 161
5
Поиск сопоставимых случаев с использованием
меры склонности.........................................................163
6
Расчет прямых и косвенных эффектов
с помощью линейных моделей........................................198
7
Работа со сложными графами.....................................228
8
Расширенные инструменты в библиотеке DoubleML....276
Часть III. Другие стратегии помимо
формулы корректировки......................................................... 305
9
Инструментальные переменные...................................307
10 Схема оценки потенциальных исходов ..........................332
11 Эффекты событий во времени.....................................350
Оглавление Предисловие от издательства..............................................................................14 Предисловие...........................................................................................................15 Благодарности........................................................................................................16 О книге....................................................................................................................18 Об авторе................................................................................................................24 Об иллюстрации на обложке...............................................................................25 ЧАСТЬ I. Причинно-следственный анализ и роль искажающих факторов.................................................... 27 1 Введение в причинность............................................................. 29 1.1. Как работает причинно-следственный анализ..........................................31 1.1.1. Шаг 1: определение типа данных......................................................31 1.1.2. Шаг 2: изучение задачи.......................................................................32 1.1.3. Шаг 3: создание модели .....................................................................32 1.1.4. Шаг 4: представление модели другим..............................................33 1.1.5. Шаг 5: применение методов причинно-следственного анализа....33 1.2. Различия между причинно-следственными моделями и прогностическими моделями машинного обучения....................................35 1.3. Экспериментальные исследования.............................................................37 1.3.1. Мотивирующий пример: развертывание нового веб-сайта..........37 1.3.2. A/B-тестирование...............................................................................40 1.3.3. Рандомизированные контролируемые исследования...................41 1.3.4. Шаги проведения A/B-тестирования..............................................42 1.3.5. Ограничения A/B-тестирования и RCT..........................................44 1.4. Наблюдательные исследования...................................................................45 1.4.1. Моделирование синтетических данных..........................................47 1.4.2. Причинно-следственные связи при наличии искажающих факторов.........................................................................................................49 1.5. Обзор основных статистических концепций............................................51 1.5.1. Эмпирические распределения и распределения сгенерированных данных.............................................51 1.5.2. Условные вероятности и ожидания..................................................53 1.6. Для дополнительного чтения.......................................................................57 1.7. Контрольные вопросы...................................................................................58 Итоги.......................................................................................................................59 2 Первые шаги: работа с искажающими факторами................... 60 2.1. Основы причинно-следственного анализа и парадокс Симпсона..........62 2.1.1. Чем обусловлена эта проблема?........................................................64 2.1.2. Развивайте интуицию: как исправить проблему............................66 2.1.3. Решение парадокса Симпсона...........................................................67 2.2. Обобщение на другие задачи................................................................69
2.2.1. Описание проблемы с помощью графа...........................................70
2.2.2. Формулирование того, что хотелось бы узнать..............................70
2.2.3. Поиск способа вычисления причинно-следственной связи........71
2.2.4. Формулирование того, что хотелось бы узнать: язык
вмешательств..................................................................................................71
2.2.5. Поиск способа вычисления причинно-следственной связи:
формула корректировки...............................................................................74
2.2.6. Какие результаты дает метод лечения в каждой ситуации?
Предположение о положительности.........................................................76
2.3. Вмешательства и RCT....................................................................................78
2.4. Первая встреча со структурным подходом.................................................79
2.4.1. Моделирование примера почечнокаменной болезни...................81
2.4.2. Вмешательства в структурном подходе............................................83
2.5. Когда применять формулу корректировки................................................85
2.5.1. RCT или A/B-тестирование...............................................................86
2.5.2. Искажающие факторы........................................................................87
2.5.3. Ненаблюдаемые искажающие факторы..........................................88
2.5.4. Медиаторы............................................................................................89
2.5.5. Множество искажающих факторов..................................................90
2.5.6. Переменные, прогнозирующие результат......................................91
2.5.7. Переменные, прогнозирующие
выбор метода лечения..................................................................................93
2.5.8. Условное вмешательство....................................................................93
2.5.9. Объединение всех предыдущих ситуаций.......................................95
2.5.10. Обобщение различий между вмешательством
и применением формулы корректировки.................................................96
2.6. Итак, каков план?............................................................................................97
2.7. Основные уроки главы...................................................................................99
2.8. Контрольные вопросы.................................................................................100
Итоги.....................................................................................................................101
3 Применение причинно-следственного анализа.......................... 102
3.1.Когда и зачем использовать графы
в причинно-следственном анализе...................................................................103
3.2. Шаги по формулированию задачи с использованием графов..............105
3.2.1. Составьте список всех переменных............................................... 106
3.2.2. Создайте свой граф...........................................................................108
3.2.3. Сформулируйте свои предположения ..........................................112
3.2.4. Сформулируйте свои цели...............................................................113
3.2.5. Проверьте предположение о положительности..........................114
3.3. Другие примеры............................................................................................115
3.3.1. Рекомендательные системы.............................................................115
3.3.2. Ценообразование..............................................................................118
3.3.3. Моделирование..................................................................................118
3.4. Для дальнейшего чтения.............................................................................121
3.5. Контрольные вопросы.................................................................................121
Итоги.....................................................................................................................121
4 Как машинное обучение и причинно-следственный анализ
могут помочь друг другу............................................................123
4.1. Что дает обучение с учителем?.................................................................. 126
4.1.1. Когда следует использовать причинно-следственный
анализ, а когда обучение с учителем?.......................................................128
Оглавление
4.1.2. Цель аппроксимации данных......................................................... 129
4.1.3. Когда будущее и прошлое имеют одинаковое поведение...........131
4.1.4. Когда причинно-следственный анализ и обучение
с учителем совпадают?................................................................................133
4.1.5. Ошибка прогнозирования – ложный друг.....................................134
4.1.6. Проверка вмешательств...................................................................140
4.2. Как обучение с учителем участвует
в причинно-следственном анализе?..................................................................141
4.2.1. Эмпирические распределения и распределения
сгенерированных данных в формуле корректировки...........................143
4.2.2. Гибкость формулы корректировки ................................................144
4.2.3. Формула корректировки для непрерывных распределений .....145
4.2.4. Алгоритмы расчета формулы корректировки..............................145
4.2.5. Перекрестное обучение: предотвращение переобучения......... 149
4.3. Другие применения причинно-следственного анализа
в машинном обучении.........................................................................................153
4.3.1. Обучение с подкреплением.............................................................153
4.3.2. Справедливость .................................................................................155
4.3.3. Ложные корреляции.........................................................................155
4.3.4. Обработка естественного языка.................................................... 156
4.3.5. Объяснимость................................................................................... 156
4.4. Для дальнейшего чтения............................................................................ 156
4.5. Контрольные вопросы.................................................................................158
Итоги.....................................................................................................................158
ЧАСТЬ II. Формула корректировки на практике ...................161
5 Поиск сопоставимых случаев с использованием
меры склонности...........................................................................163
5.1. Знакомство с мерой склонности............................................................... 166
5.1.1. Поиск соответствий для оценки
причинно-следственных связей............................................................... 167
5.1.2. Но есть ли соответствие?................................................................ 168
5.1.3. Почему сопоставление может быть трудным............................... 169
5.1.4. Как меры склонности можно использовать для расчета ATE....171
5.2. Основные понятия мер склонности..........................................................172
5.2.1. С какими случаями мы работаем?...................................................173
5.2.2. Что такое мера склонности?........................................................... 176
5.2.3. Предположение о положительности – это... предположение..... 176
5.3. Оценки меры склонности на практике.....................................................177
5.3.1. Подготовка данных...........................................................................177
5.3.2. Вычисление меры склонности........................................................178
5.3.3. Оценка предположения о положительности................................181
5.3.4. Вычисление ATE на основе мер склонности.................................187
5.4. Вычисление корректировки меры склонности: упражнение.............. 194
5.4.1. Шаги упражнения............................................................................. 195
5.5. Для дальнейшего чтения............................................................................ 196
5.6. Контрольные вопросы................................................................................ 196
Итоги.................................................................................................................... 197
6 Расчет прямых и косвенных эффектов
с помощью линейных моделей................................................198
Оглавление