Конформное прогнозирование в Python
Покупка
Новинка
Тематика:
Программирование и алгоритмизация
Издательство:
ДМК Пресс
Автор:
Манохин Валерий
Перевод:
Груздев Артем Владимирович
Год издания: 2024
Кол-во страниц: 308
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-341-6
Артикул: 890553.01.99
Данная книга предлагает углубленное изучение конформного прогнозирования — новейшего подхода, позволяющего получить количественную оценку неопределенности, необходимую для принятия уверенных и надежных решений в различных задачах машинного обучения. Вы познакомитесь с практическим применением этого подхода в таких задачах машинного обучения, как классификация, регрессия, прогнозирование временных рядов, компьютерное зрение и обработка естественного языка.
Издание предназначено специалистам по data science, ML-инженерам, ученым и всем, кто хочет улучшить свои навыки в области количественной оценки неопределенности в машинном обучении.
Для изучения материала понадобятся базовые знания в области машинного обучения и программирования на Python.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.03: Прикладная информатика
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Валерий Манохин Конформное прогнозирование в Python
Practical Guide to Applied Conformal Prediction in Python Valery Manokhin BIRMINGHAM–MUMBAI
Конформное прогнозирование в Python Валерий Манохин Москва, 2025
УДК 004.85:004.43Python ББК 16.6+32.973.2 М23 Манохин Валерий М23 Конформное прогнозирование в Python / пер. с англ. А. В. Груздева. – М.: ДМК Пресс, 2024. – 306 с.: ил. ISBN 978-5-93700-341-6 Данная книга предлагает углубленное изучение конформного прогнозирования — новейшего подхода, позволяющего получить количественную оценку неопределенности, необходимую для принятия уверенных и надежных решений в различных задачах машинного обучения. Вы познакомитесь с практическим применением этого подхода в таких задачах машинного обучения, как классификация, регрессия, прогнозирование временных рядов, компьютерное зрение и обработка естественного языка. Издание предназначено специалистам по data science, ML-инженерам, ученым и всем, кто хочет улучшить свои навыки в области количественной оценки неопределенности в машинном обучении. Для изучения материала понадобятся базовые знания в области машинного обучения и программирования на Python. УДК 004.85:004.43Python ББК 16.6+32.973.2 Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Copyright © 2023 Packt Publishing © Оформление, издание, перевод, ДМК Пресс, 2024 ISBN (анг.) 978-1-80512-276-0 ISBN (рус.) 978-5-93700-341-6
Оглавление Предисловие от издательства.....................................................................10 1 Введение в конформное прогнозирование......................... 11 Технические требования............................................................................12 Введение в конформное прогнозирование...............................................12 Понимание мер конформности.............................................................17 Истоки конформного прогнозирования...................................................18 Будущее конформного прогнозирования.............................................19 Отличия конформного прогнозирования от традиционного машинного обучения..................................................................................20 Роль p-значения в конформном прогнозировании.................................21 Выводы.........................................................................................................22 2 Обзор возможностей конформного прогнозирования...... 23 Понимание количественной оценки неопределенности.........................24 Алеаторная неопределенность..............................................................24 Эпистемическая неопределенность......................................................25 Различные способы количественной оценки неопределенности...........26 Количественная оценка неопределенности с помощью конформного прогнозирования................................................................27 Выводы.........................................................................................................30 3 Основы конформного прогнозирования.............................. 31 Основы конформного прогнозирования..................................................31 Определение и принципы .....................................................................32 Основные компоненты конформного предиктора..................................33 Типы мер неконформности ...................................................................35 Выводы.........................................................................................................49 4 Валидность и эффективность конформного прогнозирования...................................................................... 50 Валидность вероятностных предикторов.................................................50 Калибровка классификатора..................................................................53 Эффективность вероятностных предикторов..........................................58 Выводы.........................................................................................................60
Типы конформных предикторов............................................ 61 Знакомство с классическими конформными предикторами..................62 Применение TCP для задач классификации.........................................63 Применение TCP для задач регрессии..................................................68 Преимущества.........................................................................................69 Недостатки..............................................................................................69 Знакомство с индуктивными конформными предикторами..................70 Выбор подходящего конформного предиктора........................................72 Трансдуктивные конформные предикторы .........................................73 Индуктивные конформные предикторы ..............................................73 Выводы ........................................................................................................73 6 Конформное прогнозирование для классификации......... 75 Калибровка классификатора......................................................................75 Основные понятия калибровки классификатора.....................................77 Оценка качества калибровки.....................................................................79 Различные подходы к калибровке классификаторов...............................83 Биннинг на основе гистограммы (histogram binning)..........................84 Масштабирование по Платту (Platt scaling)..........................................85 Изотоническая регрессия (isotonic regression).....................................87 Конформное прогнозирование для калибровки классификаторов........90 Конформное прогнозирование Venn-ABERS........................................90 Сравнение методов калибровки............................................................92 Инструменты конформного прогнозирования с открытым исходным кодом для задач классификации .............................................94 Nonconformist .........................................................................................94 Выводы.......................................................................................................117 7 Конформное прогнозирование для регрессии.................118 Количественная оценка неопределенности для задач регрессии.........119 Понимание типов и источников неопределенности в регрессионном моделировании........................................................119 Концепция прогнозных интервалов...................................................120 Почему нам нужны прогнозные интервалы?.....................................120 Чем прогнозный интервал отличается от доверительного интервала?.............................................................121 Конформное прогнозирование для задач регрессии.............................123 Методы построения прогнозных интервалов.........................................127 1. Наивный метод..................................................................................128 2. Сплит-метод......................................................................................129 3. Конформализованная квантильная регрессия...............................143 4. Метод jackknife..................................................................................148 6 Оглавление
5. Метод jackknife+................................................................................149 6. Метод jackknife-minmax....................................................................152 Конформные прогнозные распределения..............................................161 Выводы.......................................................................................................171 8 Конформное прогнозирование для временных рядов....172 Количественная оценка неопределенности для временных рядов......173 Важность количественной оценки неопределенности......................173 История методов количественной оценки неопределенности.........173 Ранние статистические методы – первые попытки количественной оценки неопределенности во временных рядах................................174 Современные подходы на основе машинного обучения...................175 Концепция прогнозного интервала для прогнозирования временных рядов.................................................175 Определение и построение..................................................................176 Проблемы, возникающие при построении прогнозных интервалов............................................................................................176 Различные подходы к построению прогнозных интервалов................176 Параметрические подходы..................................................................177 Непараметрические методы................................................................178 Байесовские методы.............................................................................178 Методы машинного обучения..............................................................178 Конформное прогнозирование............................................................179 Конформное прогнозирование для временных рядов..........................179 Прогнозные интервалы на основе ансамблей и батчей (ensemble batch PIs – EnbPIs)....................................................................179 Конформное прогнозирование в NeuralProphet ................................190 Конформное прогнозирование в Statsforecast .......................................206 Выводы.......................................................................................................218 9 Конформное прогнозирование для компьютерного зрения..................................................219 Количественная оценка неопределенности для компьютерного зрения......................................................................220 Почему важна неопределенность?......................................................220 Типы неопределенности в компьютерном зрении............................220 Количественная оценка неопределенности........................................221 Почему глубокое обучение выдает некалиброванные прогнозы?..... 221 Период после 2012 года – бум глубокого обучения ...........................222 Кризис калибровки в глубоких нейронных сетях – поворотный момент, случившийся в 2017 году..................................223 Сверхуверенность современных моделей глубокого обучения, применяемых в компьютерном зрении..............................................225 Оглавление 7
Конформное прогнозирование для компьютерного зрения.................226 Получение прогнозных множеств для классификаторов изображений с помощью конформного прогнозирования...............226 Создание классификаторов компьютерного зрения с использованием конформного прогнозирования...............................228 Наивное конформное прогнозирование.............................................231 Адаптивные прогнозные множества (Adaptive Prediction Sets – APS)............................................................238 Регуляризированные адаптивные прогнозные множества (Adaptive Prediction Sets – APS)............................................................248 Выводы.......................................................................................................259 10 Конформное прогнозирование для обработки естественного языка..............................................................260 Количественная оценка неопределенности для NLP.............................261 Различные подходы к количественной оценке неопределенности в задачах NLP...................................................................................................261 Байесовские подходы к количественной оценке неопределенности..... 261 Бутстреп и ансамблевые методы.........................................................262 Выявление данных, выходящих за пределы распределения (OOD detection)................................................................................................262 Конформное прогнозирование для NLP..................................................262 Выводы.......................................................................................................265 11 Работа с несбалансированными наборами данных.........266 Знакомство с несбалансированными наборами данных.......................267 Почему проблему несбалансированных данных сложно решать..........268 Методы решения проблемы несбалансированных данных...................268 Решение проблемы несбалансированных данных с помощью конформного прогнозирования..............................................................276 Решение проблем несбалансированных данных с помощью предикторов Venn-ABERS.....................................................................277 Ключевые выводы из тетрадки по обнаружению мошенничества с кредитными картами.............................................279 Выводы.......................................................................................................280 12 Введение в конформное прогнозирование для многоклассовой классификации..................................281 Задачи многоклассовой классификации.................................................282 Алгоритмы для многоклассовой классификации...............................282 Стратегии «один против всех» и «один против одного»....................283 8 Оглавление
Метрики для задач многоклассовой классификации.............................283 Матрица ошибок (confusion matrix).....................................................283 Точность (precision)...............................................................................284 Полнота (Recall).....................................................................................284 F1-оценка (F1-score)..............................................................................284 Макро- и микроусредненные метрики...............................................284 Площадь под ROC-кривой (AUC-ROC).................................................284 Логистическая функция потерь и ее применение для оценки качества калибровки многоклассовых моделей.............284 Использование оценки Брайера для измерения качества калибровки.............................................................................286 Применение конформного прогнозирования для задач многоклассовой классификации.............................................286 Многоклассовая вероятностная классификация с использованием индуктивных предикторов и предикторов cross-Venn-ABERS........................................................287 Выводы.......................................................................................................304 Оглавление 9
Предисловие от издательства Отзывы и пожелания Мы всегда рады отзывам наших читателей. Расскажите нам, что вы думаете об этой книге – что понравилось или, может быть, не понравилось. Отзывы важны для нас, чтобы выпускать книги, которые будут для вас максимально полезны. Вы можете написать отзыв на нашем сайте www.dmkpress.com, зайдя на страницу книги и оставив комментарий в разделе «Отзывы и рецензии». Также можно послать письмо главному редактору по адресу dmkpress@gmail.com; при этом укажите название книги в теме письма. Если вы являетесь экспертом в какой-либо области и заинтересованы в написании новой книги, заполните форму на нашем сайте по адресу http://dmkpress.com/ authors/publish_book/ или напишите в издательство по адресу dmkpress@gmail.com. Список опечаток Хотя мы приняли все возможные меры для того, чтобы обеспечить высокое качество наших текстов, ошибки все равно случаются. Если вы найдете ошибку в одной из наших книг – возможно, ошибку в основном тексте или программном коде, – мы будем очень благодарны, если вы сообщите нам о ней. Сделав это, вы избавите других читателей от недопонимания и поможете нам улучшить последующие издания этой книги. Если вы найдете какие-либо ошибки в коде, пожалуйста, сообщите о них главному редактору по адресу dmkpress@gmail.com, и мы исправим это в следующих тиражах. Нарушение авторских прав Пиратство в интернете по-прежнему остается насущной проблемой. Издательство «ДМК Пресс» очень серьезно относится к вопросам защиты авторских прав и лицензирования. Если вы столкнетесь в интернете с незаконной публикацией какой-либо из наших книг, пожалуйста, пришлите нам ссылку на интернет-ресурс, чтобы мы могли применить санкции. Ссылку на подозрительные материалы можно прислать по адресу dmkpress@gmail.com. Мы высоко ценим любую помощь по защите наших авторов, благодаря которой мы можем предоставлять вам качественные материалы.