Объяснимые модели искусственного интеллекта на Python. Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python
Покупка
Тематика:
Программирование и алгоритмизация
Издательство:
ДМК Пресс
Автор:
Мишра Прадипта
Перевод:
Минц С. В.
Год издания: 2022
Кол-во страниц: 298
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
ВО - Специалитет
ISBN: 978-5-93700-124-5
Артикул: 817215.01.99
В книге рассматриваются так называемые модели «черного ящика» для повышения адаптивности, интерпретируемости и объяснимости решений, принимаемых алгоритмами искусственного интеллекта (ИИ) с использованием библиотек Python XAI, TensorFlow 2.0+, Keras, а также пользовательских фреймворков с использованием Python Wrappers.
Издание предназначено специалистам по анализу данных, инженерам по внедрению моделей ИИ, а также может быть полезно бизнес-пользователям и руководителям проектов, использующих результаты работы решений ИИ в своей деятельности.
- Полная коллекция по информатике и вычислительной технике
- Аналитика данных
- ДМК Пресс. Информационные системы и технологии
- ДМК Пресс. ИТ-технологии для профессионалов
- Интермедиатор. Информационные системы и технологии (сводная)
- Интермедиатор. ИТ-технологии для профессионалов (сводная)
- Программирование и алгоритмизация
- Программирование на Python
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Прадипта Мишра Объяснимые модели искусственного интеллекта на Python Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python
Practical Explainable ИИ Using Python Artificial Intelligence Model Explanations Using Python-based Libraries, Extensions, and Frameworks Pradeepta Mishra
Объяснимые модели искусственного интеллекта на Python Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python Прадипта Мишра Москва, 2022
УДК 004.438Python ББК 32.973.22 М71 Прадипта Мишра М71 Объяснимые модели искусственного интеллекта на Python. Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python / пер. с англ. С. В. Минца. – М.: ДМК Пресс, 2022. – 298 с.: ил. ISBN 978-5-93700-124-5 В книге рассматриваются так называемые модели «черного ящика» для повышения адаптивности, интерпретируемости и объяснимости решений, принимаемых алгоритмами искусственного интеллекта (ИИ) с использованием библиотек Python XAI, TensorFlow 2.0+, Keras, а также пользовательских фреймворков с использованием Python Wrappers. Издание предназначено специалистам по анализу данных, инженерам по внедрению моделей ИИ, а также может быть полезно бизнес-пользователям и руководителям проектов, использующих результаты работы решений ИИ в своей деятельности. УДК 004.438Python ББК 32.973.22 First published in English under the title Practical Explainable ИИ Using Python This edition has been translated and published under licence from APress Media, LLC, part of Springer Nature. APress Media, LLC, part of Springer Nature takes no responsibility and shall not be made liable for the accuracy of the translation. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Copyright © 2022 by Pradeepta Mishra © Оформление, издание, перевод, ДМК Пресс, 2022 ISBN (анг.) 978-1-4842-7157-5 ISBN (рус.) 978-5-93700-124-5
Я посвящаю эту книгу моему покойному отцу, который всегда вдохновлял меня стремиться к следующему уровню, никогда не останавливаться на достигнутом и продолжать двигаться вперед. Люблю тебя, папа, ты бы гордился этой книгой. Трем женщинам в моей жизни – моей жене Праджне и моим дочерям, Аарии и Аадии, которые всегда поддерживали и любили меня. Завершение этой книги было бы невозможно без их поддержки.
Оглавление Об авторе ........................................................................................... 10 О рецензентах ................................................................................... 11 Благодарности ................................................................................... 12 Введение ............................................................................................ 13 Глава 1. Объяснимость и интерпретируемость модели .............. 15 Создание основ .................................................................................................15 Искусственный интеллект ...............................................................................16 Необходимость XAI ...........................................................................................17 Сравнение объяснимости с интерпретируемостью .......................................20 Типы объяснимости .........................................................................................22 Инструменты для объяснимости моделей ......................................................22 SHAP ..................................................................................................................23 LIME ...................................................................................................................23 ELI5 ....................................................................................................................24 Skater .................................................................................................................25 Skope_rules .........................................................................................................26 Методы XAI для ML ...........................................................................................27 Совместимые с XAI модели .............................................................................28 Объяснимый ИИ удовлетворяет требованиям ответственного ИИ ..............29 Оценка XAI ........................................................................................................31 Заключение .......................................................................................................33 Глава 2. Этика, предвзятость и надежность ИИ ........................... 34 Основы этики ИИ .............................................................................................34 Предвзятость в ИИ ............................................................................................37 Предвзятость данных .......................................................................................37 Алгоритмическая предвзятость ......................................................................37 Процесс снижения предвзятости ....................................................................38 Предвзятость интерпретации ..........................................................................38 Предвзятость при обучении ............................................................................39 Надежность в ИИ ..............................................................................................42 Заключение .......................................................................................................44 ГЛАВА 3. Объяснимость для линейных моделей ......................... 45 Линейные модели .............................................................................................45 Линейная регрессия .........................................................................................45
VIF и проблемы, которые он может породить ................................................53 Окончательная модель .....................................................................................57 Объяснимость модели ......................................................................................57 Доверие к модели ML: SHAP ............................................................................59 Локальное объяснение и индивидуальные прогнозы в модели ML .............62 Глобальное объяснение и общие прогнозы в модели ML ..............................65 Объяснение LIME и модель ML ........................................................................69 Объяснение Skater и модель ML ......................................................................73 Объяснение ELI5 и модель ML .........................................................................75 Логистическая регрессия .................................................................................76 Интерпретация .................................................................................................85 Вывод LIME .......................................................................................................86 Заключение .......................................................................................................92 ГЛАВА 4. Объяснимость для нелинейных моделей .................... 93 Нелинейные модели .........................................................................................93 Объяснение дерева решений ...........................................................................95 Подготовка данных для модели дерева решений ..........................................97 Создание модели ..............................................................................................99 Дерево решений – SHAP .................................................................................106 График частичной зависимости ....................................................................106 PDP с использованием Scikit-Learn ...............................................................115 Объяснение нелинейной модели – LIME ......................................................118 Нелинейное объяснение – Skope-Rules .........................................................121 Заключение .....................................................................................................123 ГЛАВА 5. Объяснимость для ансамблевых моделей ...............124 Ансамблевые модели .....................................................................................124 Типы ансамблевых моделей ..........................................................................125 Почему ансамблевые модели? .......................................................................125 Использование SHAP для ансамблевых моделей .........................................128 Использование интерпретации, объясняющей модель повышения ..........133 Модель классификации ансамблей: SHAP ....................................................139 Использование SHAP для объяснения категориальных моделей повышения.......................................................................................146 Использование многоклассовой категориальной модели повышения SHAP ............................................................................................152 Использование SHAP для объяснения модели легкой GBM ........................154 Заключение .....................................................................................................157 ГЛАВА 6. Объяснимость для моделей временных рядов ........159 Модели временных рядов ..............................................................................159 Выбор подходящей модели ............................................................................161 Стратегия прогнозирования ..........................................................................162 Доверительный интервал прогнозов ............................................................162 Что происходит с доверием? .........................................................................163 Оглавление 7
Временные ряды: LIME ..................................................................................175 Заключение .....................................................................................................178 ГЛАВА 7. Объяснимость для NLP ...................................................179 Задачи обработки естественного языка .......................................................179 Объяснимость для классификации текстов ..................................................180 Набор данных для классификации текста ....................................................180 Объяснение с помощью ELI5 .........................................................................182 Вычисление весов характеристик для локального объяснения ..................183 Локальное объяснение. Пример 1 .................................................................184 Локальное объяснение. Пример 2 .................................................................184 Локальное объяснение. Пример 3 .................................................................185 Объяснение после удаления стоп-слов .........................................................185 Классификация текста на основе N-грамм ...................................................189 Объяснимость многоклассовой классификации текста по меткам ............193 Локальное объяснение. Пример 1 .................................................................198 Локальное объяснение. Пример 2 .................................................................199 Локальное объяснение. Пример 3 .................................................................201 Заключение .....................................................................................................209 ГЛАВА 8. Справедливость модели ИИ, использующей сценарий «что, если» ..........................................210 Что такое WIT? ................................................................................................210 Установка WIT .................................................................................................211 Метрика оценки ..............................................................................................220 Заключение .....................................................................................................221 ГЛАВА 9. Объяснимость для моделей глубокого обучения .....222 Объяснение моделей DL .................................................................................222 Использование SHAP с DL ..............................................................................225 Использование Deep SHAP .............................................................................225 Использование Alibi .......................................................................................225 Объяснитель SHAP для глубокого обучения .................................................229 Еще один пример классификации изображений .........................................231 Использование SHAP ......................................................................................234 Deep Explainer для табличных данных ..........................................................237 Заключение .....................................................................................................239 ГЛАВА 10. Контрфактуальные объяснения для моделей XAI .............................................................................240 Что такое CFE? ................................................................................................240 Применение CFE .............................................................................................240 CFE с помощью Alibi .......................................................................................241 Контрфактуал для задач регрессии ...............................................................248 Заключение .....................................................................................................251 8 Оглавление
ГЛАВА 11. Контрастные объяснения для машинного обучения ..............................................................252 Что такое CE для ML? ......................................................................................252 CEM, использующие Alibi ...............................................................................253 Сравнение оригинального изображения и изображения, сгенерированного автокодировщиком .........................................................258 Объяснения CEM для табличных данных .....................................................262 Заключение .....................................................................................................267 ГЛАВА 12. Модельно независимые объяснения путем определения инвариантности прогноза .....................................268 Что такое независимость от модели? ............................................................268 Что такое якорь? .............................................................................................268 Объяснения якорей с помощью Alibi ............................................................269 Якорь текста для классификации текста .......................................................273 Якорь изображения для классификации изображений ...............................277 Заключение .....................................................................................................280 ГЛАВА 13. Объяснимость модели для экспертных систем, основанных на правилах ...............................................................281 Что такое экспертная система? .....................................................................281 Прямая и обратная цепочки ..........................................................................282 Извлечение правил с помощью Scikit-Learn ................................................283 Потребность в системе, основанной на правилах ........................................289 Проблемы экспертной системы ....................................................................290 Заключение .....................................................................................................290 ГЛАВА 14. Объяснимость моделей для компьютерного зрения ...........................................................291 Почему объяснимость для данных изображений? .......................................291 Якорь изображения с помощью Alibi ............................................................292 Метод интегрированных градиентов ...........................................................292 Заключение .....................................................................................................297 Оглавление 9
Об авторе Прадипта Мишра (Pradeepta Mishra) – руководитель отдела искусственного интеллекта в компании L&T Infotech (LTI), возглавляет группу специалистов по анализу данных, вычислительной лингвистике, машинному и глубокому обучению, участвующих в создании функций искусственного интеллекта для обработки данных. Он был два года подряд (2019, 2020) награжден премией «40 лучших специалистов по обработке данных Индии в возрасте до 40 лет», по версии журнала Analytics India. Как изобретатель, подал пять патентов, которые в настоящее время находятся на рассмотрении в разных странах мира. Является автором четырех книг, опубликованных на разных языках, включая английский, китайский и испанский. Его первая книга была рекомендована центром HSLS при Питтсбургском университете, штат Пенсильвания, США. Последняя его книга «PyTorch. Рецепты» была опубликована издательством Apress. Он выступил с основным докладом на конференции 2018 Global Data Science Conference, Калифорния, США. Выступил с более чем 500 докладами по анализу данных, машинному обучению, глубокому обучению, обработке естественного языка и искусственному интеллекту в различных университетах, на встречах, в технических институтах и на форумах, организованных сообществом. Является приглашенным преподавателем по курсам искусственного интеллекта, машинного обучения и кибербезопасности в магистратуре университета Рева, Бангалор, Индия, а также в других университетах. За последние девять лет обучал более 2 000 специалистов по анализу данных и инженеров по искусственному интеллекту.