Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Объяснимые модели искусственного интеллекта на Python. Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python

Покупка
Артикул: 817215.01.99
В книге рассматриваются так называемые модели «черного ящика» для повышения адаптивности, интерпретируемости и объяснимости решений, принимаемых алгоритмами искусственного интеллекта (ИИ) с использованием библиотек Python XAI, TensorFlow 2.0+, Keras, а также пользовательских фреймворков с использованием Python Wrappers. Издание предназначено специалистам по анализу данных, инженерам по внедрению моделей ИИ, а также может быть полезно бизнес-пользователям и руководителям проектов, использующих результаты работы решений ИИ в своей деятельности.
Мишра, П. Объяснимые модели искусственного интеллекта на Python. Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python : практическое руководство / П. Мишра ; пер. с англ. С. В. Минца. - Москва : ДМК Пресс, 2022. - 298 с. - ISBN 978-5-93700-124-5. - Текст : электронный. - URL: https://znanium.com/catalog/product/2109490 (дата обращения: 10.12.2024). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Прадипта Мишра

Объяснимые модели 
искусственного 
интеллекта на Python

Модель искусственного интеллекта.
Объяснения с использованием библиотек, 
расширений и фреймворков  
на основе языка Python

Practical Explainable ИИ 
Using Python

Artificial Intelligence Model Explanations 
Using Python-based Libraries, Extensions, 
and Frameworks

Pradeepta Mishra

Объяснимые модели 
искусственного 
интеллекта на Python

Модель искусственного интеллекта.
Объяснения с использованием библиотек, 
расширений и фреймворков  
на основе языка Python

Прадипта Мишра

Москва, 2022

УДК 004.438Python
ББК  32.973.22
М71

Прадипта Мишра
М71 Объяснимые модели искусственного интеллекта на Python. Модель искусственного интеллекта. Объяснения с использованием библиотек, расширений и фреймворков на основе языка Python / пер. с англ. С. В. Минца. – М.: 
ДМК Пресс, 2022. – 298 с.: ил.

ISBN 978-5-93700-124-5

В книге рассматриваются так называемые модели «черного ящика» для повышения адаптивности, интерпретируемости и объяснимости решений, принимаемых алгоритмами искусственного интеллекта (ИИ) с использованием библиотек 
Python XAI, TensorFlow 2.0+, Keras, а также пользовательских фреймворков с использованием Python Wrappers.
Издание предназначено специалистам по анализу данных, инженерам по внедрению моделей ИИ, а также может быть полезно бизнес-пользователям и руководителям проектов, использующих результаты работы решений ИИ в своей 
деятельности.

УДК 004.438Python
ББК 32.973.22

First published in English under the title Practical Explainable ИИ Using Python
This edition has been translated and published under licence from APress Media, LLC, part of 
Springer Nature.
APress Media, LLC, part of Springer Nature takes no responsibility and shall not be made 
liable for the accuracy of the translation.

Все права защищены. Любая часть этой книги не может быть воспроизведена 
в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.

Copyright © 2022 by Pradeepta Mishra
© Оформление, издание, перевод, ДМК Пресс, 2022
ISBN  (анг.) 978-1-4842-7157-5
ISBN  (рус.) 978-5-93700-124-5

Я посвящаю эту книгу моему покойному отцу, который всегда 
вдохновлял меня стремиться к следующему уровню, никогда 
не останавливаться на достигнутом и продолжать двигаться вперед. 
Люблю тебя, папа, ты бы гордился этой книгой.

Трем женщинам в моей жизни – моей жене Праджне и моим дочерям, 
Аарии и Аадии, которые всегда поддерживали и любили меня. 
Завершение этой книги было бы невозможно без их поддержки.

Оглавление

Об авторе ........................................................................................... 10

О рецензентах ................................................................................... 11

Благодарности ................................................................................... 12

Введение ............................................................................................ 13

Глава 1. Объяснимость и интерпретируемость модели .............. 15
Создание основ .................................................................................................15
Искусственный интеллект ...............................................................................16
Необходимость XAI ...........................................................................................17
Сравнение объяснимости с интерпретируемостью .......................................20
Типы объяснимости .........................................................................................22
Инструменты для объяснимости моделей ......................................................22
SHAP ..................................................................................................................23
LIME ...................................................................................................................23
ELI5 ....................................................................................................................24
Skater .................................................................................................................25
Skope_rules .........................................................................................................26
Методы XAI для ML ...........................................................................................27
Совместимые с XAI модели .............................................................................28
Объяснимый ИИ удовлетворяет требованиям ответственного ИИ ..............29
Оценка XAI ........................................................................................................31
Заключение .......................................................................................................33

Глава 2. Этика, предвзятость и надежность ИИ ........................... 34
Основы этики ИИ  .............................................................................................34
Предвзятость в ИИ ............................................................................................37
Предвзятость данных .......................................................................................37
Алгоритмическая предвзятость ......................................................................37
Процесс снижения предвзятости ....................................................................38
Предвзятость интерпретации ..........................................................................38
Предвзятость при обучении ............................................................................39
Надежность в ИИ ..............................................................................................42
Заключение .......................................................................................................44

ГЛАВА 3. Объяснимость для линейных моделей ......................... 45
Линейные модели .............................................................................................45
Линейная регрессия .........................................................................................45

VIF и проблемы, которые он может породить ................................................53
Окончательная модель .....................................................................................57
Объяснимость модели ......................................................................................57
Доверие к модели ML: SHAP ............................................................................59
Локальное объяснение и индивидуальные прогнозы в модели ML .............62
Глобальное объяснение и общие прогнозы в модели ML ..............................65
Объяснение LIME и модель ML ........................................................................69
Объяснение Skater и модель ML ......................................................................73
Объяснение ELI5 и модель ML .........................................................................75
Логистическая регрессия .................................................................................76
Интерпретация .................................................................................................85
Вывод LIME .......................................................................................................86
Заключение .......................................................................................................92

ГЛАВА 4. Объяснимость для нелинейных моделей .................... 93
Нелинейные модели .........................................................................................93
Объяснение дерева решений ...........................................................................95
Подготовка данных для модели дерева решений ..........................................97
Создание модели ..............................................................................................99
Дерево решений – SHAP .................................................................................106
График частичной зависимости ....................................................................106
PDP с использованием Scikit-Learn ...............................................................115
Объяснение нелинейной модели – LIME ......................................................118
Нелинейное объяснение – Skope-Rules .........................................................121
Заключение .....................................................................................................123

ГЛАВА 5. Объяснимость для ансамблевых моделей  ...............124
Ансамблевые модели .....................................................................................124
Типы ансамблевых моделей ..........................................................................125
Почему ансамблевые модели? .......................................................................125
Использование SHAP для ансамблевых моделей .........................................128
Использование интерпретации, объясняющей модель повышения ..........133
Модель классификации ансамблей: SHAP ....................................................139
Использование SHAP для объяснения категориальных  
моделей повышения.......................................................................................146
Использование многоклассовой категориальной модели  
повышения SHAP ............................................................................................152
Использование SHAP для объяснения модели легкой GBM ........................154
Заключение .....................................................................................................157

ГЛАВА 6. Объяснимость для моделей временных рядов ........159
Модели временных рядов ..............................................................................159
Выбор подходящей модели ............................................................................161
Стратегия прогнозирования ..........................................................................162
Доверительный интервал прогнозов ............................................................162
Что происходит с доверием? .........................................................................163

Оглавление  7

Временные ряды: LIME ..................................................................................175
Заключение .....................................................................................................178

ГЛАВА 7. Объяснимость для NLP ...................................................179
Задачи обработки естественного языка .......................................................179
Объяснимость для классификации текстов ..................................................180
Набор данных для классификации текста ....................................................180
Объяснение с помощью ELI5 .........................................................................182
Вычисление весов характеристик для локального объяснения ..................183
Локальное объяснение. Пример 1 .................................................................184
Локальное объяснение. Пример 2 .................................................................184
Локальное объяснение. Пример 3 .................................................................185
Объяснение после удаления стоп-слов .........................................................185
Классификация текста на основе N-грамм ...................................................189
Объяснимость многоклассовой классификации текста по меткам ............193
Локальное объяснение. Пример 1 .................................................................198
Локальное объяснение. Пример 2 .................................................................199
Локальное объяснение. Пример 3 .................................................................201
Заключение .....................................................................................................209

ГЛАВА 8. Справедливость модели ИИ,  
использующей сценарий «что, если» ..........................................210
Что такое WIT? ................................................................................................210
Установка WIT .................................................................................................211
Метрика оценки ..............................................................................................220
Заключение .....................................................................................................221

ГЛАВА 9. Объяснимость для моделей глубокого обучения .....222
Объяснение моделей DL .................................................................................222
Использование SHAP с DL ..............................................................................225
Использование Deep SHAP .............................................................................225
Использование Alibi .......................................................................................225
Объяснитель SHAP для глубокого обучения .................................................229
Еще один пример классификации изображений .........................................231
Использование SHAP ......................................................................................234
Deep Explainer для табличных данных ..........................................................237
Заключение .....................................................................................................239

ГЛАВА 10. Контрфактуальные объяснения  
для моделей XAI .............................................................................240
Что такое CFE? ................................................................................................240
Применение CFE .............................................................................................240
CFE с помощью Alibi .......................................................................................241
Контрфактуал для задач регрессии ...............................................................248
Заключение .....................................................................................................251

8  
Оглавление

ГЛАВА 11. Контрастные объяснения  
для машинного обучения ..............................................................252
Что такое CE для ML? ......................................................................................252
CEM, использующие Alibi ...............................................................................253
Сравнение оригинального изображения и изображения,  
сгенерированного автокодировщиком .........................................................258
Объяснения CEM для табличных данных .....................................................262
Заключение .....................................................................................................267

ГЛАВА 12. Модельно независимые объяснения путем  
определения инвариантности прогноза .....................................268
Что такое независимость от модели? ............................................................268
Что такое якорь? .............................................................................................268
Объяснения якорей с помощью Alibi ............................................................269
Якорь текста для классификации текста .......................................................273
Якорь изображения для классификации изображений ...............................277
Заключение .....................................................................................................280

ГЛАВА 13. Объяснимость модели для экспертных систем,  
основанных на правилах ...............................................................281
Что такое экспертная система? .....................................................................281
Прямая и обратная цепочки ..........................................................................282
Извлечение правил с помощью Scikit-Learn ................................................283
Потребность в системе, основанной на правилах ........................................289
Проблемы экспертной системы ....................................................................290
Заключение .....................................................................................................290

ГЛАВА 14. Объяснимость моделей  
для компьютерного зрения ...........................................................291
Почему объяснимость для данных изображений? .......................................291
Якорь изображения с помощью Alibi ............................................................292
Метод интегрированных градиентов ...........................................................292
Заключение .....................................................................................................297

Оглавление  9

Об авторе

Прадипта Мишра (Pradeepta Mishra) – руководитель отдела искусственного интеллекта в компании L&T Infotech (LTI), возглавляет группу специалистов по анализу данных, вычислительной 
лингвистике, машинному и глубокому обучению, 
участвующих в создании функций искусственного 
интеллекта для обработки данных. Он был два года 
подряд (2019, 2020) награжден премией «40 лучших специалистов по обработке данных Индии 
в возрасте до 40 лет», по версии журнала Analytics 
India. Как изобретатель, подал пять патентов, которые в настоящее время находятся на рассмотрении в разных странах мира. Является автором 
четырех книг, опубликованных на разных языках, 
включая английский, китайский и испанский. Его первая книга была рекомендована центром HSLS при Питтсбургском университете, штат Пенсильвания, 
США. Последняя его книга «PyTorch. Рецепты» была опубликована издательством Apress. Он выступил с основным докладом на конференции 2018 Global 
Data Science Conference, Калифорния, США. Выступил с более чем 500 докладами по анализу данных, машинному обучению, глубокому обучению, обработке 
естественного языка и искусственному интеллекту в различных университетах, 
на встречах, в технических институтах и на форумах, организованных сообществом. Является приглашенным преподавателем по курсам искусственного интеллекта, машинного обучения и кибербезопасности в магистратуре университета Рева, Бангалор, Индия, а также в других университетах. За последние 
девять лет обучал более 2 000 специалистов по анализу данных и инженеров по 
искусственному интеллекту.