Искусственный интеллект на предприятии: теория и практика

Илья Кацов
Искусственный интеллект 
на предприятии

Ilya Katsov
The Theory  
and Practice  
of Enterprise AI
Recipes and Reference 
Implementations for Marketing, 
Supply Chain, and Production 
Operations
Second Edition

Илья Кацов
Искусственный 
интеллект 
на предприятии
Теория и практика для маркетинга, 
управления поставками 
и производством
Москва, 2024

УДК	 004.89, 338.3
ББК 32.813, 65.29
К30
Кацов И.
К30 	 Искусственный интеллект на предприятии: теория и практика / пер. с англ. 
В. С. Яценкова. – М.: ДМК Пресс, 2024. – 710 с.: ил. 
ISBN 978-5-93700-277-8
В книге подробно рассказано, как можно улучшить бизнес-процессы компании 
с помощью методов искусственного интеллекта, а также использовать их в сочетании с традиционными подходами к аналитике и оптимизации. Рассмотрены 
основные концепции автоматизации принятия корпоративных решений, глубокого обучения, генеративного искусственного интеллекта и методов обучения 
с подкреплением; описаны прикладные рецепты для клиентской аналитики 
и персонализации, а также методы прогнозирования спроса, оптимизации цен 
и управления запасами; приведены решения для обнаружения аномалий и визуального контроля, помогающие улучшить производственные и транспортные 
операции.
В репозитории  GitHub доступны прототипы кода на Python, помогающие понять детали реализации.
Издание адресовано специалистам по корпоративным данным, аналитикам, 
а также будет полезно руководителям предприятий: директорам по производству 
(COO), маркетингу (CMO), информатизации (CIO) и др.
УДК  004.89, 338.3
ББК  32.813, 65.29
Title of English-language edition: “The Theory and Practice of Enterprise AI, 2ed”, published 
by Grid Dynamics.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
ISBN 979-8-218-16967-1 (англ.) 	
©  2023 Ilya Katsov
ISBN 978-5-93700-277-8 (рус.) 	
©  Перевод, оформление, издание,  
ДМК Пресс, 2024

СОДЕРЖАНИЕ
От издательства.....................................................................................................15
Предисловие............................................................................................................16
Часть I  БАЗОВЫЕ КОМПОНЕНТЫ.............................................................19
1  Автоматизация решений и процессов в деятельности 
предприятия............................................................................................................20
1.1  Методика сценарного планирования.............................................................21
1.1.1. Стратегия: предприятие в целом...............................................................24
1.1.2  Тактика: подразделения, услуги и продукты.........................................28
1.1.3  Реализация: клиенты, устройства, транзакции и интерфейсы...........32
1.2  Возможности моделирования..........................................................................35
1.3  Внедрение базовых моделей и AutoML..........................................................38
1.4  Краткие итоги главы..........................................................................................40
2  Прогнозные модели.......................................................................................41
2.1  Обзор с точки зрения системной инженерии................................................41
2.1.1  Семантические представления.................................................................42
2.1.2  Прогнозные модели....................................................................................44
2.1.3  Генеративные модели................................................................................47
2.1.4  Модели управления....................................................................................48
2.2  Метод максимального правдоподобия...........................................................50
2.2.1  Оценка правдоподобия..............................................................................50
2.2.2  Оценка условного правдоподобия...........................................................52
2.2.3  Максимизация правдоподобия с использованием градиентного 
спуска........................................................................................................................52
2.3  Модели с векторными входами.......................................................................54
2.3.1  Линейный слой............................................................................................54
2.3.2  Нелинейные слои........................................................................................61
2.3.3  Остаточные блоки и обходные связи.......................................................65
2.3.4  Слои оценки распределения.....................................................................66
2.3.5  Слои выборки..............................................................................................68
2.3.6  Слой встраивания с перекодировкой......................................................69
2.3.7  Слои взаимодействия.................................................................................73
2.3.8  Многоголовые и многобашенные архитектуры....................................74
2.4  Модели с последовательными входами..........................................................77
2.4.1  Проблемы моделирования последовательностей.................................77
2.4.2  Метод скользящего окна............................................................................78
2.4.3  Слой свертки................................................................................................85

6 
Содержание
2.4.4  Рекуррентный слой.....................................................................................90
2.4.5  Слой долгой краткосрочной памяти........................................................93
2.4.6  Механизм внимания..................................................................................98
2.4.7  Слой трансформера....................................................................................99
2.5  Модели с многомерными входными данными...........................................107
2.5.1  Операция 2D-свертки...............................................................................108
2.5.2  Слой двухмерной свертки.......................................................................109
2.5.3  Слой двухмерной повышающей свертки..............................................111
2.5.4  Глубокие двухмерные сверточные сети................................................112
2.5.5  Слой двухмерного трансформера..........................................................116
2.6  Модели обуче-ния представлению.................................................................117
2.6.1  Функции потерь для изучения представлений с учителем................118
2.6.2  Автокодировщики....................................................................................119
2.6.3  Представление элементов.......................................................................124
2.7  Модели с графовыми входными данными..................................................128
2.7.1  Задачи графового машинного обуче-ния...............................................128
2.7.2  Изучение представлений узлов .............................................................130
2.7.3  Графовые нейронные сети.......................................................................136
2.8  Корректность модели......................................................................................140
2.8.1  Несбалансированные данные.................................................................140
2.8.2  Данные наблюдений.................................................................................143
2.9  Базовые модели................................................................................................145
2.9.1  Стратегии предварительного обуче-ния................................................146
2.9.2  Стратегии переноса обуче-ния................................................................147
2.9.3  Методы тонкой настройки......................................................................148
2.10  Краткие итоги главы......................................................................................150
3  Генеративные модели................................................................................152
3.1  Регуляризация семантического пространства............................................153
3.2  Вариационный автокодировщик...................................................................154
3.2.1  Модели со скрытыми переменными и их оценка...............................155
3.2.2  Масштабируемая оценка модели с использованием ELBO................156
3.2.3  Предположения о нормальности............................................................158
3.2.4  Сеть вариационного автокодировщика................................................159
3.2.5  Ограничения базового VAE.....................................................................162
3.2.6  Условный вариационный автокодировщик.........................................162
3.2.7  Иерархический вариационный автокодировщик...............................164
3.3  Вероятностные диффузионные модели шумоподавления.......................166
3.3.1  Прямой процесс........................................................................................167
3.3.2  Обратный процесс....................................................................................168
3.3.3  Обучение....................................................................................................169
3.3.4  Извлечение выборки................................................................................172
3.3.5  Условные диффузионные модели..........................................................172
3.4  Большие языковые модели.............................................................................173
3.4.1  Языковое моделирование........................................................................174

Содержание  7
3.4.2  Базовые языковые модели......................................................................174
3.4.3  Масштабирование архитектуры моделей.............................................175
3.4.4  Свойства больших языковых моделей..................................................182
3.4.5  Тонкая настройка с помощью инструкций...........................................187
3.4.6  Цепные вызовы моделей.........................................................................188
3.5  Краткие итоги главы........................................................................................190
4  Управляющие модели.................................................................................192
4.1  Основные методы принятия решений.........................................................192
4.2  Обучение на основе взаимодействия...........................................................196
4.3  Обучение с подкреплением и стохастический бандит..............................197
4.3.1  Жадные стратегии....................................................................................198
4.3.2  Стратегия верхней доверительной границы........................................199
4.3.3  Выборка Томпсона....................................................................................201
4.3.4  Нестационарные среды...........................................................................203
4.4  Обучение с подкреплением: общий случай.................................................205
4.4.1  Марковский процесс принятия решений.............................................205
4.4.2  Стратегии и функции ценности.............................................................207
4.4.3  Оптимизация стратегии с помощью динамического 
программирования..............................................................................................208
4.4.4  Методы на основе ценности...................................................................210
4.4.5  Методы на основе стратегий...................................................................220
4.4.6  Комбинированные методы.....................................................................224
4.5  Контрфактическая оценка стратегии...........................................................228
4.5.1  Выборка по важности...............................................................................229
4.5.2  Выборка с отклонением действий.........................................................231
4.6  Краткие итоги главы........................................................................................232
Часть II  АНАЛИЗ КЛИЕНТСКОЙ БАЗЫ.................................................234
R1  Моделирование склонности.................................................................235
R1.1  Бизнес-задача.................................................................................................236
R1.1.1  Оценивание склонности.......................................................................237
R1.1.2  Атрибуция событий................................................................................238
R1.2  Варианты решения........................................................................................239
R1.3  Модели с агрегированными признаками..................................................239
R1.4  Моделирование последовательности событий.........................................242
R1.4.1  Оценивание склонности.......................................................................242
R1.4.2  Атрибуция событий................................................................................243
R1.5  Прототип.........................................................................................................245
R1.6  Пример............................................................................................................249
R1.7  Расширения и варианты...............................................................................252
R1.7.1  Расширенные последовательные модели...........................................252
R1.7.2  Сверточные модели................................................................................253
R1.7.3  Конструирование целевой метки.........................................................253

8 
Содержание
R1.7.4  Практическое применение....................................................................253
R1.8  Краткие итоги главы.....................................................................................254
R2  Изучение признаков клиента..............................................................255
R2.1  Бизнес-задача...................................................................................................256
R2.2  Варианты решения........................................................................................258
R2.3  Обучение на последовательностях событий.............................................258
R2.3.1  Изучение встраиваний товара..............................................................258
R2.3.2  Совмещение поведенческих и контентных признаков...................259
R2.3.3  Изучение встраиваний клиентов.........................................................261
R2.3.4  Изучение встраиваний по данным из журналов...............................262
R2.4  Обучение на графах, тексте и изображениях............................................263
R2.5  Методы обучения с частичным привлечением учителя...........................265
R2.6  Методы на основе автокодировщика.........................................................267
R2.7  Прототип.........................................................................................................267
R2.8  Пример............................................................................................................270
R2.9  Краткие итоги главы.....................................................................................272
R3  Динамическая персонализация..........................................................274
R3.1  Бизнес-задача.................................................................................................274
R3.2  Варианты решения........................................................................................276
R3.3  Контекстно-свободные рекомендации......................................................276
R3.4  Контекстные рекомендации........................................................................278
R3.4.1  UCB с теплым стартом...........................................................................279
R3.4.2  Алгоритм LinUCB....................................................................................280
R3.5  Оценка и бутстрэппинг.................................................................................283
R3.6  Прототип.........................................................................................................284
R3.7  Краткие итоги главы.....................................................................................287
R4  Следующее наилучшее действие........................................................288
R4.1  Бизнес-задача.................................................................................................289
R4.1.1  Разработка целей и вознаграждений..................................................290
R4.1.2  Разработка действий..............................................................................293
R4.1.3  Моделирование и экспериментирование..........................................294
R4.2  Варианты решения........................................................................................295
R4.3  Расширенный подход к оцениванию.........................................................295
R4.4  Условные склонности....................................................................................297
R4.5  Обучение с подкреплением.........................................................................298
R4.6  Прототип.........................................................................................................299
R4.7  Пример............................................................................................................305
R.4.7.1  Бизнес-задача.........................................................................................306
R4.7.2  Архитектура решения............................................................................306
R4.7.3  Алгоритмы...............................................................................................308
R4.7.4  Схема действий, состояний и вознаграждений.................................308
R4.8  Краткие итоги главы.....................................................................................310

Содержание  9
Часть III  РАБОТА С КОНТЕНТОМ..............................................................311
R5  Визуальный поиск.....................................................................................312
R5.1  Бизнес-задача.................................................................................................313
R5.2  Варианты решения........................................................................................315
R5.3  Поиск по стилю изображения......................................................................318
R5.3.1  Встраивание стилей...............................................................................318
R5.3.2  Прототип..................................................................................................322
R5.4  Поиск в пользовательском семантическом пространстве......................324
R5.4.1  Встраивания и атрибуты пользовательских изображений..............325
R5.4.2  Прототип..................................................................................................328
R5.5  Обучение встраиванию без учителя...........................................................330
R5.6  Локализация и сегментация объектов.......................................................335
R5.6.1  Семантическая сегментация................................................................336
R5.6.2  Прототип..................................................................................................338
R5.7  Краткие итоги главы.....................................................................................339
R6  Служба рекомендации товаров...........................................................342
R6.1  Бизнес-задача.................................................................................................343
R6.1.1  Общий обзор среды................................................................................343
R6.1.2  Варианты среды......................................................................................345
R6.1.3  Метрики оценки и оптимизации.........................................................346
R6.2  Варианты решения........................................................................................350
R6.2.1  Архитектура службы..............................................................................350
R6.2.2  Архитектура модели..............................................................................352
R6.3  Модели прогнозирования отклика.............................................................356
R6.3.1  Базовая реализация метода факторизации.......................................356
R6.3.2  Нейронная совместная фильтрация....................................................359
R6.3.3  Практический пример...........................................................................360
R6.4  Модели прогнозирования взаимодействия..............................................363
R6.5  Модели последовательностей......................................................................365
R6.5.1  Трансформер поведенческой последовательности..........................365
R6.5.2  Практический пример...........................................................................367
R6.6  Графовые модели...........................................................................................368
R6.6.1  Практический пример: рекомендации c помощью Node2Vec........371
R6.6.2  Рекомендации с помощью GNN...........................................................373
R6.7  Варианты и дополнения...............................................................................376
R6.8  Краткие итоги главы.....................................................................................377
R7  Управление знаниями.............................................................................379
R7.1  Бизнес-задача.................................................................................................379
R7.2  Варианты решения....................................................................................381
R7.3  Предварительная обработка данных..........................................................382
R7.3.1  Обнаружение атрибутов........................................................................384
R7.3.2  Извлечение атрибутов...........................................................................385
R7.3.3  Гармонизация атрибутов.......................................................................386

10 
Содержание
R7.4  Запрос структурированных данных............................................................387
R7.5  Запрос неструктурированных данных........................................................389
R7.5.1  Запрос с использованием одного промпта.........................................389
R7.5.2  Запрос с использованием Map-Reduce................................................390
R7.5.3  Генерация ответа с дополненным поиском........................................391
R7.5.4  Диалоговый поиск..................................................................................394
R7.5.5  Агенты......................................................................................................394
R7.6  Безопасность и конфиденциальность данных......................................397
R7.7  Оценка качества.............................................................................................398
R7.7.1  Предварительная обработка данных...................................................398
R7.7.2  Запрос структурированных данных.....................................................399
R7.7.3  Запрос неструктурированных данных.................................................400
R7.8  Краткие итоги главы......................................................................................400
R8  Синтетический медиаконтент............................................................402
R8.1  Бизнес-задача.................................................................................................402
R8.2  Варианты решения........................................................................................404
R8.3  Модели синтеза изображений по языковому описанию.........................404
R8.3.1  Модель CLIP.............................................................................................406
R8.3.2  Прототип..................................................................................................408
R8.4  Генеративные модели преобразования текста в изображение..............410
R8.4.1  Диффузионные модели шумоподавления для изображений..........411
R8.4.2  Диффузионные модели со скрытым пространством........................414
R8.5  Продвинутые механизмы обусловливания...............................................421
R8.6  Краткие итоги главы.....................................................................................424
Часть IV  УПРАВЛЕНИЕ ДОХОДАМИ И ЗАПАСАМИ........................426
R9  Прогнозирование спроса.......................................................................427
R9.1  Бизнес-задача.................................................................................................427
R9.1.1  Операционная среда..............................................................................427
R9.1.2  Модели спроса........................................................................................429
R9.1.3  Задачи......................................................................................................430
R9.1.4  Приложения............................................................................................432
R9.1.5  Метрики оценки.....................................................................................433
R9.2  Варианты решения........................................................................................434
R9.3  Модели пространства состояний.................................................................435
R9.3.1  Простое экспоненциальное сглаживание...........................................436
R9.3.2  Двойное экспоненциальное сглаживание..........................................438
R9.3.3  Тройное экспоненциальное сглаживание..........................................439
R9.3.4  Декомпозиция.........................................................................................439
R9.3.5  Вероятностный прогноз........................................................................440
R9.4  Регрессия временных рядов.........................................................................441
R9.4.1  Вероятностный прогноз........................................................................443
R9.4.2  Область охвата модели..........................................................................443
R9.4.3  Множественные горизонты прогнозирования..................................443