Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

RAG-системы: от теории к практике

Покупка
Новинка
Артикул: 890951.01.99
Доступ онлайн
1 649 ₽
В корзину
Книга рассказывает о том, как научить большие языковые модели работать с актуальными корпоративными данными при помощи систем класса RAG (Retrieval-Augmented Generation), способных получать доступ к внешним базам знаний и генерировать точные, актуальные ответы на поисковые запросы сотрудников и клиентов компаний. Издание предназначено разработчикам интеллектуальных систем, ML-инженерам, архитекторам корпоративных решений и всем, кто профессионально работает с генеративным искусственным интеллектом, а также тем, кто стремится внедрить передовые технологии в свой бизнес.
19
20
32
48
69
79
127
128
148
177
201
202
239
250
Душкин, Р. В. RAG-системы: от теории к практике : практическое пособие / Р. В. Душкин. – Москва : ДМК Пресс, 2026. - 288 с. – ISBN 978-5-93700-429-1. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2275453 (дата обращения: 19.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Р. В. Душкин
RAG-системы:  
от теории к практике
Практическое руководство  
по созданию интеллектуальных  
систем поиска и генерации контента  
в эпоху стремительного развития  
ИИ-технологий
Москва, 2026


УДК	 004.8RAG:005
ББК 16.6+65.291c
Д86
 
ISBN 978-5-93700-429-1
Книга рассказывает о том, как научить большие языковые модели работать 
с актуальными корпоративными данными при помощи систем класса RAG (Retrieval-Augmented Generation), способных получать доступ к внешним базам знаний 
и генерировать точные, актуальные ответы на поисковые запросы сотрудников 
и клиентов компаний. 
Издание предназначено разработчикам интеллектуальных систем, ML-инженерам, архитекторам корпоративных решений и всем, кто профессионально работает с генеративным искусственным интеллектом, а также тем, кто стремится 
внедрить передовые технологии в свой бизнес.
УДК  004.8RAG:005
ББК  16.6+65.291c
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
©  Душкин Р. В., 2025
ISBN 978-5-93700-429-1 
©  Оформление, издание, 
ДМК Пресс, 2025


В сфере искусственного интеллекта нет ничего более парадоксального, чем скорость устаревания знаний. За то время, 
пока готовится к  печати очередная техническая книга, появляются новые фреймворки, алгоритмы и подходы, которые 
кардинально меняют ландшафт технологий. RAG-системы не 
исключение  – эта область развивается настолько стремительно, что любая попытка зафиксировать «окончательное» 
знание обречена на устаревание ещё до выхода из типографии. 
Однако именно поэтому необходимо создавать фундаментальные руководства, которые не просто описывают текущие инструменты, а  дают глубокое понимание принципов работы 
технологий. Эта книга – не попытка угнаться за трендами, 
а стремление зафиксировать базовые концепции и архитектурные решения, которые останутся актуальными независимо 
от смены версий библиотек и появления новых стартапов. Издание предназначено разработчикам, архитекторам систем, 
продуктовым менеджерам и всем, кто хочет не просто использовать готовые RAG-решения, но понимать, как они устроены изнутри. Каждая глава сочетает теоретические основы 
с практическими примерами, позволяя читателю не только 
изучить концепции, но и немедленно применить их на практике. В эпоху, когда ИИ-системы становятся критически важной 
инфраструктурой, понимание принципов их работы превращается из преимущества в необходимость.


Содержание
Предисловие.............................................................................................................12
Введение....................................................................................................................15
Часть I. ОСНОВЫ RAG-ТЕХНОЛОГИЙ.........................................................19
Глава 1. Введение в RAG-системы.....................................................................20
1.1. 	 Что такое RAG и зачем он нужен...................................................................20
Анатомия проблемы........................................................................................20
Как RAG меняет правила игры.......................................................................21
Практическая ценность для бизнеса.............................................................21
Ограничения и реалистичные ожидания.....................................................22
1.2. 	 Эволюция от поисковых систем к интеллектуальным системам.............22
Эра лексического поиска: от простоты к совершенству............................22
Границы лексического подхода.....................................................................23
Революция векторных представлений.........................................................23
Гибридные решения: лучшее из двух миров...............................................23
От поиска к пониманию: появление RAG....................................................24
Интеллектуальные системы нового поколения..........................................24
Будущее: от поиска к рассуждению..............................................................24
1.3. 	 Базовые принципы работы RAG....................................................................25
Двухмодульная архитектура: разделяй и властвуй....................................25
Этап подготовки: создание интеллектуального индекса..........................25
Векторный поиск: от слов к смыслам...........................................................26
Повторное ранжирование: уточнение релевантности..............................26
Генерация контекстуального ответа.............................................................26
Принцип непараметрической памяти.........................................................27
Многоэтапные и агентные RAG-системы....................................................27
Адаптивность и контекстуальность..............................................................27
1.4. 	 Минимальный практический пример на Python........................................28
Установка зависимостей.................................................................................28
Базовая реализация RAG.................................................................................28
Демонстрация работы.....................................................................................30
Разбор ключевых моментов...........................................................................30
Ограничения и возможности развития........................................................31
Глава 2. Архитектура и компоненты.................................................................32
2.1. 	 Основные компоненты RAG-систем.............................................................32
Архитектурная схема RAG-системы..............................................................32
Конвейер данных: офлайн-подготовка........................................................33
Обработка запросов: онлайн-поток..............................................................33


Содержание    5
Формирование контекста и генерация........................................................34
Дополнительные компоненты.......................................................................34
Модульность и масштабируемость...............................................................34
2.2. 	 Архитектурные паттерны: от классики к автономным системам...........35
Эволюция RAG-архитектур.............................................................................35
Агентный RAG: автономность и адаптивность...........................................36
Выбор архитектурного паттерна...................................................................37
2.3. 	 Интеграция компонентов интеллектуальной системы.............................38
Микросервисная архитектура RAG-систем..................................................38
Паттерны интеграции: синхронность и асинхронность...........................39
Оркестрация процессов: дирижёр интеллектуальной системы...............40
Стратегии управления данными...................................................................40
Обеспечение качества интеграции...............................................................41
Мониторинг и наблюдаемость.......................................................................41
2.4. 	 Практический пример создания простейшей RAG-системы....................42
Архитектура самодельной системы..............................................................42
Установка зависимостей.................................................................................43
Ключевые особенности реализации.............................................................47
Глава 3. Векторные представления и эмбеддинги.....................................48
3.1. 	 Принципы работы с векторными представлениями.................................48
Что такое векторные представления............................................................48
Дистрибутивная гипотеза: основа всего......................................................49
Семантическое пространство: география смыслов....................................49
Фундаментальные принципы работы с векторами...................................50
Практические следствия принципов............................................................50
3.2. 	 Векторные базы данных и их применение..................................................51
Принципы устройства векторного хранилища...........................................51
Современные решения: ландшафт векторных баз данных......................51
Критерии выбора: навигация в многообразии...........................................53
Рекомендации по выбору...............................................................................53
3.3. 	 Сегментирование текстов как основа RAG-сервисов.................................53
Фундаментальная проблема сегментирования..........................................54
Метод фиксированного размера: простота как преимущество...............54
Скользящее окно: сохранение контекста через перекрытие....................55
Семантическое сегментирование: следование логике текста..................55
Структурное разделение: использование архитектуры документа.........56
Адаптивное сегментирование: искусственный интеллект в помощь.....57
Критерии выбора метода сегментирования................................................57
3.4. 	 Код для работы с эмбеддингами OpenAI и векторными БД......................58
Базовая работа с эмбеддингами OpenAI......................................................58
Интеграция с ChromaDB: локальная векторная база данных...................60
Работа с Qdrant: производительность и гибкость.......................................61
Интеграция с Pinecone: облачная мощность...............................................64
Комплексный пример: RAG-система с выбором векторной БД...............66


6    Содержание
Часть II. ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ..................................................69
Глава 4. Фреймворки и инструменты..............................................................70
4.1. 	 Обзор популярных фреймворков для RAG...................................................70
Архитектура экосистемы RAG-фреймворков..............................................70
Универсальные фреймворки: основа экосистемы.....................................71
Специализированные решения: фокус на конкретные потребности.....72
Корпоративные платформы: безопасность и интеграция........................72
4.2. 	 Сравнительный анализ решений..................................................................73
4.3. 	 Выбор инструментов под задачу...................................................................75
Алгоритм принятия решений........................................................................75
Критерии для исследовательских проектов................................................76
Стратегии для прототипирования................................................................77
Продакшн-системы: надёжность превыше всего.......................................77
Корпоративные требования: безопасность и интеграция........................77
Комплексные критерии оценки....................................................................78
Глава 5. Ретриверы и поиск информации......................................................79
5.1. 	 Типы ретриверов и их особенности..............................................................79
Векторные ретриверы: семантическое понимание...................................79
Лексические ретриверы: точность терминологических совпадений......80
Гибридные ретриверы: синтез подходов.....................................................80
Кросс-энкодерные ретриверы: глубокое понимание.................................81
MMR: баланс релевантности и разнообразия..............................................81
Специализированные ретриверы.................................................................81
5.2. 	 Алгоритм выбора и сравнительный анализ ретриверов...........................82
Первый этап: анализ типа запросов.............................................................82
Второй этап: приоритет семантического поиска.......................................83
Третий этап: специальные требования........................................................83
Критерии практического применения алгоритма.....................................84
Сравнительный анализ ретриверов..............................................................85
5.3. 	 Детально о точных методах............................................................................86
TF-IDF: фундаментальная модель.................................................................86
Практическая реализация TF-IDF.................................................................87
BM25: вероятностная эволюция....................................................................90
Продвинутая реализация BM25.....................................................................90
Оптимизированная реализация для больших корпусов...........................94
5.4. 	 От точных методов до нейросетевых приближений..................................97
Архитектурная эволюция: от независимых терминов  
к контекстуальным представлениям............................................................97
Практическая реализация гибридной системы поиска.............................98
Теоретические основы нейросетевого поиска..........................................105
Практические компромиссы и выбор подхода.........................................105
5.5. 	 Гибридный поиск и его преимущества......................................................105
Концептуальные основы гибридизации....................................................106


Содержание    7
Математические принципы комбинирования.........................................106
Архитектурные преимущества....................................................................107
Качественные преимущества.......................................................................107
Практические соображения внедрения......................................................107
Эволюционные направления.......................................................................108
Глава 6. Типизация и классификация RAG-сервисов................................109
6.1. 	 Классификация RAG-систем по назначению............................................109
Разговорные RAG-системы...........................................................................110
Аналитические RAG-системы......................................................................111
Контентные RAG-системы............................................................................111
Поисковые RAG-системы..............................................................................112
Рекомендательные RAG-системы................................................................112
Системы поддержки принятия решений...................................................113
6.2. 	 Выбор подходящего типа для конкретной задачи...................................113
Алгоритм принятия решений......................................................................114
Первичная классификация по взаимодействию.......................................115
Контентно-ориентированные решения.....................................................115
Поисковые архитектуры...............................................................................116
Аналитические системы...............................................................................116
Системы поддержки принятия решений...................................................116
Критерии валидации выбора.......................................................................117
6.3. 	 Сравнительный анализ подходов................................................................117
Ключевые выводы сравнительного анализа.............................................119
6.4. 	 Пример реализации рекомендательной системы....................................119
Практическая реализация рекомендательной системы..........................120
Часть III. ОПТИМИЗАЦИЯ И КОНТРОЛЬ КАЧЕСТВА........................127
Глава 7. Оценка эффективности RAG-систем...............................................128
7.1. 	
Метрики качества для RAG...........................................................................128
Метрики качества поиска.............................................................................128
Основные метрики фреймворка RAGAS....................................................129
Дополнительные метрики оценки..............................................................130
Контекстуальные метрики...........................................................................130
Метрики латентности и производительности..........................................130
Холистические метрики................................................................................131
7.2. 	
Методы тестирования и валидации............................................................131
Модульное тестирование компонентов RAG.............................................132
Интеграционное тестирование взаимодействий.....................................132
Комплексное тестирование пользовательских сценариев......................133
A/B-тестирование и эксперименты............................................................133
Специализированные методы валидации.................................................134
7.3. 	
Инструменты для автоматической оценки...............................................134
RAGAS – специализированный фреймворк для RAG...............................135


8    Содержание
TruLens – универсальная платформа наблюдения...................................135
DeepEval – комплексная система тестирования.......................................136
LlamaIndex – встроенная оценка.................................................................136
Phoenix – мониторинг в реальном времени..............................................136
Сравнительная таблица инструментов......................................................137
Специализированные решения...................................................................138
7.4. 	
Код для метрик RAGAS и схожих систем оценки......................................138
Базовая архитектура системы оценки........................................................138
Глава 8. Проблемы точности и галлюцинаций...........................................148
8.1. 	 Типичные проблемы RAG-систем...............................................................148
Проблемы поискового компонента............................................................148
Проблемы качества данных.........................................................................149
Проблемы стратегии сегментирования.....................................................149
Проблемы генеративного компонента.......................................................150
Архитектурные проблемы............................................................................150
Проблемы оценки и мониторинга..............................................................150
Проблемы предметной специфичности.....................................................151
8.2. 	 Методы борьбы с галлюцинациями............................................................151
Архитектурные методы снижения галлюцинаций...................................151
Техники промпт-инженерии........................................................................152
Алгоритмические подходы..........................................................................152
Методы обучения и дообучения..................................................................153
Постпроцессинговые методы......................................................................153
Интегрированные подходы..........................................................................154
8.3. 	 Гарды и системы контроля...........................................................................154
Входные гарды и валидация........................................................................155
Промежуточные системы контроля............................................................156
Архитектура LLM-as-a-Judge........................................................................156
Выходные системы контроля.......................................................................157
Специализированные архитектуры гардов...............................................157
Мониторинг и обратная связь.....................................................................157
Интеграционные аспекты............................................................................158
8.4. 	 Пример применения гардов.........................................................................158
8.5. 	 Практические решения для повышения достоверности.........................169
Система множественной верификации.....................................................169
Практические рекомендации......................................................................176
Глава 9. Память и контекст................................................................................177
9.1. 	 Подсистемы памяти для ИИ-агентов..........................................................177
Краткосрочная память и рабочий контекст...............................................178
Эпизодическая память: хранение опыта...................................................179
Семантическая память: структурированные знания...............................179
Процедурная память: навыки и алгоритмы..............................................179
Эмоциональная память: персонализация и социальный контекст.......180


Содержание    9
Ассоциативно-гетерархическая память: объединение всех видов  
памяти.............................................................................................................180
Интеграция с RAG-системами.....................................................................182
9.2. 	 Управление долгосрочным и краткосрочным контекстами...................182
Архитектура управления контекстом.........................................................183
Краткосрочное управление контекстом.....................................................183
Долгосрочное управление контекстом.......................................................184
Интеграция с RAG-системами.....................................................................184
Адаптивные стратегии управления............................................................184
Технические реализации и оптимизации..................................................185
9.3. 	 Персонализация через память.....................................................................185
Механизмы персональной адаптации........................................................186
Уровни персонализации...............................................................................186
Динамическое обучение предпочтений.....................................................186
Техническая реализация...............................................................................187
Этические аспекты и приватность..............................................................187
9.4. 	 Реализация подсистемы памяти.................................................................188
Часть IV. ОТРАСЛЕВОЕ ПРИМЕНЕНИЕ.....................................................201
Глава 10. Корпоративные решения................................................................202
10.1.	 RAG в управлении знаниями предприятия...............................................202
Архитектура корпоративных RAG-систем.................................................202
Трансформация корпоративных процессов..............................................203
Специализированные корпоративные применения...............................203
Измеримые результаты внедрения.............................................................204
Стратегические преимущества....................................................................204
Вызовы и ограничения корпоративного внедрения................................204
10.2. 	 Интеграция с существующими системами................................................205
Архитектурные паттерны интеграции.......................................................205
Интеграция с ERP-системами......................................................................206
Интеграция с CRM-системами.....................................................................206
Интеграция с системами документооборота и базами знаний..............206
Облачные хранилища и файловые системы..............................................207
Системы управления проектами.................................................................207
Техническая реализация интеграций.........................................................207
Безопасность интеграций.............................................................................208
Перспективы развития интеграций............................................................208
10.3. 	 Безопасность и конфиденциальность данных..........................................209
Специфические угрозы RAG-систем...........................................................209
Архитектурные решения для обеспечения безопасности.......................209
Дифференциальная приватность в RAG.....................................................210
Управление доступом и авторизация.........................................................210
Техническая защита векторных данных....................................................211
Соответствие регуляторным требованиям................................................211
Мониторинг и обнаружение угроз..............................................................211


10    Содержание
Перспективы развития безопасности.........................................................212
10.4. 	 Готовые решения для корпораций..............................................................212
Облачные RAG-платформы..........................................................................212
Специализированные корпоративные решения......................................213
Отраслевые решения.....................................................................................213
Готовые фреймворки и инструменты.........................................................214
Российские решения и локализация...........................................................214
Критерии выбора готовых решений...........................................................214
Тенденции развития рынка.........................................................................215
Глава 11. Специализированные применения.............................................216
11.1. 	 RAG в юридической сфере............................................................................216
11.2. 	 Медицинские приложения...........................................................................218
11.3. 	 Образовательные технологии......................................................................221
Глава 12. Интеллектуальная поддержка клиентов...................................224
12.1. 	 Поддержка пользователей на основе RAG.................................................224
12.2. 	 Чат-боты нового поколения.........................................................................225
12.3. 	 Интеграция с CRM и другими системами..................................................227
12.4. 	 Полный код чат-бота с RAG..........................................................................228
Основной код чат-бота..................................................................................228
Файл зависимостей requirements.txt..........................................................236
Пример файла настроек .env........................................................................237
Инструкции по запуску.................................................................................237
Часть V. ПРОДВИНУТЫЕ ТЕХНИКИ...........................................................239
Глава 13. RAG vs Fine-tuning..............................................................................240
13.1. 	 Сравнительный анализ подходов................................................................240
Retrieval-Augmented Generation...................................................................240
Full Fine-Tuning..............................................................................................240
Low-Rank Adaptation (LoRA).........................................................................241
Quantized Low-Rank Adaptation (QLoRA)....................................................242
Prompt Tuning.................................................................................................242
Prefix Tuning....................................................................................................242
Адаптеры.........................................................................................................243
Сравнительная таблица подходов...............................................................243
13.2. 	 Критерии выбора стратегии.........................................................................245
13.3. 	 Гибридные решения......................................................................................246
Архитектурные паттерны гибридных систем...........................................246
RAG-Tuned-LLM: объединение принципов................................................247
Hybrid RAG: многоканальный поиск...........................................................247
REFINE: совместная оптимизация компонентов......................................248
SmartRAG: совместное обучение задач......................................................248


Доступ онлайн
1 649 ₽
В корзину