Поиск на основе искусственного интеллекта
Покупка
Новинка
Тематика:
Общенаучное знание и теории
Издательство:
ДМК Пресс
Перевод:
Люско И. Л.
Год издания: 2025
Кол-во страниц: 588
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-180-1
Артикул: 890869.01.99
Современные поисковые системы выходят далеко за рамки простого сопоставления поисковых запросов с базой данных. Прочитав эту книгу, вы получите знания и навыки, необходимые для разработки продвинутых поисковых приложений на основе ИИ, способных автоматически обучаться на основе каждого обновления контента и взаимодействия с пользователем. Ключевые понятия и методы проиллюстрированы доступными для понимания примерами.
Издание будет полезно специалистам, занятым разработкой и внедрением поисковых систем различного масштаба — от корпоративного до глобального, а также всем желающим повысить профессиональную эрудицию.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.04: Программная инженерия
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Трей Грейнджер, Дуг Тернбулл, Макс Ирвин Предисловие Гранта Ингерсолла Поиск на основе искусственного интеллекта
AI-Powered Search TREY GRAINGER DOUG TURNBULL MAX IRWIN Foreword by GRANT INGERSOLL
Поиск на основе искусственного интеллекта ТРЕЙ ГРЕЙНДЖЕР ДУГ ТЕРНБУЛЛ МАКС ИРВИН Предисловие ГРАНТА ИНГЕРСОЛЛА Москва, 2025
УДК 004.738.52:004.8 ББК 16.263 Г79 Трей Грейнджер, Дуг Тернбулл, Макс Ирвин Г79 Поиск на основе искусственного интеллекта / пер. с англ. И. Л. Люско. – М.: ДМК Пресс, 2025. – 586 с.: ил. ISBN 978-5-93700-180-1 Современные поисковые системы выходят далеко за рамки простого сопоставления поисковых запросов с базой данных. Прочитав эту книгу, вы получите знания и навыки, необходимые для разработки продвинутых поисковых приложений на основе ИИ, способных автоматически обучаться на основе каждого обновления контента и взаимодействия с пользователем. Ключевые понятия и методы проиллюстрированы доступными для понимания примерами. Издание будет полезно специалистам, занятым разработкой и внедрением поисковых систем различного масштаба – от корпоративного до глобального, а также всем желающим повысить профессиональную эрудицию. УДК 004.738.52:004.8 ББК 16.263 Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ©DMKPress 2025. Authorized translation of the English edition. © 2025 Manning Publications. This translation is published and sold by permission of Manning Publications, the owner of all rights to publish and sell the same. ©2025 by Trey Grainger. All rights reserved © Оформление, издание, перевод, ДМК Пресс, 2025 ISBN (анг.) 978-1617296970 ISBN (рус.) 978-5-93700-180-1
Краткое оглавление
ЧАСТЬ 1. Современная релевантность поиска ....................... 29
1
Знакомство с поиском на основе ИИ ............................ 31
2
Работа с естественным языком ................................... 58
3
Ранжирование и релевантность на основе контента ...... 87
4
Краудсорсинговая релевантность .............................. 120
ЧАСТЬ 2. Изучение домен-специфичного намерения ......... 147
5
Что такое графы знаний .......................................... 149
6
Использование контекста для изучения
домен-специфичного языка ......................................... 214
7
Интерпретация намерения запроса
через семантический поиск ........................................ 215
ЧАСТЬ 3. Отраженный интеллект.......................................... 249
8
Модели бустинга сигналов ......................................... 251
9
Персонализированный поиск ...................................... 278
10 Обучение ранжированию для обобщаемой
релевантности поиска .............................................. 356
11 Автоматизация обучения ранжированию
с помощью моделей кликов.......................................... 357
12 Преодоление предвзятости ранжирования
с помощью активного обучения................................... 390
ЧАСТЬ 4. Передний край поиска............................................ 421
13 Семантический поиск с плотными векторами ........... 423
14 Ответы на вопросы с помощью тонко настроенной
большой языковой модели........................................... 486
15 Базовые модели и новые парадигмы поиска ................. 520
Оглавление Предисловие от издательства..............................................................................13 Введение..................................................................................................................14 Предисловие...........................................................................................................16 Благодарности........................................................................................................17 Об этой книге.........................................................................................................19 О авторах................................................................................................................26 Об иллюстрации на обложке...............................................................................27 ЧАСТЬ 1. Современная релевантность поиска........................ 29 1 Знакомство с поиском на основе ИИ......................................... 31 1.1. Что такое поиск на основе ИИ?...................................................................34 1.2. Что такое намерения пользователя.............................................................38 1.2.1. Что такое поисковая система?...........................................................39 1.2.2. Что предлагают рекомендательные системы.................................40 1.2.3. Спектр персонализации между поиском и рекомендациями.......41 1.2.4. Семантический поиск и графы знаний............................................43 1.2.5. Что такое измерения намерения пользователя.............................44 1.3. Как работает поиск на основе ИИ?..............................................................45 1.3.1. Основа поиска......................................................................................47 1.3.2. Отраженный интеллект в петлях обратной связи.........................47 1.3.3. Бустинг сигналов, совместная фильтрация и обучение ранжированию...............................................................................................48 1.3.4. Интеллект контента и предметной области...................................50 1.3.5. Генеративный ИИ и RAG....................................................................52 1.3.6. Контролируемый искусственный интеллект в сравнении с искусственным интеллектом «черного ящика».....................................54 1.3.7. Архитектура поисковой системы на основе ИИ............................54 Резюме.....................................................................................................................56 2 Работа с естественным языком. .............................................. 58 2.1. Миф о неструктурированных данных.........................................................59 2.1.1. Типы неструктурированных данных................................................60 2.1.2. Типы данных в традиционных структурированных базах данных...................................................................................................61 2.1.3. Объединения, нечеткие объединения и разрешение сущностей в неструктурированных данных..............................................63 2.2. Структура естественного языка...................................................................68 2.3. Распределительная семантика и эмбеддинги............................................70 2.4. Моделирование домен-специфичных знаний...........................................76 2.5. Проблемы понимания естественного языка для поиска.........................79 2.5.1. Проблема неоднозначности (полисемия).......................................80 2.5.2. Проблема понимания контекста.......................................................80 2.5.3. Проблема персонализации................................................................81 2.5.4. Проблемы интерпретации запросов по сравнению с интерпретацией документов.....................................................................82 2.5.5. Проблемы интерпретации намерения запроса..............................82 2.6. Контент + сигналы: топливо, питающее поиск на основе ИИ................84 Резюме.....................................................................................................................85
Ранжирование и релевантность на основе контента................ 87 3.1. Оценка векторов запросов и документов с помощью косинусного сходства............................................................................................88 3.1.1. Преобразование текста в векторы....................................................89 3.1.2. Вычисление сходства между плотными векторными представлениями...........................................................................................90 3.1.3. Расчет сходства между разреженными векторными представлениями...........................................................................................91 3.1.4. Частота термина: измерение того, насколько хорошо документы соответствуют термину............................................................94 3.1.5. Обратная частота документа: измерение важности термина в запросе..........................................................................................99 3.1.6. TF-IDF: сбалансированная метрика взвешивания для текстовой релевантности....................................................................101 3.2. Управление расчетом релевантности.......................................................102 3.2.1. BM25: стандартный алгоритм сходства текста по умолчанию..... 102 3.2.2. Функции, функции, везде!................................................................107 3.2.3. Выбор мультипликативного или аддитивного бустинга для функций релевантности.............................................................................111 3.2.4. Различение сопоставления (фильтрации) и ранжирования (оценки) документов....................................................112 3.2.5. Логическое соответствие: взвешивание взаимосвязей между терминами в запросе.......................................................................114 3.2.6. Разделение задач: фильтрация и оценка....................................... 116 3.3. Реализация пользовательского и домен-специфичного ранжирования релевантности..........................................................................118 Резюме.................................................................................................................. 119 4 Краудсорсинговая релевантность............................................120 4.1. Работа с пользовательскими сигналами...................................................121 4.1.1. Контент, сигналы и модели..............................................................121 4.1.2. Настройка наших наборов данных о продуктах и сигналах (RetroTech)................................................................................123 4.1.3. Изучение данных сигналов..............................................................127 4.1.4. Моделирование пользователей, сеансов и запросов.................. 129 4.2. Знакомство с отраженным интеллектом..................................................130 4.2.1. Что такое отраженный интеллект?................................................131 4.2.2. Популяризированная релевантность посредством бустинга сигналов........................................................................................132 4.2.3. Персонализированная релевантность через совместную фильтрацию............................................................................138 4.2.4. Обобщенная релевантность через обучение ранжированию....140 4.2.5. Другие модели отраженного интеллекта.......................................142 4.2.6. Краудсорсинг из контента................................................................143 Резюме...................................................................................................................145 ЧАСТЬ 2. Изучение домен-специфичного намерения...........147 5 Что такое графы знаний........................................................149 5.1. Работа с графами знаний.............................................................................150 5.2. Использование нашей поисковой системы в качестве графа знаний..... 152 Оглавление
5.3. Автоматическое извлечение графов знаний из контента.....................152 5.3.1. Извлечение произвольных отношений из текста........................153 5.3.2. Извлечение гипонимов и гиперонимов из текста...................... 156 5.4. Изучение намерений путем обхода семантических графов знаний..... 159 5.4.1. Что такое семантический граф знаний?............................................... 159 5.4.2. Индексирование наборов данных................................................. 161 5.4.3. Структура SKG................................................................................... 161 5.4.4. Расчет весов ребер для измерения связанности узлов............... 164 5.4.5. Использование SKG для расширения запроса............................. 168 5.4.6. Использование SKG для рекомендаций на основе контента.....173 5.4.7. Использование SKG для моделирования произвольных отношений........................................................................ 176 5.5. Использование графов знаний для семантического поиска................ 179 Резюме.................................................................................................................. 179 6 Использование контекста для изучения домен-специфичного языка.......................................................181 6.1. Классификация намерения запроса..........................................................182 6.2. Устранение неоднозначности смысла запроса........................................185 6.3. Изучение связанных фраз из сигналов запроса..................................... 191 6.3.1. Просмотр журналов запросов для поиска связанных запросов.................................................................................... 192 6.3.2. Поиск связанных запросов через взаимодействие продуктов...... 198 6.4. Обнаружение фраз из пользовательских сигналов.................................203 6.4.1. Обработка запросов как сущностей................................................204 6.4.2. Извлечение сущностей из более сложных запросов...................205 6.5. Ошибки и альтернативные представления..............................................205 6.5.1. Изучение исправлений орфографии из документов.................. 206 6.5.2. Изучение исправлений орфографии по сигналам пользователя..........................................................................207 6.6. Собираем все вместе....................................................................................214 Резюме...................................................................................................................214 7 Интерпретация намерения запроса через семантический поиск.... 215 7.1. Механика интерпретации запроса........................................................... 216 7.2. Индексирование и поиск в наборе данных локальных отзывов......... 219 7.3. Пример сквозного семантического поиска..............................................222 7.4. Конвейеры интерпретации запроса.........................................................224 7.4.1. Парсинг запроса для семантического поиска...............................224 7.4.2. Обогащение запроса для семантического поиска........................234 7.4.3. Разреженные лексические модели и модели расширения.........240 7.4.4. Преобразование запроса для семантического поиска................243 7.4.5. Поиск с помощью семантически улучшенного запроса..............245 Резюме.................................................................................................................. 246 ЧАСТЬ 3. Отраженный интеллект...........................................249 8 Модели бустинга сигналов.......................................................251 8.1. Базовый бустинг сигналов...........................................................................252 8.2. Нормирование сигналов.............................................................................253 8.3. Борьба со спамом сигналов........................................................................ 256 8.3.1. Использование спама сигналов для манипулирования результатами поиска................................................................................... 256 8.3.2. Борьба со спамом сигналов с помощью фильтрации на основе пользователей........................................................................... 259 Оглавление
8.4. Объединение нескольких типов сигналов.............................................. 261 8.5. Временные спады и короткоживущие сигналы...................................... 264 8.5.1. Обработка нечувствительных ко времени сигналов.................. 265 8.5.2. Обработка сигналов, чувствительных ко времени..................... 266 8.6. Бустинг во время индексирования или во время запроса: балансировка масштаба и гибкости................................................................. 269 8.6.1. Компромиссы при использовании бустинга во время запроса..... 269 8.6.2. Реализация бустинга сигналов во время индексирования.........271 8.6.3. Компромиссы при реализации бустинга во время индексирования...........................................................................................274 Резюме...................................................................................................................277 9 Персонализированный поиск....................................................278 9.1. Персонализированный поиск или рекомендации................................. 279 9.1.1. Персонализированные запросы.....................................................281 9.1.2. Рекомендации, управляемые пользователем................................282 9.2. Приближения алгоритмов рекомендаций...............................................283 9.2.1. Рекомендации на основе контента.................................................283 9.2.2. Рекомендации на основе поведения...............................................284 9.2.3. Мультимодальные рекомендательные системы.......................... 286 9.3. Реализация совместной фильтрации........................................................287 9.3.1. Изучение скрытых признаков пользователя и предмета с помощью матричной факторизации.....................................................287 9.3.2. Реализация совместной фильтрации с помощью метода чередующихся наименьших квадратов...................................... 292 9.3.3. Персонализация результатов поиска с бустингом рекомендаций....299 9.4. Персонализация поиска с использованием эмбеддингов на основе контента..............................................................................................303 9.4.1. Генерация латентных признаков на основе контента.................304 9.4.2. Реализация категориальных ограничений для персонализации....................................................................................307 9.4.3. Интеграция персонализации на основе эмбеддингов в результаты поиска.....................................................................................313 9.5. Проблемы с персонализацией результатов поиска................................319 Резюме...................................................................................................................321 10 Обучение ранжированию для обобщаемой релевантности поиска.........................................................322 10.1. Что такое LTR?............................................................................................323 10.1.1. Выход за рамки ручной настройки релевантности...................323 10.1.2. Реализация LTR в реальном мире.................................................324 10.2. Шаг 1: список суждений, начиная с обучающих данных......................327 10.3. Шаг 2: логирование признаков и инжиниринг.....................................329 10.3.1. Хранение признаков в современном поисковом движке.........330 10.3.2. Логирование признаков из корпуса нашего поискового движка......................................................................................331 10.4. Шаг 3: преобразование LTR в традиционную задачу машинного обучения...........................................................................................333 10.4.1. SVMrank: преобразование ранжирования в бинарную классификацию......................................................................335 10.4.2. Преобразование нашей задачи обучения LTR в бинарную классификацию............................................................................................337 Оглавление
10.5. Шаг 4: обучение (и тестирование!) модели...........................................345 10.5.1. Превращение вектора разделяющей гиперплоскости в оценочную функцию................................................................................346 10.5.2. Тест-драйв модели............................................................................347 10.5.3. Валидация модели...........................................................................348 10.6. Шаги 5 и 6: загрузка модели и поиск.......................................................350 10.6.1. Запуск и использование модели LTR............................................350 10.6.2. Примечание о производительности LTR....................................353 10.7. Почистить и повторить.............................................................................355 Резюме...................................................................................................................356 11 Автоматизация обучения ранжированию с помощью моделей кликов..................................................357 11.1. (Повторное) создание списков суждений из сигналов........................359 11.1.1. Генерация неявных вероятностных суждений из сигналов.....360 11.1.2. Обучение модели LTR с использованием вероятностных суждений.......................................................................................................362 11.1.3. Показатель кликабельности: ваша первая модель кликов........363 11.1.4. Распространенные предвзятости в суждениях...........................367 11.2. Преодоление предвзятости позиции......................................................368 11.2.1. Определение предвзятости позиции.......................................... 369 11.2.2. Предвзятость позиции в данных RetroTech............................... 369 11.2.3. Упрощенная динамическая байесовская сеть: модель кликов, которая преодолевает предвзятость позиции.........................371 11.3. Управление предвзятостью уверенности: не пересматривать свою модель из-за нескольких удачных кликов...............................................377 11.3.1. Проблема низкой достоверности в данных о кликах................377 11.3.2. Использование бета-приорного распределения для моделирования достоверности вероятностным образом..............380 11.4. Изучение ваших обучающих данных в системе LTR.............................387 Оценки SDBN с использованием бета-распределения..........................388 Резюме...................................................................................................................389 12 Преодоление предвзятости ранжирования с помощью активного обучения.............................................390 12.1. Наш автоматизированный движок LTR в нескольких строках кода..... 392 12.1.1. Превращение кликов в обучающие данные (глава 11 в одной строке кода)...................................................................393 12.1.2. Обучение и оценка модели в нескольких вызовах функций...... 395 12.2. A/B-тестирование новой модели............................................................397 12.2.1. Выбираем лучшую модель для тестирования..............................397 12.2.2. Определение A/B-теста в контексте автоматизированного LTR.........................................................................398 12.2.3. Перевод лучшей модели в A/B-тест............................................ 399 12.2.4. Когда «хорошие» модели работают плохо: чему мы можем научиться из неудачного A/B-теста.............................401 12.3. Преодоление предвзятости представления: знание того, когда исследовать, а когда эксплуатировать....................................................403 12.3.1. Предвзятость представления в обучающих данных RetroTech.........................................................................................405 12.3.2. За пределами ad hoc: вдумчивое исследование с помощью гауссова процесса....................................................................407 12.3.3. Изучение результата наших исследований.................................414 Оглавление