DeepSeek в действии
Технология генеративных больших моделей и приложения на основе архитектуры Transformer
Покупка
Новинка
Издательство:
ДМК Пресс
Перевод:
Яценков Валерий Станиславович
Год издания: 2025
Кол-во страниц: 406
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-93700-396-6
Артикул: 890827.01.99
DeepSeek — это генеративная модель ИИ с открытым исходным кодом, основанная на архитектуре Transformer и объединяющая передовые технологии, такие как архитектура MoE, обучение с переменной разрядностью и распределенная оптимизация. Она демонстрирует хорошие результаты в области генерации текста, мультимодальной обработки и адаптации под конкретные задачи при удивительно низкой стоимости обучения. В этой книге описаны особенности глубоко оптимизированной архитектуры DeepSeek-V3 и способы применения модели на практике.
Книга будет полезна исследователям технологий генеративного ИИ, инженерам-разработчикам программного обеспечения, специалистам по обработке данных, а также всем желающим быстро освоить практическое применение больших языковых моделей.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Лаборатория ИИ будущего DeepSeek в действии
未来智能实验室 编著 DeepSeek 原理与开发实战 基于 Transformer 架构的生成式大模型技术与应用
Лаборатория ИИ будущего DeepSeek в действии Технология генеративных больших моделей и приложения на основе архитектуры Transformer Москва, 2025
УДК 004.8DeepSeek ББК 16.6 D30 D30 DeepSeek в действии / пер. с кит. В. С. Яценкова. – М.: ДМК Пресс, 2025. – 404 с.: ил. ISBN 978-5-93700-396-6 DeepSeek – это генеративная модель ИИ с открытым исходным кодом, основанная на архитектуре Transformer и объединяющая передовые технологии, такие как архитектура MoE, обучение с переменной разрядностью и распределенная оптимизация. Она демонстрирует хорошие результаты в области генерации текста, мультимодальной обработки и адаптации под конкретные задачи при удивительно низкой стоимости обучения. В этой книге описаны особенности глубоко оптимизированной архитектуры DeepSeek-V3 и способы применения модели на практике. Книга будет полезна исследователям технологий генеративного ИИ, инженерам-разработчикам программного обеспечения, специалистам по обработке данных, а также всем желающим быстро освоить практическое применение больших языковых моделей. УДК 004.8DeepSeek ББК 16.6 DeepSeek 原理与开发实战 DeepSeek in Action: LLM Deployment, Fine-Tining, and Real-World Projects, ISBN 978-7-115-66558-4. Russian translation rights arranged with Posts and Telecom Press Co., Ltd. through Media Solutions, Tokyo, Japan (info@mediasolutions.jp). Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-7-115-66558-4 (кит.) © 2025 Posts and Telecom Press Co., Ltd. ISBN 978-5-93700-396-6 (рус.) © Перевод, оформление, издание, ДМК Пресс, 2025
Содержание От издательства.......................................................................................................12 Предисловие.............................................................................................................13 Часть I. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И АРХИТЕКТУРА ГЕНЕРАТИВНОГО ИИ.........................................................................................15 Глава 1. Архитектура Transformer и механизм внимания........................16 1.1. Базовая архитектура Transformer......................................................................16 1.1.1. Структура кодировщик–декодировщик...................................................17 1.1.2. Механизмы внутреннего и многоголового внимания...........................20 1.1.3. Остаточная связь и нормализация слоев.................................................22 1.2. Основные принципы работы механизма внимания......................................25 1.2.1. Сравнение механизмов скалярного и аддитивного внимания............25 1.2.2. Нормализация Softmax................................................................................27 1.2.3. Разреженность матрицы внимания и оптимизация ускорения...........30 1.3. Расширение и оптимизация архитектуры Transformer.................................32 1.3.1. Применение динамического внимания...................................................32 1.3.2. Дальнее и разреженное внимание.............................................................34 1.3.3. Диверсифицированное позиционное кодирование...............................37 1.4. Контекстное окно................................................................................................40 1.4.1. Увеличение контекстного окна..................................................................40 1.4.2. Компромисс между памятью и вычислительной сложностью..............42 1.4.3. Оптимизация контекстного окна в DeepSeek-V3....................................45 1.5. Баланс между стоимостью обучения и вычислительной эффективностью.........................................................................................................47 1.5.1. Тенденция роста числа параметров и вычислительных требований..............................................................................................................48 1.5.2. Вычисления на GPU в архитектуре Transformer......................................51 1.5.3. Как DeepSeek-V3 снижает затраты на обучение......................................53 1.6. Краткое содержание главы.................................................................................55
6 Содержание Глава 2. Детальный анализ архитектуры ядра DeepSeek-V3 и ее технологии обучения...................................................................................56 2.1. Архитектура MoE и ее основные концепции..................................................56 2.1.1. Знакомство с архитектурой MoE................................................................57 2.1.2. Механизм сигмоидной маршрутизации..................................................60 2.1.3. Архитектура DeepSeek-V3 на основе MoE.................................................62 2.2. Преимущества обучения со смешанной точностью FP8...............................63 2.2.1. Основные принципы вычислений со смешанной точностью...............64 2.2.2. Применение FP8 в обучении моделей......................................................66 2.2.3. Стратегия улучшения производительности DeepSeek-V3 с помощью FP8........................................................................................................68 2.3. Алгоритм DualPipe и оптимизация связи........................................................72 2.3.1. Алгоритм DualPipe.......................................................................................72 2.3.2. Механизм межузловой связи All-to-All....................................................75 2.3.3. Оптимизация пропускной способности Infiniband и NVLink................77 2.4. Распределенное обучение больших моделей..................................................79 2.4.1. Баланс между параллелизмом данных и параллелизмом моделей....................................................................................................................79 2.4.2. Распределенная архитектура обучения DeepSeek-V3.............................82 2.4.3. Устройство и оптимизация динамического планировщика скорости обучения.................................................................................................83 2.4.4. Стратегия балансировки нагрузки без вспомогательных потерь........85 2.4.5. Обучение многотокенному прогнозированию.......................................88 2.5. Механизм кеширования и управление токенами..........................................90 2.5.1. Что такое попадания и промахи кеша......................................................91 2.5.2. Определение и процесс кодирования токена..........................................93 2.5.3. Продвинутый механизм кеширования DeepSeek-V3..............................96 2.6. Модели серии DeepSeek......................................................................................98 2.6.1. DeepSeek LLM................................................................................................98 2.6.2. DeepSeek Coder............................................................................................100 2.6.3. DeepSeek Math.............................................................................................102 2.6.4. DeepSeek VL.................................................................................................104 2.6.5. DeepSeek-V2.................................................................................................105 2.6.6. DeepSeek Coder V2......................................................................................107 2.6.7. DeepSeek-V3.................................................................................................108 2.7. Краткое содержание главы...............................................................................112 Глава 3. Введение в разработку больших моделей на основе DeepSeek-V3...........................................................................................................113 3.1. Сценарии применения больших моделей.....................................................113 3.1.1. Генерация и резюмирование текста........................................................114 3.1.2. Вопросно-ответная система и генерация диалогов..............................115 3.1.3. Многоязычное программирование и генерация кода.........................116 3.2. Преимущества и направления применения DeepSeek-V3..........................118
Содержание 7 3.2.1. Фактическая производительность в различных областях...................118 3.2.2. Возможности многоязычного программирования (на основе оценки Aider).........................................................................................................119 3.2.3. Анализ применения модели для разработки кода и решения математических задач.........................................................................................121 3.3. Теория и практика законов масштабирования.............................................122 3.3.1. Связь между масштабом и производительностью модели..................122 3.3.2. Эксперимент по применению законов масштабирования к малым моделям.................................................................................................124 3.4. Развертывание и интеграция модели............................................................127 3.4.1. Вызов API и генерация в реальном времени.........................................127 3.4.2. Локализованное развертывание..............................................................130 3.4.3. Стратегии оптимизации производительности......................................132 3.5. Распространенные проблемы и решения в разработке..............................135 3.5.1. Конструирование входных данных и управление генерацией...........135 3.5.2. Проблемы предвзятости и надежности модели....................................138 3.5.3. Советы по решению конкретных проблем DeepSeek-V3.....................142 3.6. Краткое содержание главы...............................................................................145 Часть II. РАЗРАБОТКА И ПРИМЕНЕНИЕ ПРИЛОЖЕНИЙ ГЕНЕРАТИВНОГО ИИ.......................................................................................146 Глава 4. Первый опыт работы с моделью DeepSeek-V3.........................147 4.1. Ведение диалогов и семантический анализ..................................................147 4.1.1. Однораундовый и многораундовый диалоги........................................148 4.1.2. Контекстное взаимодействие...................................................................150 4.2. Способность к математическому мышлению...............................................153 4.2.1. Ответы на типичные вопросы в области математики.........................153 4.2.2. Понимание и обоснование сложных проблем.......................................155 4.3. Применение для вспомогательного программирования............................160 4.3.1. Вспомогательная разработка алгоритмов..............................................160 4.3.2. Разработка программного обеспечения.................................................162 4.4. Краткое содержание главы...............................................................................166 Глава 5. Открытая платформа DeepSeek и использование API............167 5.1. Знакомство с открытой платформой DeepSeek............................................167 5.1.1. Обзор основных модулей и сервисов платформы................................168 5.1.2. Ключевые роли и сотрудничество в открытой экосистеме.................171 5.2. Основные функции и примеры использования API DeepSeek...................174 5.2.1 Механизм аутентификации и структура вызовов API...........................174 5.2.2. Часто применяемые интерфейсы и их назначение..............................177 5.3. Оптимизация производительности API и стратегия безопасности..........181 5.3.1. Методы оптимизации производительности для уменьшения задержек................................................................................................................181
8 Содержание 5.3.2. Защита данных и управление правами доступа...................................185 5.4. Краткое содержание главы...............................................................................188 Глава 6. Диалоги, завершение текста и разработка специальных моделей....................................................................................................................189 6.1. Основные принципы и методы генерации диалогов..................................189 6.1.1. Строение входных и выходных данных модели в задачах ведения диалога...................................................................................................190 6.1.2. Управление контекстом при взаимодействии на естественном языке......................................................................................................................192 6.2. Принцип реализации и оптимизация автодополнения кода.....................195 6.2.1. Стратегия адаптации модели к языку программирования.................196 6.2.2. Оптимизация функции глубокого завершения.....................................198 6.3. Разработка индивидуальной модели на основе DeepSeek..........................202 6.3.1. Тонкая настройка модели и методы, ориентированные на конкретные задачи.........................................................................................202 6.3.2. Примеры использования персонализированных моделей для диалога и автодополнения..........................................................................206 6.3.3. Более сложный случай: генерация кода и специализация на основе большой модели DeepSeek-V3..........................................................209 6.4. Краткое содержание главы...............................................................................215 Глава 7. Продолжение диалога, формирование выходных данных FIM и JSON...............................................................................................216 7.1. Технические принципы и применение продолжения префикса диалога.......................................................................................................................216 7.1.1. Логика проектирования и реализация префиксного моделирования.....................................................................................................217 7.1.2. Способы управления стилем продолжения............................................220 7.2. Анализ и применение технологии FIM...........................................................222 7.2.1. Пояснение к разным определениям задачи FIM...................................222 7.2.2. Способы оптимизации DeepSeek для задач FIM....................................225 7.3. Генерация выходных данных в формате JSON..............................................227 7.3.1. Реализация модели для генерации структурированных данных.......228 7.3.2. Применение вывода JSON на практике...................................................230 7.3.3. Более сложный случай: многораундовый диалог и генерация структурированных данных...............................................................................233 7.4. Краткое содержание главы...............................................................................237 Глава 8. Функции обратного вызова и кеширование контекста на диске....................................................................................................................238 8.1. Механизм обратного вызова и сценарии его применения.........................238 8.1.1. Функция обратного вызова и принципы ее реализации.....................239
Содержание 9 8.1.2. Методы оптимизации обратного вызова на платформе DeepSeek................................................................................................................242 8.2. Основные принципы кеширования контекста на диске.............................245 8.2.1. Анализ влияния попаданий и промахов кеша......................................246 8.2.2. Реализация кеширования на жестком диске.........................................249 8.3. Сочетание функций обратного вызова и механизма кеширования..........252 8.3.1. Контекстно-ориентированное проектирование вызовов кеша..........253 8.3.2. Пример повышения производительности за счет эффективного кеширования и комбинации обратного вызова..............................................256 8.3.3. Сложный случай: применение DeepSeek и оптимизация интеллектуальной системы управления электростанцией...........................260 8.4. Краткое содержание главы...............................................................................265 Глава 9. Библиотека промптов DeepSeek и ее дополнительные возможности...........................................................................................................266 9.1. Применение промптов при разработке кода................................................267 9.1.1. Доработка кода...........................................................................................267 9.1.2. Аннотирование кода..................................................................................270 9.1.3. Генерация кода...........................................................................................272 9.2. Генерация и классификация контента...........................................................279 9.2.1. Классификация контента..........................................................................280 9.2.2. Структурированный вывод.......................................................................282 9.3. Ролевая игра.......................................................................................................284 9.3.1. Ролевая игра (создание персонажа).........................................................284 9.3.2. Ролевая игра (продолжение сценария)...................................................286 9.4. Литературное творчество.................................................................................287 9.4.1. Написание прозы.......................................................................................288 9.4.2. Написание стихов.......................................................................................290 9.5. Копирайтинг и продвижение...........................................................................291 9.5.1. Создание плана копирайтинга.................................................................291 9.5.2. Генерация слоганов....................................................................................294 9.6. Модель в роли эксперта-переводчика............................................................296 9.6.1. Генерация промптов..................................................................................296 9.6.2. Перевод в языковых парах........................................................................298 9.14. Краткое содержание главы.............................................................................300 Часть III. ПРАКТИЧЕСКИЕ ПРОЕКТЫ И ИНТЕГРАЦИЯ ИИ В ПРИЛОЖЕНИЯ................................................................................................301 Глава 10. Примеры интеграции, часть 1: разработка чат-клиента на основе LLM........................................................................................................302 10.1. Обзор чат-клиентов и их ключевые функции.............................................302 10.1.1. Основная концепция дизайна чата.......................................................303 10.1.2. Анализ распространенных сценариев применения...........................305
10 Содержание 10.2. Настройка и интеграция API DeepSeek........................................................307 10.2.1. Получение и настройка ключа API........................................................308 10.2.2. Вызовы стандартных интерфейсов.......................................................311 10.2.3. Интеграция API чат-клиента в приложение........................................315 10.3. Поддержка нескольких моделей и переключение между ними...............318 10.3.1. Архитектура системы с переключаемыми моделями........................318 10.3.2. Стратегии выбора модели в зависимости от задачи..........................321 10.3.3. Тестирование полного кода системы....................................................325 10.4. Краткое содержание главы.............................................................................329 Глава 11. Примеры интеграции, часть 2: разработка интеллектуального помощника на основе ИИ...........................................330 11.1. Начало эпохи ИИ-помощников и знакомство с технологией..................331 11.1.1. Основные функции интеллектуального помощника на основе ИИ....331 11.1.2 Тенденции коммерческого применения ИИ-помощников................333 11.2. Конфигурация и применение API DeepSeek в ИИ-помощниках..............335 11.2.1. Применение API DeepSeek в работе ИИ-помощника.........................336 11.2.2. Комбинация функций распознавания речи и обработки естественного языка............................................................................................338 11.3. Внедрение и оптимизация функции интеллектуального помощника................................................................................................................340 11.3.1. Стратегии оптимизации для повышения точности вопросов и ответов................................................................................................................341 11.3.2. Технология непрерывного обучения и улучшения понимания контекста...............................................................................................................344 11.4. Краткое содержание главы.............................................................................347 Глава 12. Примеры интеграции, часть 3: разработка вспомогательных плагинов на основе VS Code.........................................348 12.1. Обзор и основные функции вспомогательных плагинов..........................349 12.1.1. Функциональное позиционирование вспомогательного плагина...................................................................................................................349 12.1.2. Анализ полезных функций для разработчиков...................................354 12.2. Шаги по интеграции API DeepSeek в VS Code..............................................358 12.2.1. Процесс вызова API в плагине................................................................358 12.2.2. Оптимальное управление кешем вызовов API....................................360 12.3. Реализация автодополнения кода и рекомендаций по исправлению........................................................................................................364 12.3.1. Механизм автодополнения кода, основанный на глубоком семантическом понимании................................................................................364 12.3.2. Персонализированные рекомендации и гибкая настройка режимов разработки............................................................................................368 12.4. Советы по использованию плагинов для повышения эффективности разработки....................................................................................372