Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

DeepSeek в действии

Технология генеративных больших моделей и приложения на основе архитектуры Transformer
Покупка
Новинка
Артикул: 890827.01.99
Доступ онлайн
2 099 ₽
В корзину
DeepSeek — это генеративная модель ИИ с открытым исходным кодом, основанная на архитектуре Transformer и объединяющая передовые технологии, такие как архитектура MoE, обучение с переменной разрядностью и распределенная оптимизация. Она демонстрирует хорошие результаты в области генерации текста, мультимодальной обработки и адаптации под конкретные задачи при удивительно низкой стоимости обучения. В этой книге описаны особенности глубоко оптимизированной архитектуры DeepSeek-V3 и способы применения модели на практике. Книга будет полезна исследователям технологий генеративного ИИ, инженерам-разработчикам программного обеспечения, специалистам по обработке данных, а также всем желающим быстро освоить практическое применение больших языковых моделей.
15
16
56
113
146
301
348
DeepSeek в действии : Технология генеративных больших моделей и приложения на основе архитектуры Transformer : практическое руководство / пер. с кит. В. С. Яценкова. – Москва : ДМК Пресс, 2025. - 406 с. – ISBN 978-5-93700-396-6. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2275236 (дата обращения: 19.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Лаборатория ИИ будущего
DeepSeek в действии


未来智能实验室 编著
DeepSeek  
原理与开发实战
基于 Transformer  
架构的生成式大模型技术与应用


Лаборатория ИИ будущего
DeepSeek  
в действии
Технология генеративных больших 
моделей и приложения на основе 
архитектуры Transformer
Москва, 2025


УДК	 004.8DeepSeek
ББК 16.6
D30
D30	
DeepSeek в действии / пер. с кит. В. С. Яценкова. – М.: ДМК Пресс, 2025. – 
404 с.: ил. 
ISBN 978-5-93700-396-6
DeepSeek – это генеративная модель ИИ с открытым исходным кодом, основанная на архитектуре Transformer и объединяющая передовые технологии, такие 
как архитектура MoE, обучение с переменной разрядностью и распределенная 
оптимизация. Она демонстрирует хорошие результаты в области генерации 
текста, мультимодальной обработки и адаптации под конкретные задачи при 
удивительно низкой стоимости обучения. В этой книге описаны особенности 
глубоко оптимизированной архитектуры DeepSeek-V3 и способы применения 
модели на практике.
Книга будет полезна исследователям технологий генеративного ИИ, инженерам-разработчикам программного обеспечения, специалистам по обработке 
данных, а также всем желающим быстро освоить практическое применение 
больших языковых моделей.
УДК  004.8DeepSeek
ББК  16.6
DeepSeek 原理与开发实战 DeepSeek in Action: LLM Deployment, Fine-Tining, and Real-World 
Projects, ISBN 978-7-115-66558-4. Russian translation rights arranged with Posts and Telecom 
Press Co., Ltd. through Media Solutions, Tokyo, Japan (info@mediasolutions.jp).
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения 
владельцев авторских прав.
ISBN 978-7-115-66558-4 (кит.) 	
©  2025 Posts and Telecom Press Co., Ltd.
ISBN 978-5-93700-396-6 (рус.) 	
©  Перевод, оформление, издание,  
ДМК Пресс, 2025


Содержание
От издательства.......................................................................................................12
Предисловие.............................................................................................................13
Часть I. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И АРХИТЕКТУРА 
ГЕНЕРАТИВНОГО ИИ.........................................................................................15
Глава 1. Архитектура Transformer и механизм внимания........................16
1.1. Базовая архитектура Transformer......................................................................16
1.1.1. Структура кодировщик–декодировщик...................................................17
1.1.2. Механизмы внутреннего и многоголового внимания...........................20
1.1.3. Остаточная связь и нормализация слоев.................................................22
1.2. Основные принципы работы механизма внимания......................................25
1.2.1. Сравнение механизмов скалярного и аддитивного внимания............25
1.2.2. Нормализация Softmax................................................................................27
1.2.3. Разреженность матрицы внимания и оптимизация ускорения...........30
1.3. Расширение и оптимизация архитектуры Transformer.................................32
1.3.1. Применение динамического внимания...................................................32
1.3.2. Дальнее и разреженное внимание.............................................................34
1.3.3. Диверсифицированное позиционное кодирование...............................37
1.4. Контекстное окно................................................................................................40
1.4.1. Увеличение контекстного окна..................................................................40
1.4.2. Компромисс между памятью и вычислительной сложностью..............42
1.4.3. Оптимизация контекстного окна в DeepSeek-V3....................................45
1.5. Баланс между стоимостью обучения и вычислительной 
эффективностью.........................................................................................................47
1.5.1. Тенденция роста числа параметров и вычислительных  
требований..............................................................................................................48
1.5.2. Вычисления на GPU в архитектуре Transformer......................................51
1.5.3. Как DeepSeek-V3 снижает затраты на обучение......................................53
1.6. Краткое содержание главы.................................................................................55


6    Содержание
Глава 2. Детальный анализ архитектуры ядра DeepSeek-V3 
и ее технологии обучения...................................................................................56
2.1. Архитектура MoE и ее основные концепции..................................................56
2.1.1. Знакомство с архитектурой MoE................................................................57
2.1.2. Механизм сигмоидной маршрутизации..................................................60
2.1.3. Архитектура DeepSeek-V3 на основе MoE.................................................62
2.2. Преимущества обучения со смешанной точностью FP8...............................63
2.2.1. Основные принципы вычислений со смешанной точностью...............64
2.2.2. Применение FP8 в обучении моделей......................................................66
2.2.3. Стратегия улучшения производительности DeepSeek-V3 
с помощью FP8........................................................................................................68
2.3. Алгоритм DualPipe и оптимизация связи........................................................72
2.3.1. Алгоритм DualPipe.......................................................................................72
2.3.2. Механизм межузловой связи All-to-All....................................................75
2.3.3. Оптимизация пропускной способности Infiniband и NVLink................77
2.4. Распределенное обучение больших моделей..................................................79
2.4.1. Баланс между параллелизмом данных и параллелизмом  
моделей....................................................................................................................79
2.4.2. Распределенная архитектура обучения DeepSeek-V3.............................82
2.4.3. Устройство и оптимизация динамического планировщика 
скорости обучения.................................................................................................83
2.4.4. Стратегия балансировки нагрузки без вспомогательных потерь........85
2.4.5. Обучение многотокенному прогнозированию.......................................88
2.5. Механизм кеширования и управление токенами..........................................90
2.5.1. Что такое попадания и промахи кеша......................................................91
2.5.2. Определение и процесс кодирования токена..........................................93
2.5.3. Продвинутый механизм кеширования DeepSeek-V3..............................96
2.6. Модели серии DeepSeek......................................................................................98
2.6.1. DeepSeek LLM................................................................................................98
2.6.2. DeepSeek Coder............................................................................................100
2.6.3. DeepSeek Math.............................................................................................102
2.6.4. DeepSeek VL.................................................................................................104
2.6.5. DeepSeek-V2.................................................................................................105
2.6.6. DeepSeek Coder V2......................................................................................107
2.6.7. DeepSeek-V3.................................................................................................108
2.7. Краткое содержание главы...............................................................................112
Глава 3. Введение в разработку больших моделей на основе 
DeepSeek-V3...........................................................................................................113
3.1. Сценарии применения больших моделей.....................................................113
3.1.1. Генерация и резюмирование текста........................................................114
3.1.2. Вопросно-ответная система и генерация диалогов..............................115
3.1.3. Многоязычное программирование и генерация кода.........................116
3.2. Преимущества и направления применения DeepSeek-V3..........................118


Содержание    7
3.2.1. Фактическая производительность в различных областях...................118
3.2.2. Возможности многоязычного программирования (на основе 
оценки Aider).........................................................................................................119
3.2.3. Анализ применения модели для разработки кода и решения 
математических задач.........................................................................................121
3.3. Теория и практика законов масштабирования.............................................122
3.3.1. Связь между масштабом и производительностью модели..................122
3.3.2. Эксперимент по применению законов масштабирования 
к малым моделям.................................................................................................124
3.4. Развертывание и интеграция модели............................................................127
3.4.1. Вызов API и генерация в реальном времени.........................................127
3.4.2. Локализованное развертывание..............................................................130
3.4.3. Стратегии оптимизации производительности......................................132
3.5. Распространенные проблемы и решения в разработке..............................135
3.5.1. Конструирование входных данных и управление генерацией...........135
3.5.2. Проблемы предвзятости и надежности модели....................................138
3.5.3. Советы по решению конкретных проблем DeepSeek-V3.....................142
3.6. Краткое содержание главы...............................................................................145
Часть II. РАЗРАБОТКА И ПРИМЕНЕНИЕ ПРИЛОЖЕНИЙ 
ГЕНЕРАТИВНОГО ИИ.......................................................................................146
Глава 4. Первый опыт работы с моделью DeepSeek-V3.........................147
4.1. Ведение диалогов и семантический анализ..................................................147
4.1.1. Однораундовый и многораундовый диалоги........................................148
4.1.2. Контекстное взаимодействие...................................................................150
4.2. Способность к математическому мышлению...............................................153
4.2.1. Ответы на типичные вопросы в области математики.........................153
4.2.2. Понимание и обоснование сложных проблем.......................................155
4.3. Применение для вспомогательного программирования............................160
4.3.1. Вспомогательная разработка алгоритмов..............................................160
4.3.2. Разработка программного обеспечения.................................................162
4.4. Краткое содержание главы...............................................................................166
Глава 5. Открытая платформа DeepSeek и использование API............167
5.1. Знакомство с открытой платформой DeepSeek............................................167
5.1.1. Обзор основных модулей и сервисов платформы................................168
5.1.2. Ключевые роли и сотрудничество в открытой экосистеме.................171
5.2. Основные функции и примеры использования API DeepSeek...................174
5.2.1 Механизм аутентификации и структура вызовов API...........................174
5.2.2. Часто применяемые интерфейсы и их назначение..............................177
5.3. Оптимизация производительности API и стратегия безопасности..........181
5.3.1. Методы оптимизации производительности для уменьшения 
задержек................................................................................................................181


8    Содержание
5.3.2. Защита данных и управление правами доступа...................................185
5.4. Краткое содержание главы...............................................................................188
Глава 6. Диалоги, завершение текста и разработка специальных 
моделей....................................................................................................................189
6.1. Основные принципы и методы генерации диалогов..................................189
6.1.1. Строение входных и выходных данных модели в задачах 
ведения диалога...................................................................................................190
6.1.2. Управление контекстом при взаимодействии на естественном 
языке......................................................................................................................192
6.2. Принцип реализации и оптимизация автодополнения кода.....................195
6.2.1. Стратегия адаптации модели к языку программирования.................196
6.2.2. Оптимизация функции глубокого завершения.....................................198
6.3. Разработка индивидуальной модели на основе DeepSeek..........................202
6.3.1. Тонкая настройка модели и методы, ориентированные 
на конкретные задачи.........................................................................................202
6.3.2. Примеры использования персонализированных моделей 
для диалога и автодополнения..........................................................................206
6.3.3. Более сложный случай: генерация кода и специализация 
на основе большой модели DeepSeek-V3..........................................................209
6.4. Краткое содержание главы...............................................................................215
Глава 7. Продолжение диалога, формирование выходных  
данных FIM и JSON...............................................................................................216
7.1. Технические принципы и применение продолжения префикса  
диалога.......................................................................................................................216
7.1.1. Логика проектирования и реализация префиксного 
моделирования.....................................................................................................217
7.1.2. Способы управления стилем продолжения............................................220
7.2. Анализ и применение технологии FIM...........................................................222
7.2.1. Пояснение к разным определениям задачи FIM...................................222
7.2.2. Способы оптимизации DeepSeek для задач FIM....................................225
7.3. Генерация выходных данных в формате JSON..............................................227
7.3.1. Реализация модели для генерации структурированных данных.......228
7.3.2. Применение вывода JSON на практике...................................................230
7.3.3. Более сложный случай: многораундовый диалог и генерация 
структурированных данных...............................................................................233
7.4. Краткое содержание главы...............................................................................237
Глава 8. Функции обратного вызова и кеширование контекста  
на диске....................................................................................................................238
8.1. Механизм обратного вызова и сценарии его применения.........................238
8.1.1. Функция обратного вызова и принципы ее реализации.....................239


Содержание    9
8.1.2. Методы оптимизации обратного вызова на платформе  
DeepSeek................................................................................................................242
8.2. Основные принципы кеширования контекста на диске.............................245
8.2.1. Анализ влияния попаданий и промахов кеша......................................246
8.2.2. Реализация кеширования на жестком диске.........................................249
8.3. Сочетание функций обратного вызова и механизма кеширования..........252
8.3.1. Контекстно-ориентированное проектирование вызовов кеша..........253
8.3.2. Пример повышения производительности за счет эффективного 
кеширования и комбинации обратного вызова..............................................256
8.3.3. Сложный случай: применение DeepSeek и оптимизация 
интеллектуальной системы управления электростанцией...........................260
8.4. Краткое содержание главы...............................................................................265
Глава 9. Библиотека промптов DeepSeek и ее дополнительные 
возможности...........................................................................................................266
9.1. Применение промптов при разработке кода................................................267
9.1.1. Доработка кода...........................................................................................267
9.1.2. Аннотирование кода..................................................................................270
9.1.3. Генерация кода...........................................................................................272
9.2. Генерация и классификация контента...........................................................279
9.2.1. Классификация контента..........................................................................280
9.2.2. Структурированный вывод.......................................................................282
9.3. Ролевая игра.......................................................................................................284
9.3.1. Ролевая игра (создание персонажа).........................................................284
9.3.2. Ролевая игра (продолжение сценария)...................................................286
9.4. Литературное творчество.................................................................................287
9.4.1. Написание прозы.......................................................................................288
9.4.2. Написание стихов.......................................................................................290
9.5. Копирайтинг и продвижение...........................................................................291
9.5.1. Создание плана копирайтинга.................................................................291
9.5.2. Генерация слоганов....................................................................................294
9.6. Модель в роли эксперта-переводчика............................................................296
9.6.1. Генерация промптов..................................................................................296
9.6.2. Перевод в языковых парах........................................................................298
9.14. Краткое содержание главы.............................................................................300
Часть III. ПРАКТИЧЕСКИЕ ПРОЕКТЫ И ИНТЕГРАЦИЯ ИИ 
В ПРИЛОЖЕНИЯ................................................................................................301
Глава 10. Примеры интеграции, часть 1: разработка чат-клиента 
на основе LLM........................................................................................................302
10.1. Обзор чат-клиентов и их ключевые функции.............................................302
10.1.1. Основная концепция дизайна чата.......................................................303
10.1.2. Анализ распространенных сценариев применения...........................305


10    Содержание
10.2. Настройка и интеграция API DeepSeek........................................................307
10.2.1. Получение и настройка ключа API........................................................308
10.2.2. Вызовы стандартных интерфейсов.......................................................311
10.2.3. Интеграция API чат-клиента в приложение........................................315
10.3. Поддержка нескольких моделей и переключение между ними...............318
10.3.1. Архитектура системы с переключаемыми моделями........................318
10.3.2. Стратегии выбора модели в зависимости от задачи..........................321
10.3.3. Тестирование полного кода системы....................................................325
10.4. Краткое содержание главы.............................................................................329
Глава 11. Примеры интеграции, часть 2: разработка 
интеллектуального помощника на основе ИИ...........................................330
11.1. Начало эпохи ИИ-помощников и знакомство с технологией..................331
11.1.1. Основные функции интеллектуального помощника на основе ИИ....331
11.1.2 Тенденции коммерческого применения ИИ-помощников................333
11.2. Конфигурация и применение API DeepSeek в ИИ-помощниках..............335
11.2.1. Применение API DeepSeek в работе ИИ-помощника.........................336
11.2.2. Комбинация функций распознавания речи и обработки 
естественного языка............................................................................................338
11.3. Внедрение и оптимизация функции интеллектуального  
помощника................................................................................................................340
11.3.1. Стратегии оптимизации для повышения точности вопросов 
и ответов................................................................................................................341
11.3.2. Технология непрерывного обучения и улучшения понимания 
контекста...............................................................................................................344
11.4. Краткое содержание главы.............................................................................347
Глава 12. Примеры интеграции, часть 3: разработка  
вспомогательных плагинов на основе VS Code.........................................348
12.1. Обзор и основные функции вспомогательных плагинов..........................349
12.1.1. Функциональное позиционирование вспомогательного  
плагина...................................................................................................................349
12.1.2. Анализ полезных функций для разработчиков...................................354
12.2. Шаги по интеграции API DeepSeek в VS Code..............................................358
12.2.1. Процесс вызова API в плагине................................................................358
12.2.2. Оптимальное управление кешем вызовов API....................................360
12.3. Реализация автодополнения кода и рекомендаций  
по исправлению........................................................................................................364
12.3.1. Механизм автодополнения кода, основанный на глубоком 
семантическом понимании................................................................................364
12.3.2. Персонализированные рекомендации и гибкая настройка 
режимов разработки............................................................................................368
12.4. Советы по использованию плагинов для повышения 
эффективности разработки....................................................................................372


Доступ онлайн
2 099 ₽
В корзину