Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Нейросетевые методы в обработке естественного языка

Покупка
Новинка
Артикул: 882317.01.99
Доступ онлайн
890 ₽
В корзину
Это классическое руководство посвящено применению нейросетевых моделей к обработке данных естественного языка (Natural Language Processing — NLP). Рассматриваются основы машинного обучения с учителем на лингвистических данных и применение векторных, а не символических представлений слов. Обсуждается абстракция графа вычислений, которая позволяет легко определять и обучать произвольные нейронные сети и лежит в основе современных программных нейросетевых библиотек. Также даются обзорные сведения специализированных нейросетевых архитектур, включая одномерные сверточные сети, рекуррентные нейронные сети, модели условной генерации и модели с механизмом внимания. Издание предназначено студентам вузов, а также специалистам в области машинного перевода и нейронных сетей. Предполагается знание теории вероятностей, алгебры и математического анализа, а также базовое владение алгоритмами и структурами данных.
Гольдберг, Й. Нейросетевые методы в обработке естественного языка : практическое руководство / Й. Гольдберг ; пер. с анг. А. А. Слинкина. - Москва : ДМК Пресс, 2019. - 283 с. - ISBN 978-5-97060-754-1. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2259714 (дата обращения: 19.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Йоав Гольдберг
Университет имени Бар-Илана
Нейросетевые методы  
в обработке естественного языка


Yoav Goldberg 
Bar Ilan University
Neural Network Methods  
for Natural Language 
Processing


Йоав Гольдберг
Университет имени Бар-Илана
Нейросетевые методы  
в обработке естественного 
языка
Москва, 2019


УДК 004.89.032.26
ББК 32.813
Г63
Гольдберг Й.
Г63	
Нейросетевые методы в обработке естественного языка  / пер. с  анг. 
А. А. Слинкина. – М.: ДМК Пресс, 2019. – 282 с.: ил. 
ISBN 978-5-97060-754-1
Это классическое руководство посвящено применению нейросетевых моделей 
к обработке данных естественного языка (Natural Language Processing – NLP). Рассматриваются основы машинного обучения с учителем на лингвистических данных 
и применение векторных, а не символических представлений слов. Обсуждается 
абстракция графа вычислений, которая позволяет легко определять и обучать произвольные нейронные сети и лежит в основе современных программных нейросетевых 
библиотек. Также даются обзорные сведения специализированных нейросетевых 
архитектур, включая одномерные сверточные сети, рекуррентные нейронные сети, 
модели условной генерации и модели с механизмом внимания.
Издание предназначено студентам вузов, а также специалистам в области машинного перевода и нейронных сетей.
Предполагается знание теории вероятностей, алгебры и математического анализа, 
а также базовое владение алгоритмами и структурами данных.
УДК  004.89.032.26
ББК  32.813
Original English language edition published in the Morgan & Claypool Publishers series. Copyright 
© 2017 by Morgan & Claypool. Russian-language edition copyright © 2019 by DMK Press. All rights 
reserved.
Все права защищены. Любая часть этой книги не может быть воспроизведена в какой 
бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.
ISBN 978-1-62705-298-6 (анг.)	
Copyright © 2017 by Morgan & Claypool
ISBN 978-5-97060-754-1 (рус.)	
©  Оформление, издание, перевод, ДМК Пресс, 2019


Содержание
Об авторе...............................................................................................................12
Предисловие........................................................................................................13
Благодарности....................................................................................................16
Предисловие от издательства....................................................................18
Глава 1. Введение..............................................................................................19
1.1. Проблемы, стоящие перед обработкой естественного языка..........................19
1.2. Нейронные сети и глубокое обучение................................................................20
1.3. Глубокое обучение в NLP.....................................................................................21
1.3.1. Истории успеха.............................................................................................22
1.4. Состав и организация материала.......................................................................24
1.5. Что не вошло в книгу...........................................................................................27
1.6. Замечание о терминологии.................................................................................27
1.7. Математическая нотация....................................................................................28
Часть I. КЛАССИФИКАЦИЯ С УЧИТЕЛЕМ  
И НЕЙРОННЫЕ СЕТИ ПРЯМОГО  
РАСПРОСТРАНЕНИЯ...................................................................................29
Глава 2. Основы обучения и линейные модели...............................30
2.1. Обучение с учителем и параметрические функции.........................................30
2.2. Обучающий, тестовый и контрольный наборы.................................................31
2.3. Линейные модели................................................................................................33
2.3.1. Бинарная классификация.............................................................................33
2.3.2. Логлинейная бинарная классификация......................................................37
2.3.3. Многоклассовая классификация..................................................................38
2.4. Представления.....................................................................................................39
2.5. Представления в виде унитарного и плотного векторов..................................40
2.6. Логлинейная многоклассовая классификация..................................................41
2.7. Обучение как оптимизация.................................................................................41
2.7.1. Функции потерь............................................................................................43
2.7.2. Регуляризация...............................................................................................46
2.8. Градиентная оптимизация..................................................................................47
2.8.1. Стохастический градиентный спуск...........................................................48
2.8.2. Полный пример.............................................................................................50
2.8.3. Не только СГС................................................................................................52


6    Содержание
Глава 3. От линейных моделей к многослойным  
перцептронам.....................................................................................................53
3.1. Ограничения линейных моделей: проблема XOR.............................................53
3.2. Нелинейные преобразования входа...................................................................54
3.3. Ядерные методы..................................................................................................54
3.4. Обучаемые отображающие функции.................................................................55
Глава 4. Нейронные сети прямого распространения....................56
4.1. Метафора, инспирированная мозгом................................................................56
4.2. Математическая нотация....................................................................................58
4.3. Репрезентативная способность..........................................................................60
4.4. Стандартные нелинейности................................................................................60
4.5. Функции потерь...................................................................................................62
4.6. Регуляризация и прореживание.........................................................................62
4.7. Слои вычисления сходства и расстояния...........................................................63
4.8. Слои погружения.................................................................................................64
Глава 5. Обучение нейронной сети..........................................................65
5.1. Абстракция графа вычислений...........................................................................65
5.1.1. Прямое вычисление......................................................................................67
5.1.2. Вычисление на обратном проходе (производные, обратное  
распространение)...................................................................................................67
5.1.3. Программное обеспечение..........................................................................68
5.1.4. Рецепт реализации.......................................................................................71
5.1.5. Композиция сети..........................................................................................72
5.2. Практические вопросы........................................................................................72
5.2.1. Выбор алгоритма оптимизации..................................................................72
5.2.2. Инициализация.............................................................................................72
5.2.3. Перезапуск и ансамбли................................................................................73
5.2.4. Исчезающие и взрывающиеся градиенты..................................................74
5.2.5. Насыщение и мертвые нейроны..................................................................74
5.2.6. Тасование......................................................................................................75
5.2.7. Скорость обучения........................................................................................75
5.2.8. Мини-пакеты................................................................................................75
Часть II. РАБОТА С ДАННЫМИ  
ЕСТЕСТВЕННОГО ЯЗЫКА........................................................................76
Глава 6. Признаки для текстовых данных...........................................77
6.1. Типология проблем классификации NLP...........................................................77
6.2. Признаки для проблем NLP................................................................................79
6.2.1. Непосредственно наблюдаемые свойства..................................................80


Содержание    7
6.2.2. Производные лингвистические свойства...................................................83
6.2.3. Базовые и комбинационные признаки.......................................................87
6.2.4. N-граммные признаки.................................................................................87
6.2.5. Дистрибутивные признаки..........................................................................88
Глава 7. Примеры признаков в NLP.........................................................90
7.1. Классификация документов: определение языка.............................................90
7.2. Классификация документов: тематическая классификация............................91
7.3. Классификация документов: установление авторства.....................................91
7.4. Слово в контексте: частеречная разметка..........................................................92
7.5. Слово в контексте: распознавание именованных сущностей..........................94
7.6. Слово в контексте, лингвистические признаки : разрешение  
лексической многозначности предлогов.................................................................95
7.7. Отношения между словами в контексте: анализ методом  
разложения на дуги....................................................................................................97
Глава 8. От текстовых признаков к входным данным................100
8.1. Кодирование категориальных признаков.......................................................100
8.1.1. Унитарное кодирование.............................................................................100
8.1.2. Плотные погружения (погружения признаков)........................................101
8.1.3. Плотные векторы и унитарные представления........................................101
8.2. Объединение плотных векторов......................................................................103
8.2.1. Оконные признаки.....................................................................................103
8.2.2. Переменное число признаков: непрерывный мешок слов.....................104
8.3. Соотношение между унитарным и плотным векторами................................105
8.4. Разные разности................................................................................................106
8.4.1. Дистанционные и позиционные признаки..............................................106
8.4.2. Дополнение, неизвестные слова и прореживание слов...........................107
8.4.3. Комбинации признаков.............................................................................108
8.4.4. Обобществление векторов.........................................................................109
8.4.5. Размерность................................................................................................110
8.4.6. Словарь погружений...................................................................................110
8.4.7. Выход сети...................................................................................................110
8.5. Пример: частеречная разметка........................................................................111
8.6. Пример: анализ методом разложения на дуги................................................112
Глава 9. Языковое моделирование.......................................................115
9.1. Задача языкового моделирования....................................................................115
9.2. Оценивание языковых моделей: перплексивность........................................116
9.3. Традиционные подходы к языковому моделированию.................................117
9.3.1. Для дальнейшего чтения............................................................................118
9.3.2. Ограничения традиционных языковых моделей.....................................118
9.4. Нейросетевые языковые модели......................................................................119
9.5. Использование языковых моделей для порождения......................................123
9.6. Побочный продукт: представления слов.........................................................124


8    Содержание
Глава 10. Предобученные представления слов.............................125
10.1. Случайная инициализация.............................................................................125
10.2. Специализированное предобучение с учителем...........................................125
10.3. Предобучение без учителя..............................................................................126
10.3.1. Использование предобученных погружений.........................................127
10.4. Алгоритмы погружения слов..........................................................................128
10.4.1. Дистрибутивная гипотеза и представления слов...................................128
10.4.2. От нейросетевых языковых моделей к распределенным  
представлениям...................................................................................................133
10.4.3. Объединяя миры.......................................................................................136
10.4.4. Другие алгоритмы.....................................................................................137
10.5. Выбор контекстов............................................................................................138
10.5.1. Подход на основе окон.............................................................................138
10.5.2. Предложения, абзацы или документы....................................................139
10.5.3. Синтаксическое окно................................................................................139
10.5.4. Многоязычные контексты........................................................................141
10.5.5. Представления на основе литер и подслов.............................................141
10.6. Обработка многословных единиц и словоизменения..................................142
10.7. Ограничения дистрибутивных методов.........................................................143
Глава 11. Использование погружений слов......................................146
11.1. Получение векторов слов................................................................................146
11.2. Сходство слов...................................................................................................147
11.3. Кластеризация слов.........................................................................................147
11.4. Нахождение похожих слов..............................................................................147
11.4.1. Сходство с группой слов...........................................................................148
11.5. Вычеркивание лишних....................................................................................148
11.6. Сходство коротких документов......................................................................148
11.7. Словесные аналоги...........................................................................................149
11.8. Донастройка и проекции.................................................................................150
11.9. Практические вопросы и подводные камни..................................................151
Глава 12. Пример: применение архитектуры прямого  
распространения  для вывода смысла предложения.................152
12.1. Естественно-языковой вывод и набор данных NLI.......................................152
12.2. Сеть для установления сходства текстов........................................................154
Часть III. СПЕЦИАЛИЗИРОВАННЫЕ АРХИТЕКТУРЫ.........157
Глава 13. Детекторы n-грамм: сверточные  
нейронные сети................................................................................................159
13.1. Свертка + пулинг – основы..............................................................................161
13.1.1. Одномерная свертка текста......................................................................161


Содержание    9
13.1.2. Пулинг векторов........................................................................................163
13.1.3. Вариации...................................................................................................166
13.2. Альтернатива: хеширование признаков........................................................166
13.3. Иерархические свертки...................................................................................167
Глава 14. Рекуррентные нейронные сети:  
последовательности и стеки.....................................................................171
14.1. Абстракция РНС...............................................................................................172
14.2. Обучение РНС...................................................................................................174
14.3. Типичные примеры использования РНС.......................................................175
14.3.1. Приемщик.................................................................................................175
14.3.2. Кодировщик..............................................................................................176
14.3.3. Преобразователь.......................................................................................176
14.4. Двунаправленные РНС (biRNN)......................................................................177
14.5. Многослойные РНС..........................................................................................179
14.6. РНС для представления стеков.......................................................................180
14.7. Замечание о чтении литературы....................................................................182
Глава 15. Конкретные архитектуры рекуррентных  
нейронных сетей.............................................................................................184
15.1. CBOW как РНС..................................................................................................184
15.2. Простая РНС.....................................................................................................184
15.3. Вентильные архитектуры................................................................................185
15.3.1. LSTM...........................................................................................................187
15.3.2. GRU.............................................................................................................188
15.4. Другие варианты..............................................................................................189
15.5. Прореживание в РНС.......................................................................................190
Глава 16. Моделирование с помощью рекуррентных  
сетей.......................................................................................................................192
16.1. Приемщики......................................................................................................192
16.1.1. Классификация по эмоциональной окраске...........................................192
16.1.2. Определение грамматической правильности согласования глагола 
с субъектом...........................................................................................................194
16.2. РНС как экстракторы признаков....................................................................196
16.2.1. Частеречная разметка...............................................................................196
16.2.2. Классификация документов с применением РНС-СНС.........................199
16.2.3. Анализ зависимостей методом разложения на дуги.............................199
Глава 17. Условная генерация...................................................................202
17.1. РНС-генераторы...............................................................................................202
17.1.1. Обучение генераторов..............................................................................203


10    Содержание
17.2. Условная генерация (кодировщик–декодер)..................................................203
17.2.1. Модели типа последовательность-в-последовательность.....................205
17.2.2. Приложения...............................................................................................207
17.2.3. Другие обусловливающие контексты......................................................209
17.3. Установление сходства предложений без учителя........................................210
17.4. Условная генерация с вниманием...................................................................212
17.4.1. Вычислительная сложность......................................................................215
17.4.2. Возможность интерпретации...................................................................215
17.5. Модели на основе внимания в NLP.................................................................215
17.5.1. Машинный перевод..................................................................................215
17.5.2. Морфологическое словоизменение.........................................................217
17.5.3. Синтаксический анализ............................................................................218
Часть IV. ДОПОЛНИТЕЛЬНЫЕ ТЕМЫ..............................................219
Глава 18. Моделирование деревьев с помощью  
рекурсивных нейронных сетей...............................................................220
18.1. Формальное определение...............................................................................221
18.2. Обобщения и вариации...................................................................................223
18.3. Обучение рекурсивных нейронных сетей.....................................................224
18.4. Простая альтернатива – линеаризованные деревья.....................................224
18.5. Перспективы....................................................................................................225
Глава 19. Предсказание структурного выхода...............................226
19.1. Структурное предсказание на основе поиска................................................226
19.1.1. Структурное предсказание с помощью линейных моделей..................226
19.1.2. Нелинейное структурное предсказание..................................................227
19.1.3. Вероятностная целевая функция (CRF)...................................................229
19.1.4. Приближенный поиск...............................................................................230
19.1.5. Переранжирование...................................................................................230
19.1.6. Смотрите также.........................................................................................231
19.2. Жадное структурное предсказание................................................................231
19.3. Условная генерация как предсказание структурного выхода......................232
19.4. Примеры...........................................................................................................233
19.4.1. Структурное предсказание на основе поиска: анализ  
зависимостей первого порядка...........................................................................233
19.4.2. Нейросетевые CRF для распознавания именованных сущностей........235
19.4.3. Аппроксимация CRF в задаче NER лучевым поиском............................238
Глава 20. Обучение каскадное, многозадачное  
и с частичным привлечением учителя................................................240
20.1. Каскадирование моделей................................................................................241
20.2. Многозадачное обучение................................................................................244


Доступ онлайн
890 ₽
В корзину