Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Hadoop в действии

Покупка
Новинка
Артикул: 882321.01.99
Доступ онлайн
519 ₽
В корзину
Обработка больших массивов данных с помощью традиционных СУБД может оказаться трудным делом. Apache Hadoop — это каркас для разработки приложений, предназначенных для выполнения в распределенном кластере, без применения SQL. Такие приложения прекрасно масштабируются и могут обрабатывать гигантские массивы данных. Если вам требуется произвести анализ данных, то Hadoop — как раз то, что надо. Прочитав эту книгу, вы познакомитесь с предметом и научитесь писать программы в стиле MapReduce. После нескольких простых примеров автор быстро переходит к вопросу об использовании Hadoop для решения более сложных задач анализа данных. Описываются рекомендованные приемы и паттерны проектирования, полезные при программировании для MapReduce. Для чтения книги требуется знание основ языка Java. Некоторое знакомство с математической статистикой поможет разобраться в более сложных примерах.
19
95
263
Лэм, Ч. Hadoop в действии : практическое руководство / Ч. Лэм. - Москва : ДМК Пресс, 2019. - 425 с. - ISBN 978-5-97060-723-7. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2259718 (дата обращения: 19.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Чак Лэм
Hadoop в действии
Москва, 2019


УДК     004.6:004.42Apache Hadoop
ББК      32.973.26-018.2
Л92
Л92     Чак Лэм
Hadoop в действии. – М.: ДМК Пресс, 2019. –  424 с.: ил.
             ISBN 978-5-97060-723-7
Обработка больших массивов данных с помощью традиционных СУБД 
может оказаться трудным делом. Apache Hadoop — это каркас для разработки 
приложений, предназначенных для выполнения в распределенном кластере, 
без применения SQL. Такие приложения прекрасно масштабируются и могут 
обрабатывать гигантские массивы данных. Если вам требуется произвести 
анализ данных, то Hadoop – как раз то, что надо.
Прочитав эту книгу, вы познакомитесь с предметом и научитесь писать 
программы в стиле MapReduce. После нескольких простых примеров автор быстро переходит к вопросу об использовании Hadoop для решения 
более сложных задач анализа данных. Описываются рекомендованные 
приемы и паттерны проектирования, полезные при программировании для 
MapReduce.
Для чтения книги требуется знание основ языка Java. Некоторое знакомство с математической статистикой поможет разобраться в более сложных примерах.
                                                                       УДК 004.6:004.42Apache Hadoop
                                                                       ББК 32.973.26-018.2
Original English language edition published by Manning Publications 178 South Hill 
Drive, Westampton NJ 08060 USA, USA.  Copyright (c) 2011 by Manning Publications. 
Russian-language edition copyright (c) 2012  by DMK Press.  All rights reserved.
Все права защищены. Любая часть этой книги не может быть воспроизведена 
в какой бы то ни было форме и какими бы то ни было средствами без письменного 
разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но, поскольку 
вероятность технических ошибок все равно существует, издательство не может гарантировать абсолютную точность и правильность приводимых сведений. В связи с этим 
издательство не несет ответственности за возможные ошибки, связанные с использованием книги.
ISBN 978-1-93518-219-1 (англ.)                     © by Manning Publications Co. All  
                    rights reserved. 
ISBN 978-5-97060-723-7 (рус.)                       © Оформление, перевод на русский язык  
          ДМК Пресс


ОГЛАВЛЕНИЕ
ПРЕДИСЛОВИЕ ................................................10
БЛАГОДАРНОСТИ ............................................. 12
ОБ ЭТОЙ КНИГЕ ................................................ 14
Структура книги ....................................................................... 15
Графическое выделение и загрузка исходного кода ................ 15
АВТОР В СЕТИ .................................................. 16
ОБ АВТОРЕ ...................................................... 17
ОБ ИЛЛЮСТРАЦИИ НА ОБЛОЖКЕ ........................ 18
ЧАСТЬ 1. 
Hadoop – каркас распределенного 
программирования .....................................19
ГЛАВА 1. Введение в Hadoop .............................. 21
1.1. Зачем написана книга «Hadoop в действии»? .................... 22
1.2. Что такое Hadoop? ............................................................ 23
1.3. Сравнение Hadoop с другими распределенными 
системами ............................................................................... 24
1.4. Сравнение СУБД на основе SQL с Hadoop ......................... 26
1.5. Знакомство с MapReduce .................................................. 29
1.5.1. Масштабирование простой программы вручную ....... 30
1.5.2. Масштабирование той же программы с помощью 
MapReduce ......................................................................... 33
1.6. Подсчет слов с помощью Hadoop – ваша первая 
программа............................................................................... 36
1.7. История Hadoop ................................................................ 43
1.8. Резюме ............................................................................. 44
1.9. Ресурсы ............................................................................ 45


Оглавление
ГЛАВА 2. Запуск Hadoop .................................... 46
2.1. Структурные элементы Hadoop ......................................... 46
2.1.1. NameNode ................................................................. 47
2.1.2. DataNode ................................................................... 47
2.1.3. Secondary NameNode ................................................ 49
2.1.4. JobTracker ................................................................. 49
2.1.5. TaskTracker ................................................................ 50
2.2. Настройка SSH для кластера Hadoop ................................ 52
2.2.1. Определение общей учетной записи ......................... 52
2.2.2. Проверка правильности установки SSH ..................... 52
2.2.3. Генерация пары ключей ............................................. 53
2.2.4. Распространение открытого ключа и проверка 
возможности входа в систему ............................................. 53
2.3. Запуск Hadoop .................................................................. 54
2.3.1. Локальный (автономный) режим ............................... 55
2.3.2. Псевдораспределенный режим ................................. 56
2.3.3. Полностью распределенный режим .......................... 58
2.4. Веб-интерфейс для мониторинга кластера ....................... 62
2.5. Резюме ............................................................................. 63
ГЛАВА 3. Компоненты Hadoop ............................. 65
3.1. Работа с файлами в системе HDFS .................................... 65
3.1.1. Основные команды для работы с файлами ................ 66
3.1.2. Чтение и запись в HDFS из программы ...................... 71
3.2. Анатомия MapReduce-программы .................................... 74
3.2.1. Типы данных в Hadoop ............................................... 76
3.2.2. Распределитель ........................................................ 78
3.2.3. Редуктор ................................................................... 79
3.2.4. Разбивка — направление выхода распределителя .... 80
3.2.5. Комбинатор — локальная редукция ........................... 81
3.2.6. Подсчет слов с помощью готовых классов 
распределителя и редуктора .............................................. 81
3.3. Чтение и запись ................................................................ 83
3.3.1. Интерфейс InputFormat ............................................. 85
3.3.2. Интерфейс OutputFormat ........................................... 91


Оглавление
3.4. Резюме ............................................................................. 93
ЧАСТЬ 2. 
Hadoop в действии ......................................95
Глава 4. Создание простых MapReduce-программ . 97
4.1. Получение набора данных о патентах ................................ 98
4.1.1. Данные о цитировании патентов ............................... 99
4.1.2. Данные об описаниях патентов ............................... 101
4.2. Определение шаблона MapReduce-программы .............. 102
4.3. Подсчет всякой всячины ................................................. 108
4.4. Адаптация к изменениям в API Hadoop ............................ 114
4.5. Интерфейс Hadoop Streaming ......................................... 118
4.5.1. Интерфейс Streaming и команды Unix ...................... 119
4.5.2. Streaming и скрипты ................................................ 120
4.5.3. Интерфейс Streaming и пары ключ/значение ........... 126
4.5.4. Интерфейс Streaming и пакет Aggregate .................. 131
4.6. Повышение производительности с помощью 
комбинаторов ........................................................................ 137
4.7. Упражнения .................................................................... 142
4.8. Резюме ........................................................................... 144
4.9. Дополнительные ресурсы ............................................... 145
ГЛАВА 5. Углубленное изучение MapReduce ........ 147
5.1. Сцепление задач MapReduce .......................................... 148
5.1.1. Последовательное сцепление задач MapReduce ..... 148
5.1.2. Сцепление задач MapReduce со сложными 
зависимостями ................................................................. 148
5.1.3. Включение в цепочку шагов пред- и постобработки 149
5.2. Соединение данных из разных источников ...................... 154
5.2.1. Соединение на стороне редуктора .......................... 155
5.2.2. Построение реплицированных соединений 
с помощью класса DistributedCache .................................. 166
5.2.3. Полусоединение: соединение на стороне редуктора 
с фильтрацией на стороне распределителя ...................... 171
5.3. Создание фильтра Блума ................................................ 173


Оглавление
5.3.1. Что делает фильтр Блума? ....................................... 173
5.3.2. Реализация фильтра Блума ..................................... 176
5.3.3. Фильтр Блума в Hadoop версии 0.20+ ...................... 184
5.4. Упражнения .................................................................... 184
5.5. Резюме ........................................................................... 187
5.6. Дополнительные ресурсы ............................................... 187
ГЛАВА 6. Практическое программирование ........ 189
6.1. Разработка MapReduce-программ .................................. 190
6.1.1. Локальный режим .................................................... 191
6.1.2. Псевдораспределенный режим ............................... 197
6.2. Мониторинг и отладка в производственном кластере ..... 203
6.2.1. Счетчики ................................................................. 203
6.2.2. Пропуск плохих записей .......................................... 205
6.2.3. Перезапуск сбойных заданий с помощью 
IsolationRunner .................................................................. 210
6.3. Оптимизация производительности ................................. 211
6.3.1. Уменьшение сетевого трафика с помощью 
комбинатора ..................................................................... 212
6.3.2. Уменьшение объема выходных данных .................... 212
6.3.3. Использование сжатия ............................................ 213
6.3.4. Повторное использование JVM ............................... 216
6.3.5. Наблюдаемое исполнение....................................... 217
6.3.6. Переработка кода и модификация алгоритмов ........ 219
6.4. Резюме ........................................................................... 221
ГЛАВА 7. Сборник рецептов .............................. 222
7.1. Передача нестандартных параметров задаче ................. 222
7.2. Получение информации о конкретном задании ............... 226
7.3. Разбиение на несколько выходных файлов ..................... 227
7.4. Ввод и вывод в базу данных ............................................ 234
7.5. Сортировка выходных данных ......................................... 236
7.6. Резюме ........................................................................... 238
ГЛАВА 8. Администрирование Hadoop ................ 239
8.1. Практическая настройка параметров .............................. 240


Оглавление
8.2. Проверка состояния системы ......................................... 243
8.3. Установка прав доступа .................................................. 245
8.4. Управление квотами ....................................................... 246
8.5. Включение корзины ........................................................ 247
8.6. Удаление узлов DataNode................................................ 247
8.7. Добавление узлов DataNode ........................................... 249
8.8. Управление узлами NameNode и Secondary NameNode ... 250
8.9. Восстановление после сбоя узла NameNode ................... 252
8.10. Проектирование топологии сети и осведомленность 
о стойках ............................................................................... 254
8.11. Планирование задач, поступающих от нескольких 
пользователей ....................................................................... 257
8.11.1. Организация нескольких узлов JobTracker ............. 257
8.11.2. Справедливый планировщик ................................. 258
8.12. Резюме ......................................................................... 261
ЧАСТЬ 3. 
Hadoop в реальной жизни ......................... 263
ГЛАВА 9. Эксплуатация Hadoop в облаке ............ 265
9.1. Введение в Amazon Web Services ..................................... 266
9.2. Настройка AWS ............................................................... 267
9.2.1. Получение учетных данных для аутентификации 
в AWS ................................................................................ 268
9.2.2. Получение командных утилит .................................. 271
9.2.3. Подготовка пары ключей для работы с SSH ............. 273
9.3. Настройка Hadoop в EC2 ................................................. 275
9.3.1. Задание параметров защиты .................................. 275
9.3.2. Конфигурирование типа кластера ........................... 276
9.4. Запуск MapReduce-программ в среде EC2 ...................... 278
9.4.1. Перенос своего кода в кластер Hadoop ................... 279
9.4.2. Доступ к данным из кластера Hadoop ...................... 279
9.5. Очистка и останов экземпляров EC2 ............................... 285
9.6. Amazon Elastic MapReduce и другие службы AWS............. 285
9.6.1. Amazon Elastic MapReduce ....................................... 286


Оглавление
9.6.2. AWS Import/Export .................................................... 287
9.7. Резюме ........................................................................... 288
ГЛАВА 10. Программирование с помощью Pig ..... 289
10.1. Научитесь думать по-свински ........................................ 290
10.1.1. Язык описания потоков данных.............................. 290
10.1.2. Типы данных .......................................................... 291
10.1.3. Определенные пользователем функции ................ 291
10.2. Установка Pig ................................................................ 291
10.3. Запуск Pig ..................................................................... 293
10.3.1. Управление оболочкой Grunt ................................. 294
10.4. Изучение языка Pig Latin с помощью Grunt .................... 295
10.5. Учимся говорить на Pig Latin .......................................... 302
10.5.1. Типы данных и схемы ............................................. 302
10.5.2. Выражения и функции ........................................... 304
10.5.3. Реляционные операторы ....................................... 307
10.5.4. Оптимизация исполнения ...................................... 317
10.6. Определяемые пользователем функции ....................... 317
10.6.1. Использование UDF ............................................... 318
10.6.2. Создание UDF ....................................................... 319
10.7. Работа со скриптами ..................................................... 322
10.7.1. Комментарии ........................................................ 322
10.7.2. Подстановка параметров ...................................... 323
10.7.3. Режим многозапросного исполнения .................... 324
10.8. Pig в действии: отыскание похожих патентов................. 326
10.9. Резюме ......................................................................... 332
ГЛАВА 11. Hive и другие ................................... 333
11.1. Hive ............................................................................... 334
11.1.1. Установка и настройка Hive .................................... 335
11.1.2. Примеры запросов ................................................ 338
11.1.3. Детали языка HiveQL ............................................. 342
11.1.4. Hive: подводя итоги ............................................... 352
11.2. Другие проекты, связанные с Hadoop ............................ 353
11.2.1. HBase .................................................................... 353


Оглавление
11.2.2. ZooKeeper ............................................................. 353
11.2.3. Cascading .............................................................. 354
11.2.4. Cloudera ................................................................ 354
11.2.5. Katta ...................................................................... 355
11.2.6. CloudBase .............................................................. 355
11.2.7. Aster Data и Greenplum ........................................... 356
11.2.8. Hama и Mahout ...................................................... 356
11.2.9. search-hadoop.com ................................................ 356
11.3. Резюме ......................................................................... 357
ГЛАВА 12. Примеры применения ....................... 358
12.1. Преобразование 11 миллионов изображений 
из архива газеты New York Times ............................................ 358
12.2. Добыча данных в компании China Mobile ....................... 360
12.3. Рекомендование лучших веб-сайтов на StumbleUpon .... 367
12.3.1. Как мы пришли к распределенной обработке 
в StumbleUpon .................................................................. 368
12.3.2. HBase и StumbleUpon ............................................ 369
12.3.3. Другие применения Hadoop на сайте 
StumbleUpon ..................................................................... 379
12.4. Построение аналитической системы для 
внутрикорпоративного поиска – проект IBM ES2 ................... 381
12.4.1. Архитектура ES2 .................................................... 386
12.4.2. Робот ES2 .............................................................. 387
12.4.3. Аналитические средства в ES2 .............................. 390
12.4.4. Выводы ................................................................. 400
12.4.5. Библиография ....................................................... 401
ПРИЛОЖЕНИЕ. Команды HDFS .......................... 403
ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ ............................... 408


ПРЕДИСЛОВИЕ
Уже давно данные очаровывают меня. Еще на младших курсах, изучая электротехнику, я открыл для себя цифровую обработку сигналов 
и прикипел к ней всей душой. Я понял, что музыку, фотографии и 
множество других вещей можно рассматривать как данные. Оказалось, что создавать и усиливать эмоциональные переживания можно 
с помощью вычислений. Ничего интереснее я даже представить себе 
не мог.
Со временем передо мной раскрылись новые, не менее удивительные аспекты данных. Вот уже несколько лет, как я занимаюсь социальными сетями и большими массивами данных. Именно большие 
массивы бросают вызов моему интеллекту. Статистический анализ 
данных я освоил уже давно, а для работы с новыми типами данных 
были нужны «всего лишь» новые математические методы. Конечно, 
это не просто, но по крайней мере я этому учился, а уж в ресурсах 
для пополнения знаний недостатка и вовсе нет. С другой стороны, 
для работы с большими объемами данных необходим совсем другой 
системный подход и новые способы программирования. Этому меня 
не учили, но – и это даже важнее – не один я оказался в таком положении. Знания о практических методах обработки больших массивов 
данных сродни черной магии. Существует немало инструментов и 
приемов масштабируемой обработки данных, в частности, кэширование (например, с помощью программы memcached), репликация, секционирование и, конечно, MapReduce/Hadoop. Последние несколько 
лет я потратил на приобретение и совершенствование навыков в этой 
области.
Лично для меня наиболее сложной оказалась средняя часть кривой обучения. Поначалу не так уж трудно найти блоги с вводным материалом и презентации, объясняющие, как написать пример уровня 
«Здравствуй, мир». А приобретя начальные знания, вы уже можете 
задавать дополнительные вопросы в списках рассылки, общаться со 
специалистами на различных встречах и конференциях и даже самостоятельно читать исходный код. Но вот в середине зияет гигантский 


Доступ онлайн
519 ₽
В корзину