MySQL 8 для больших данных
Покупка
Новинка
Тематика:
Проектирование баз и банков данных
Издательство:
ДМК Пресс
Перевод:
Логунова А. В.
Год издания: 2018
Кол-во страниц: 227
Возрастное ограничение: 12+
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Дополнительное профессиональное образование
ISBN: 978-5-97060-653-7
Артикул: 712581.02.99
Среди организаций, работающих с крупными объемами данных на регулярной основе, реляционная система управления базами данных MySQL стала популярным решением по обработке структурированных больших данных. В книге вы познакомитесь с тем, как администраторы баз данных могут использовать MySQL для обработки миллиардов записей и извлечения данных с производительностью, сравнимой или превосходящей коммерческие решения для СУБД с более высокими затратами. Показано, как реализовывать успешную стратегию больших данных с помощью таких технологий, как Apache Hadoop, MapReduce и MySQL Applier. Также книга включает в себя практические примеры использования Apache Sqoop для обработки событий в режиме реального времени.
Издание будет полезно администраторам баз данных MySQL и специалистам по большим данным, которые хотят интегрировать MySQL и Hadoop с целью реализации высокопроизводительных решений.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Шаббир Чаллавала, Джадип Лакхатария, Чинтан Мехта, Кандарп Патель MySQL 8 для больших данных
Shabbir Challawala, Jaydip Lakhatariya, Chintan Mehta, Kandarp Patel MySQL 8 for Big Data Effective data processing with MySQL 8, Hadoop, NoSQL APIs, and other Big Data tools BIRMINGHAM – MUMBAI
Шаббир Чаллавала, Джадип Лакхатария, Чинтан Мехта, Кандарп Патель MySQL 8 для больших данных Эффективная обработка данных с помощью MySQL 8, Hadoop, NoSQL API и других инструментов для больших данных Москва, 2018
УДК 004.65 ББК 32.973.26 Ч12 Чаллавала Ш., Лакхатария Дж., Мехта Ч., Патель К. Ч12 MySQL 8 для больших данных / пер. с анг. А. В. Логунова. – М.: ДМК Пресс, 2018. – 226 с.: ил. ISBN 978-5-97060-653-7 Среди организаций, работающих с крупными объемами данных на регулярной основе, реляционная система управления базами данных MySQL стала популярным решением по обработке структурированных больших данных. В книге вы познакомитесь с тем, как администраторы баз данных могут использовать MySQL для обработки миллиардов записей и извлечения данных с производительностью, сравнимой или превосходящей коммерческие решения для СУБД с более высокими затратами. Показано, как реализовывать успешную стратегию больших данных с помощью таких технологий, как Apache Hadoop, MapReduce и MySQL Applier. Также книга включает в себя практические примеры использования Apache Sqoop для обработки событий в режиме реального времени. Издание будет полезно администраторам баз данных MySQL и специалистам по большим данным, которые хотят интегрировать MySQL и Hadoop с целью реализации высокопроизводительных решений. УДК 004.65 ББК 32.973.26 Original English language edition published by Packt Publishing, Ltd. UK. Copyright © 2017 by Packt Publishing, Ltd. Russian-language edition copyright © 2018 by DMK Press. All rights reserved. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-1-78839-718-6 (анг.) Copyright © 2017 by Packt Publishing ISBN 978-5-97060-653-7 (рус.) © Оформление, издание, перевод, ДМК Пресс, 2018
Содержание Об авторах..............................................................................................................11 О рецензентах.......................................................................................................14 Предисловие..........................................................................................................17 Глава 1. Введение в большие данные и MySQL 8..................................21 Важность больших данных........................................................................................22 Социальные медиа.................................................................................................22 Политика.................................................................................................................23 Наука и исследование............................................................................................24 Энергетика..............................................................................................................24 Обнаружение мошенничества...............................................................................24 Здравоохранение....................................................................................................25 Бизнес-картирование............................................................................................25 Жизненный цикл больших данных..........................................................................26 Объем......................................................................................................................27 Разнообразие..........................................................................................................27 Скорость..................................................................................................................28 Правдивость............................................................................................................28 Фазы жизненного цикла больших данных...........................................................28 Структурированные базы данных.............................................................................31 Основы MySQL............................................................................................................32 MySQL как реляционная система управления базами данных...........................32 Лицензирование.....................................................................................................32 Надежность и масштабируемость.........................................................................33 Совместимость платформ......................................................................................33 Выпуски...................................................................................................................33 Новые возможности в MySQL 8.................................................................................33 Транзакционный словарь данных.........................................................................34 Роли.........................................................................................................................35 Автоинкремент InnoDB..........................................................................................35 Поддержка невидимых индексов..........................................................................36 Улучшение индексов, отсортированных по убыванию.......................................36 SET PERSIST............................................................................................................36 Расширенная поддержка ГИС................................................................................36 Кодировка символов по умолчанию.....................................................................37 Улучшение побитовых операций..........................................................................37 InnoDB Memcached.................................................................................................37 NOWAIT и SKIP LOCKED.........................................................................................37 Преимущества использования MySQL......................................................................38 Безопасность...........................................................................................................38
6 Содержание Масштабируемость.................................................................................................38 Реляционная система управления базами данных с открытым исходным кодом.......................................................................................................................39 Высокая производительность...............................................................................39 Высокая доступность..............................................................................................39 Кросс-платформенность........................................................................................39 Инсталляция MySQL 8................................................................................................40 Получение MySQL 8................................................................................................40 Инсталляция MySQL 8............................................................................................40 Служебные команды MySQL..................................................................................41 Эволюция MySQL для больших данных....................................................................42 Получение данных в MySQL..................................................................................43 Организация данных в Hadoop.............................................................................43 Аналитическая обработка данных........................................................................43 Результаты анализа................................................................................................43 Резюме........................................................................................................................44 Глава 2. Методы запроса данных в MySQL 8...........................................45 Обзор SQL....................................................................................................................45 Подсистемы (движки) хранения и их разновидности.............................................46 InnoDB.....................................................................................................................48 MyISAM....................................................................................................................49 Memory....................................................................................................................50 Archive.....................................................................................................................50 Blackhole..................................................................................................................51 CSV...........................................................................................................................51 Merge.......................................................................................................................51 Federated.................................................................................................................52 NDB Cluster.............................................................................................................53 Оператор SELECT в MySQL 8......................................................................................54 Оператор WHERE....................................................................................................54 Предложение ORDER BY........................................................................................56 Предложение LIMIT................................................................................................57 Операции соединения SQL....................................................................................57 UNION......................................................................................................................59 Оптимизация запросов SELECT............................................................................60 Операторы INSERT, REPLACE и UPDATE в MySQL 8.................................................62 INSERT.....................................................................................................................62 UPDATE....................................................................................................................62 REPLACE..................................................................................................................62 Транзакции в MySQL 8...............................................................................................63 Агрегирование данных в MySQL 8............................................................................63 Важность агрегатных функций.............................................................................64 JSON.............................................................................................................................66 JSON_OBJECTAGG....................................................................................................67 JSON_ARRAYAGG.....................................................................................................68 Резюме........................................................................................................................70
Содержание 7 Глава 3. Индексирование данных для высокопроизводительных запросов...................................................71 Индексирование в MySQL..........................................................................................72 Индексные структуры............................................................................................72 Создание или удаление индексов.........................................................................75 Типы индексов СУБД MySQL 8..................................................................................78 Определение первичного индекса........................................................................78 Уникальные ключи.................................................................................................80 Определение столбцового индекса ......................................................................80 Полнотекстовая индексация.................................................................................85 Пространственные индексы..................................................................................89 Индексирование данных JSON..................................................................................90 Генерируемые столбцы..........................................................................................90 Определение индексов на JSON............................................................................92 Резюме........................................................................................................................94 Глава 4. Использование Memcached в MySQL 8......................................95 Обзор Memcached.......................................................................................................95 Настройка плагина Memcached.................................................................................97 Инсталляция...........................................................................................................97 Верификация..........................................................................................................98 Использование плагина Memcached.........................................................................99 Наладчик производительности.............................................................................99 Инструмент кеширования.....................................................................................99 Простота в использовании....................................................................................99 Анализ хранящихся в Memcached данных.............................................................100 Конфигурирование репликации Memcached.........................................................101 API Memcached для различных технологий...........................................................103 Memcached с Java..................................................................................................103 Memcached с PHP..................................................................................................105 Memcached с Ruby.................................................................................................105 Memcached с Python.............................................................................................106 Резюме......................................................................................................................106 Глава 5. Разделение больших объемов данных...................................107 Разделение данных в MySQL 8................................................................................108 Что такое разделение данных?............................................................................108 Типы разделения данных....................................................................................109 Горизонтальное разделение в MySQL 8..................................................................109 Диапазонное разделение.....................................................................................110 Списковое разделение.........................................................................................112 Хеш-разделение ..................................................................................................112 Столбцовое разделение.......................................................................................114 Разделение по ключу...........................................................................................116 Разбиение на подразделы....................................................................................117 Вертикальное разделение........................................................................................118
8 Содержание Разделение данных на многочисленные таблицы.............................................119 Подрезание разделов в MySQL................................................................................122 Подрезание со списковым разделением............................................................125 Подрезание с разделением по ключу.................................................................125 Выполнение запросов на разделенных данных.....................................................126 Запрос DELETE с параметром PARTITION..........................................................128 Запрос UPDATE с параметром PARTITION..........................................................129 Запрос INSERT с параметром PARTITION...........................................................129 Резюме......................................................................................................................130 Глава 6. Репликация для построения высокодоступных решений.................................................................................................................131 Высокая доступность................................................................................................131 Репликация в MySQL............................................................................................132 Кластер MySQL......................................................................................................132 Облачная служба Oracle MySQL...........................................................................133 MySQL с кластером Solaris...................................................................................133 Репликация с помощью MySQL...............................................................................134 Преимущества репликации в MySQL 8...............................................................134 Методы репликации в MySQL 8...........................................................................135 Конфигурация репликации.................................................................................135 Групповая репликация.............................................................................................148 Предварительные условия для групповой репликации....................................149 Конфигурирование групповой репликации.......................................................149 Конфигурирование пользователя репликации и активация плагина групповой репликации........................................................................................151 Запуск групповой репликации............................................................................152 Резюме......................................................................................................................153 Глаа 7. Практические рекомендации по работе с MySQL 8..............154 Сравнительные испытания и конфигурации MySQL.............................................155 Использование ресурсов......................................................................................155 Увеличение длительности нагрузочных тестов.................................................155 Репликация параметров производственной среды...........................................156 Сопоставимость пропускной способности и задержки.....................................156 Sysbench может сделать больше..........................................................................156 Мир виртуализации.............................................................................................156 Параллелизм.........................................................................................................156 Фоновая нагрузка.................................................................................................157 Суть вашего запроса.............................................................................................157 Сравнительные испытания.................................................................................157 Рекомендации в отношении вопросов MySQL.......................................................159 Типы данных........................................................................................................159 Not null..................................................................................................................160 Индексация...........................................................................................................160 Извлекайте все данные........................................................................................161
Содержание 9 Приложение сделает работу................................................................................161 Существование данных........................................................................................161 Ограничивайте себя.............................................................................................161 Анализируйте медленные запросы....................................................................161 Стоимость запроса...............................................................................................161 Рекомендации в отношении конфигурации Memcached......................................162 Распределение ресурсов......................................................................................162 Архитектура операционной системы.................................................................162 Конфигурации по умолчанию.............................................................................162 Максимальный размер объекта..........................................................................163 Ограничение очереди незавершенных заданий................................................163 Поддержка больших страниц..............................................................................163 Конфиденциальные данные................................................................................163 Ограничение открытости....................................................................................163 Отказоустойчивость.............................................................................................164 Пространства имен..............................................................................................164 Механизм кеширования......................................................................................164 Общая статистика Memcached ............................................................................164 Рекомендации в отношении репликации..............................................................166 Пропускная способность в групповой репликации...........................................166 Определение размеров инфраструктуры...........................................................166 Постоянная пропускная способность.................................................................166 Неподходящая нагрузка.......................................................................................166 Масштабируемость операции записи.................................................................167 Резюме......................................................................................................................167 Глава 8. Прикладной программный интерфейс NoSQL для интеграции с решениями для больших данных..........................169 Обзор NoSQL.............................................................................................................169 Быстрое изменение с течением времени...........................................................170 Масштабирование................................................................................................170 Меньше управленческой деятельности..............................................................170 Лучшее для больших данных...............................................................................171 NoSQL против SQL....................................................................................................171 Реализация API NoSQL.............................................................................................171 NoSQL со слоем API Memcached..........................................................................172 NDB API Cluster.....................................................................................................178 Резюме......................................................................................................................189 Глава 9. Практический пример: часть I . Apache Sqoop для обмена данными между MySQL и платформой Hadoop..........190 Практический пример анализа журналов операций.............................................191 Использование MySQL 8 и Hadoop для анализа журналов операций...............191 Обзор Apache Sqoop..................................................................................................192 Интеграция Apache Sqoop с MySQL и Hadoop.........................................................194 Hadoop...................................................................................................................194
10 Содержание Настройка Hadoop в Linux...................................................................................196 Инсталляция Apache Sqoop..................................................................................198 Конфигурирование коннектора MySQL..............................................................199 Импортирование неструктурированных данных в Hadoop HDFS из MySQL.......199 Импорт Sqoop для извлечения данных из MySQL 8...........................................199 Инкрементный импорт с использованием Sqoop..............................................202 Загрузка структурированных данных в MySQL с помощью Apache Sqoop..........202 Экспорт Sqoop для хранения структурированных данных в MySQL 8.............202 Сохраненные задания Sqoop...............................................................................204 Резюме......................................................................................................................205 Глава 10. Практический пример: часть II . Обработка событий в режиме реального времени с помощью MySQL Applier...............206 Обзор практического примера................................................................................206 MySQL Applier.......................................................................................................208 Дамп и импорт SQL..............................................................................................208 Sqoop.....................................................................................................................209 Репликатор Tungsten............................................................................................209 Apache Kafka.........................................................................................................209 Talend....................................................................................................................210 Dell Shareplex........................................................................................................210 Сравнение инструментов....................................................................................210 Обзор MySQL Applier................................................................................................210 Инсталляция MySQL Applier................................................................................212 Интеграция в режиме реального времени с MySQL Applier..................................214 Организация и анализ данных в Hadoop................................................................216 Резюме......................................................................................................................218 Предметный указатель....................................................................................219