Базы данных.Практическое применение СУБД SQL и NoSOL-типа для применения проектирования информационных систем
Современные подходы к управлению базами данных: SQL и NoSQL на практике
В эпоху цифровой трансформации управление данными является краеугольным камнем успешного проектирования и функционирования информационных систем. Авторы учебного пособия "Базы данных. Практическое применение СУБД SQL и NoSQL-типа для проектирования информационных систем" С.А. Мартишин, В.Л. Симонов и М.В. Храпченко предлагают всесторонний обзор современных подходов к работе с базами данных, уделяя особое внимание как традиционным реляционным системам (SQL), так и набирающим популярность нереляционным (NoSQL).
Эволюция баз данных: от SQL к NoSQL
В предисловии авторы справедливо отмечают ключевые тенденции развития информационных технологий: снижение материальной ресурсоемкости и стремительное замещение материальных ресурсов информационными, а также высокую изменчивость всех компонентов ИТ-систем. Особое внимание уделяется экспоненциальному росту объемов данных, их разнородности и необходимости оперативной обработки. В этом контексте традиционные реляционные СУБД, основанные на табличной модели данных, сталкиваются с ограничениями масштабируемости и производительности. Именно поэтому активно развиваются NoSQL-системы, предлагающие альтернативные подходы к хранению и обработке информации, такие как документно-ориентированные, ключ-значение, колоночные и графовые модели.
Практическое освоение SQL: MariaDB и MySQL Workbench
Первая часть пособия посвящена практическому применению SQL-типа СУБД на примере MariaDB. Авторы детально описывают процесс установки MariaDB и знакомят читателя с рабочим пространством MySQL Workbench – мощного инструмента для проектирования, администрирования и разработки баз данных. Лабораторные работы охватывают создание баз данных и таблиц, написание SQL-запросов с использованием различных операторов (SELECT, WHERE, ORDER BY, GROUP BY), работу с агрегатными функциями, а также основы администрирования сервера MariaDB, включая управление пользователями, правами доступа, экспорт и импорт данных. Особое внимание уделяется проектированию ER-моделей с использованием нотаций IDEF1X и Information Engineering (IE), а также прямому и обратному инжинирингу.
Погружение в NoSQL: MongoDB и Robomongo
Вторая часть пособия переносит фокус на NoSQL-системы, в частности, на MongoDB – популярную документно-ориентированную СУБД. Читателям предлагается освоить установку MongoDB и графической оболочки Robomongo, что значительно упрощает взаимодействие с системой. Лабораторные работы охватывают создание баз данных и коллекций, операции CRUD (Create, Read, Update, Delete) для документов, выборку данных с использованием различных селекторов запросов (сравнение, логические операторы, регулярные выражения), группировку данных и работу с ссылками между документами. Авторы также затрагивают важные аспекты администрирования MongoDB, включая управление пользователями, ролями, а также механизмы репликации и шардинга для обеспечения надежности и масштабируемости.
Универсальный подход: DBeaver и практические примеры
Третья часть пособия демонстрирует синергию SQL и NoSQL подходов с помощью универсального инструмента DBeaver. Авторы показывают, как с помощью DBeaver можно эффективно работать как с MariaDB, так и с MongoDB, управляя соединениями, базами данных, таблицами/коллекциями и выполняя запросы. Далее приводятся практические примеры создания информационных систем: первая система на базе MariaDB предназначена для записи студентов на лабораторные занятия, а вторая, использующая MongoDB, – для хранения информации о преподаваемых предметах, темах и контрольных вопросах. Эти примеры наглядно иллюстрируют применение изученных технологий в реальных сценариях.
Заключение и перспективы
В заключении авторы подчеркивают динамичность сферы обработки данных и актуальность изучения как SQL, так и NoSQL-систем, особенно в контексте свободного программного обеспечения. Пособие призвано стать ценным ресурсом для студентов, магистрантов, аспирантов и специалистов, занимающихся проектированием и администрированием информационных систем. Приложения содержат полезную информацию о целостности данных, семействе стандартов IDEF и спецификации BSON, что расширяет теоретическую базу читателя.
- ВО - Бакалавриат
- 01.03.02: Прикладная математика и информатика
- 02.03.02: Фундаментальная информатика и информационные технологии
- 02.03.03: Механика и математическое моделирование
- 03.03.02: Прикладная математика и информатика
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
- 09.03.03: Прикладная информатика
- 09.03.04: Программная инженерия
- 38.03.05: Бизнес-информатика
- ВО - Специалитет
- 09.05.01: Применение и эксплуатация автоматизированных систем специального назначения
БАЗЫ ДАННЫХ Практическое применение СУБД SQL и NoSQL-типа для проектирования информационных систем С.А. Мартишин, В.Л. Симонов, М.В. Храпченко Рекомендовано научно-методическим советом Национального исследовательского университета «МИЭТ» в качестве учебного пособия для бакалавров и магистрантов направлений подготовки 01.03.02 «Прикладная математика и информатика», 09.03.01 «Информатика и вычислительная техника», 09.03.02 «Информационные системы и технологии», 09.03.03 «Прикладная информатика», 09.03.04 «Программная инженерия», 27.03.04 «Управление в технических системах», 38.03.05 «Бизнес-информатика», 44.03.01 «Педагогическое образование (профиль “Информатика”)» УЧЕБНОЕ ПОСОБИЕ Москва ИД «ФОРУМ» — ИНФРА-М
УДК 004.6(075.8) ББК 32.973я73 М29 Мартишин С.А. М29 Базы данных. Практическое применение СУБД SQL и NoSQLтипа для проектирования информационных систем : учебное пособие / С.А. Мартишин, В.Л. Симонов, М.В. Храпченко. — Москва : ISBN 978-5-8199-0946-1 (ИД «ФОРУМ») ISBN 978-5-16-018662-7 (ИНФРА-М, print) ISBN 978-5-16-104936-5 (ИНФРА-М, online) Учебное пособие предназначено для изучения практического применения СУБД SQL и NoSQL-типа при проектировании информационных систем. Проведены аналогии между базами данных SQL и NoSQL-типа. Полученные теоретические знания закрепляются при выполнении цикла лабораторных работ. Работа с SQL СУБД изучается на примере СУБД MariaDB, рассмотрен вопрос использования хорошо зарекомендовавших себя в работе с MySQL приложений (например, phpMyAdmin, MySQL Workbench). Работа с NoSQL СУБД изучается на примере СУБД MongoDB с использованием оболочки Robomongo. Показана возможность использования универсального менеджера баз данных DBeaver для одновременной работы с СУБД MariaDB и MongoDB. Приведены примеры информационных систем на базе обоих типов СУБД SQL и NoSQL. Предназначено для студентов, бакалавров, магистрантов, аспирантов и специалистов в области проектирования информационных систем и баз данных. Пособие также полезно для лиц, занимающихся самообразованием. УДК 004.6(075.8) ББК 32.973я73 Р е ц е н з е н т ы: доктор технических наук, профессор кафедры информационных систем, сетей и безопасности ФГБОУ ВО г. Москвы «Российский государственный социальный университет» В.А. Сизов; доктор технических наук, доцент, директор военного института при ФГБОУ ВО г. Москвы «Московский авиационный институт (национальный исследовательский университет)» В.И. Гончаренко; доктор педагогических наук, доктор социологических наук, профессор кафедры прикладной информатики ГАОУ ВО г. Москвы «Московский городской педагогический университет» А.И. Каптерев ISBN 978-5-8199-0946-1 (ИД «ФОРУМ») ISBN 978-5-16-018662-7 (ИНФРА-М, print) ISBN 978-5-16-104936-5 (ИНФРА-М, online) © Мартишин С.А., Симонов В.Л., Храпченко М.В., 2016 © ИД «ФОРУМ», 2016
Предисловие Для современного этапа развития информационных систем и тех* нологий характерно несколько тенденций. Первая из них — быстрое уменьшение материальной ресурсоемкости современной продукции и такое же стремительное замещение материальных ресурсов инфор* мационными. Вторая тенденция — быстрая изменчивость всех со* ставляющих информационных систем и технологий, включая аппа* ратное и программное обеспечения. Рассмотрим данную тенденцию более подробно. В зависимости от достигнутых технологических успехов на каж* дом из этапов развития человечества ставится соответствующая об* щественная проблема/задача. При этом главенствующим здесь явля* ется развитие технологий — изобретение полупроводников, памяти, элементов и систем телекоммуникаций и пр. Кроме того, технологи* ческое развитие ненадолго остается достоянием какой*то научной группы, института или даже страны. Конкуренция вынуждает всех участников быть на одинаковом уровне, активно добывая сведения друг у друга. Еще одной важной тенденцией современного этапа является все более возрастающий объем данных, и эти данные не только научного плана (биологические, геофизические, медицинские, генетические и другие исследования), но и значительный объем данных, генерируе* мых широким кругом пользователей — информация о сделанных по* купках, приобретениях, денежных перечислениях, а также смс, звон* ки, размещение сообщений и фото в социальных сетях и пр. Указан* ные данные зачастую имеют различную структурированность, и они должны храниться, обрабатываться и использоваться для генерации отчетов, в том числе в онлайн*режиме (например, для оптимизации продаж крупными торговыми компаниями или для выявления терро* ристических угроз из обмена сообщениями в социальных сетях). Сле* довательно, именно громадный объем и необходимость онлайн*обра*
ботки информации различной структурированности — вот проблема современного этапа. Нельзя не отметить следующее. В природе давно имеются и реше* ны подобные задачи, и ученым и исследователям достаточно внима* тельно изучать жизнь и поведение живых существ и переносить свои наблюдения в лаборатории и разработки. Не случайно активно разви* вается наука «бионика» — от наблюдений за полетом птиц для совер* шенствования авиационных конструкций до организации жизни «об* щественных» насекомых, например муравьев, пчел и т. п., где так же, как у человека, имеются задачи организации многоуровневого уклада жизнедеятельности при соответствующем обмене большими объема* ми информации. Однако в природе такие сообщества характеризуют* ся определенной статичностью в развитии, т. е. медленное движение по эволюционной лестнице сообществ живых существ не идет ни в какое сравнение с высокоскоростным развитием современной циви* лизации, поэтому ученым остается внимательно наблюдать за жиз* нью таких сообществ, пытаться понять их, заимствовать алгоритмы и переносить (по возможности) на человеческую жизнь. В этом случае будет значительно быстрее достигнут желаемый успех в развитии че* ловечества. Проводя анализ прошедших этапов развития техники и техноло* гий, можно отметить проблематичность прогнозов для отдаленной перспективы из*за некоей случайности в появлении технологических открытий. Тем не менее в краткосрочной перспективе очевидна необ* ходимость обработки огромных объемов неодинаково структуриро* ванной информации, для чего разрабатываются новые и/или модер* низируются существующие алгоритмы и системы обработки данных. Предисловие
Введение Проблема обработки больших объемов данных («big data») доста* точно острая. Множество областей — научные исследования, биз* нес*аналитика, социальные сети, крупные распределенные web*при* ложения и др. — требуют возможности работы с разнородной и зачас* тую с различно структурированной информацией. При этом должна обеспечиваться одновременная работа серверов под большой нагруз* кой, поскольку обработка данных во многих областях не допускает задержки. В ряде распределенных проектов пользователи одновре* менно и генерируют, и потребляют информацию, поэтому требуется обеспечение масштабируемости, надежности и согласованности дан* ных. При этом данные сами по себе могут и не иметь сложной струк* туры (например, данные социальных сетей — фото, подписи, ком* ментарии, лайки, ссылки и некоторые другие), однако их объем и скорость обработки очень высоки. Таким образом, имеют место следующие тенденции — значитель* ное увеличение объема данных, подлежащих хранению и обработке; су* щественное возрастание количества пользователей информационных систем с одновременным ростом числа транзакций (включая мультме* дийную информацию на мобильных устройствах); сложность структу* рирования (используя технологию систем управления реляционными базами данных) значительного объема хранимой информации. Следовательно, требования, которым должны отвечать современ* ные информационные системы, состоят в необходимости быстрой обработки информации в условиях работы в многопользовательском режиме. Традиционные СУБД на основе реляционных таблиц (SQL*ори* ентированные СУБД), несмотря на большую популярность, не справ* ляются с возрастающими требованиями. Поэтому в последние не* сколько лет были разработаны системы с иными подходами к обработ* ке информации, лучше справляющиеся с поставленными задачами. Таким подходом является NoSQL («не только SQL»). NoSQL*системы
не используют реляционную модель данных, в них отсутствует жест* кая структура, поэтому значительно лучше обеспечивается горизон* тальная масштабируемость и требуемая производительность. Однако наряду с достоинствами NoSQL*системам присущи не* достатки, например, для них не гарантировано выполнения требова* ний ACID (Atomicity (Атомарности), Consistency (Согласованности), Isolation (Изолированности), Durability (Долговечности)). Также не имеется аналогов команд BEGIN TRANSACTION, COMMIT и ROLLBACK, следовательно, проблематично их использование для финансовых систем. NoSQL*системы (СУБД NoSQL) значительно проще с точки зре* ния модели данных (по сравнению с классической реляционной мо* делью). При этом NoSQL*системы могут основываться на различных моделях хранения данных. Наиболее распространенными в настоя* щее время являются: системы «ключ—значение» (Key—Value Stores), документно*ориентированные СУБД (Document Stores), Bigtable*по* добные базы данных (Extensible Record Stores / Wide Column Stores / Column Families) и базы данных на основе графов. Существует значительное количество разнообразных NoSQL*си* стем — порядка 150 единиц, что вызвано ориентированностью на раз* личные области применения и использованием различных моделей данных. Однако здесь имеет место существенный недостаток — отсут* ствие единого стандарта требований к таким системам. Указанный стандарт позволил бы облегчить синхронизацию данных и дал бы воз* можность разработчикам использовать в одном проекте различные СУБД. Отметим, что в направлении разработки стандартов ведется опре* деленная деятельность. Так, в 2011 году компания Couchbase объяви* ла о выпуске нового языка запросов — UnQL (Unstructured Data Query Language), предназначенного для работы с неструктурирован* ными данными. Синтаксис языка UnQL аналогичен синтаксису язы* ка SQL, например, поддерживаются такие команды, как SELECT, DELETE, INSERT и UPDATE. Также имеет место тенденция сближения SQL* и NoSQL*подхо* дов. При этом совершенствование реляционных СУБД ведется, в ча* стности, в направлении поддержки нетрадиционных для них типов данных (XML*документов и XPath*запросов). Одновременно разви* ваются и СУБД NoSQL. Таким образом, для разработчика представ* ляется логичным использование инструментария, более соответст* Введение
вующего поставленной задаче, будь то реляционная СУБД, СУБД NoSQL*типа или их совместное использование в одной информаци* онной системе для хранения разных типов информации. Отметим, что указанное совместное использование стало возможным благодаря появлению универсального средства для работы с SQL и NoSQL база* ми данных — DBeaver (относится к категории свободного программ* ного обеспечения — СПО). Практически во всех курсах дисциплин, формирующих профес* сиональные компетенции выпускника и связанных с изучением ин* формационных систем и баз данных (такие дисциплины, как «Базы данных», «Распределенные базы данных», «Проектирование инфор* мационных систем», «Управление данными», «Проектирование про* граммного обеспечения АСОИиУ», «Сетевые операционные систе* мы» и т. д.), необходимо получить представление об обоих подходах в построении информационных систем с использованием СУБД SQL и NoSQL*типа. Таким образом, целью настоящего учебного пособия является обучение приемам работы как с СУБД SQL, так и NoSQL*типа, про* ведение аналогии между указанными двумя типами СУБД, изучение как теоретических положений, так и практических навыков путем выполнения конкретных лабораторных работ. Насколько известно авторам, такое учебное пособие на сегодняшний день отсутствует, и представленное учебное пособие в определенной мере восполняет данный пробел. Задачи настоящего учебного пособия следующие: • изучение широко распространенной СУБД SQL*типа MariaDB (в качестве примера работы с SQL*системами), являющейся от* ветвлением СУБД MySQL со свободным статусом. Для работы с MariaDB в пособии используются приложения, хорошо зареко* мендовавшие себя в работе с MySQL, например phpMyAdmin, MySQL Workbench; • освоение (в качестве примера работы с NoSQL*системами) приемов работы в СУБД MongoDB при помощи командной строки и оболочки Robomongo; • изучение приемов работы с мультплатформенным универсаль* ным менеджером баз данных DBeaver (работает с большим чис* лом СУБД как SQL*, так и NoSQL*типа). DBeaver является инст* рументом, в значительной степени облегчающим проектирова* ние, реализацию, модификацию и работу с различными СУБД. Введение
Учебное пособие построено в виде цикла лабораторных работ, по* следовательно проводящих учащихся через тонкости проектирования баз данных для обоих подходов — SQL и NoSQL. Каждая глава снаб* жена заданиями для самостоятельной работы и списком контрольных вопросов. В приложениях учебного пособия помещены сведения о целост* ности данных, описание семейства стандартов IDEF, спецификации BSON, селекторов запросов (Query Selectors). Формируемые профессиональные компетенции (ожидаемые ре* зультаты обучения) студентов следующие. Студент должен: знать: • основные этапы построения баз данных различных типов — SQL и NoSQL — при проектировании информационных систем; • компоненты программных комплексов и баз данных; • технологию проектирования, производства и сопровождения баз данных в информационных системах; • основы безопасной работы с СУБД (аутентификация, назначе* ние прав доступа для пользователей, резервное копирование, восстановление системы после сбоев и пр.); уметь: • участвовать во всех фазах проектирования, разработки, изготов* ления и сопровождения баз данных для ИС; • разрабатывать модели компонентов информационных систем, включая модели баз данных; • осуществлять прямой и обратный инжиниринг; • составлять структурированные запросы к информационным ре* сурсам локализованных и распределенных баз данных (созда* вать, обновлять и удалять документы в коллекции СУБД MongoDB; осуществлять выборку данных из коллекций и т. д.); • создавать на базе выбранной СУБД ядро информационной сис* темы и целостный программный продукт; владеть: • навыками по созданию программного средства с использовани* ем базы данных; • основами администрирования сервера MariaDB; • навыками создания ER*моделей и работой с EER*диаграммами; • основами администрирования СУБД MongoDB; • навыками репликации и шардинга в СУБД MongoDB. Введение
Часть I ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ СУБД SQLТИПА НА ПРИМЕРЕ MARIADB Введение. Общие сведения о СУБД MariaDB В январе 2009 года вышел первый релиз системы управления ба* зами данных (СУБД) MariaDB, получившей название в честь млад* шей дочери ведущего разработчика Ульфа Майкла Видениуса (Ulf Michael Widenius). Именно Видениус был одним из авторов первой версии СУБД MySQL и основателем компании MySQL AB. Позже в связи с политикой лицензирования компании Oracle, которая в на* стоящее время является владельцем MySQL, занялся разработкой со* вместимой с MySQL СУБД MariaDB — СУБД (под лицензией GPL), права на которую принадлежат компании Майкла Видениуса Monty Program Ab. Команды, интерфейсы взаимодействия и API MariaDB совмести* мы с теми, которые используются в MySQL, т. е. библиотеки и прило* жения, которые работают с MySQL, также должны работать на MariaDB. Исходя из этого и из опасений, что Oracle сделает СУБД MySQL несвободным программным обеспечением, разработчики Fedora, начиная с 19 версии, заменили MySQL на MariaDB. Кратко характеризуя MariaDB, отметим, что данная СУБД под* держивает работу с таким популярным клиентским приложением для удаленного администрирования баз данных, как phpMyAdmin, наибо* лее популярными фреймворками, такими как Yii и Zend, системами управления содержимым (CMS), например WordPress и Plone, и даже Moodle — системой управления электронным обучением. Также заметим, что многие популярные версии ОС Linux Fedora (начиная с 19 версии), а также Gentoo, openSUSE, Red Hat Enterprise Linux поддерживают работу с MariaDB.
УСТАНОВКА СУБД MARIADB И ОСВОЕНИЕ РАБОЧЕГО ПРОСТРАНСТВА MYSQL WORKBENCH ДЛЯ РАБОТЫ С СУБД MARIADB Цель: изучение принципов установки и работы с СУБД MariaDB. Установка MariaDB Дистрибутивы MariaDB для операционных систем (ОС) Linux, Solaris и Windows доступны на downloads.mariadb.org. Кроме того, MariaDB входит в состав дистрибутива FreeBSD, некоторых дистри* бутивов на базе MAC OC и наиболее распространенных ОС Linux: Ubuntu, openSUSE, ALTLinux, Fedora, Red Hat Enterprise Linux, Debian, Gentoo и др. В настоящем учебном пособии в качестве операционной системы используется ОС Fedora (не ниже версии 20), как одна из наиболее простых в установке и подходящих для учебных целей операционных систем семейства Linux. В данный дистрибутив входит MariaDB, по* этому производим установку, набрав в командной строке следующее: # yum install mariadb mariadbserver Далее в терминале набираем команды (первая из которых запус* кает сервер, вторая дает возможность автоматического запуска при загрузке ОС): # systemctl start mariadb.service # systemctl enable mariadb.service Изменяем установки межсетевого экрана (для стандартной гра* фической оболочки Gnome Обзор →Разное →Межсетевой экран) — создать порт «3306 tcp» (рис. 1.1). Также необходимо в настройках