Базы данных
Покупка
Основная коллекция
Тематика:
Базы и банки данных. СУБД
Издательство:
Инфра-Инженерия
Год издания: 2025
Кол-во страниц: 544
Дополнительно
Вид издания:
Учебник
Уровень образования:
ВО - Бакалавриат
ISBN: 978-5-9729-2594-0
Артикул: 866383.01.99
Книга охватывает широкий круг вопросов, связанных с технологиями хранения и управления данными, основное внимание уделено прикладным технологическим аспектам и практическому освоению инструментальных средств, используемых при проектировании, программировании, управлении производительностью и безопасностью баз данных. Рассматриваются как классические реляционные системы, так и постреляционные NoSQL-решения, а также объектно-реляционные отображения, используемые для взаимодействия объектно-ориентированных приложений с базами данных. Для IT-студентов, а также для специалистов, самостоятельно осваивающих новые для себя разделы этой широкой и динамично развивающейся области, и будет полезна преподавателям при формировании учебно-методического обеспечения соответствующих профильных дисциплин. Структура и содержание книги позволяют использовать ее в качестве базового учебника и сборника задач при подготовке и проведении лекционных и практических занятий, а также при разработке многовариантных контрольных и аттестационных заданий, формировании тематики курсовых проектов и работ.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 09.03.01: Информатика и вычислительная техника
- 09.03.02: Информационные системы и технологии
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
В. К. Волк, В. Ю. Осеев, О. С. Черепанов БАЗЫ ДАННЫХ Учебник Москва Вологда «Инфра-Инженерия» 2025
УДК 004.65 ББК 32.972.134 В67 Рецензенты: канд. физ.-мат. наук, профессор кафедры прикладной информатики и автоматизации бизнес-процессов Шадринского государственного педагогического университета Пирогов Владислав Юрьевич; заместитель технического директора ООО «Такстелеком» Новгородов Дмитрий Владимирович Волк, В. К. В67 Базы данных : учебник / В. К. Волк, В. Ю. Осеев, О. С. Черепанов. – Москва ; Вологда : Инфра-Инженерия, 2025. – 544 с. : ил., табл. ISBN 978-5-9729-2594-0 Книга охватывает широкий круг вопросов, связанных с технологиями хранения и управления данными, основное внимание уделено прикладным технологическим аспектам и практическому освоению инструментальных средств, используемых при проектировании, программировании, управлении производительностью и безопасностью баз данных. Рассматриваются как классические реляционные системы, так и постреляционные NoSQL-решения, а также объектно-реляционные отображения, используемые для взаимодействия объектно-ориентированных приложений с базами данных. Для IT-студентов, а также для специалистов, самостоятельно осваивающих новые для себя разделы этой широкой и динамично развивающейся области, и будет полезна преподавателям при формировании учебно-методического обеспечения соответствующих профильных дисциплин. Структура и содержание книги позволяют использовать ее в качестве базового учебника и сборника задач при подготовке и проведении лекционных и практических занятий, а также при разработке многовариантных контрольных и аттестационных заданий, формировании тематики курсовых проектов и работ. УДК 004.65 ББК 32.972.134 ISBN 978-5-9729-2594-0 Волк В. К., Осеев В. Ю., Черепанов О. С., 2025 Издательство «Инфра-Инженерия», 2025 Оформление. Издательство «Инфра-Инженерия», 2025
СОДЕРЖАНИЕ Предисловие ...................................................................................................... 7 Часть 1. Моделирование и проектирование баз данных .......... 9 Глава 1. Данные как объект моделирования и управления ........................ 10 1.1 Данные, информация, знание и понимание – модель DIKW ........... 10 1.2 Управление данными ............................................................................ 15 1.3 Классификация данных ........................................................................ 23 1.4 Автономность данных .......................................................................... 29 1.5 Модели данных ...................................................................................... 32 1.6 Контрольные вопросы .......................................................................... 35 1.7 Практические задания ........................................................................... 36 Глава 2. Концептуальная модель данных ..................................................... 40 2.1 Сущности и атрибуты сущностей ....................................................... 40 2.2 Связи между сущностями .................................................................... 43 2.3 Слабые сущности .................................................................................. 48 2.4 Моделирование таксономий ................................................................ 51 2.5 Контрольные вопросы .......................................................................... 55 2.6 Практические задания ........................................................................... 56 Глава 3. Логические модели данных ............................................................. 63 3.1 Иерархическая модель данных ............................................................ 63 3.2 Сетевая модель данных CODASYL .................................................... 65 3.3 Реляционная модель данных ................................................................ 69 3.4 Объектные и объектно-реляционные модели данных ...................... 72 3.5 Контрольные вопросы .......................................................................... 74 3.6 Практические задания ........................................................................... 75 Глава 4. Реляционная модель данных ........................................................... 77 4.1 Структуры данных ................................................................................ 78 4.2 Ограничения целостности .................................................................... 78 4.3 Методы обработки данных .................................................................. 83 4.4 Преобразование ER-модели в исходную R-схему базы данных ...... 88 4.5 Нормализация исходной R-схемы базы данных ................................ 94 4.6 Контрольные вопросы ........................................................................ 110 4.7 Практические задания ......................................................................... 113 Глава 5. Основы SQL .................................................................................... 120 5.1 Структура языка и базовые синтаксические конструкции ............. 120
5.2 Стандарты и диалекты языка SQL .................................................... 137 5.3 Контрольные вопросы ........................................................................ 144 5.4 Практические задания ......................................................................... 146 Глава 6. Многомерные модели данных ...................................................... 152 6.1 OLAP- и OLTP-системы ..................................................................... 152 6.2 Концептуальное представление многомерной модели ................... 153 6.3 Операции многомерной обработки данных ..................................... 154 6.4 Логические представления многомерной модели данных ............. 156 6.5 Контрольные вопросы ........................................................................ 158 6.6 Практические задания ......................................................................... 158 Часть 2. Реляционные СУБД. Производительность .............. 159 Глава 7. Физическая модель данных ........................................................... 160 7.1 Файловая структура базы данных ..................................................... 160 7.2 Структура data-файла .......................................................................... 164 7.3 Примеры анализа структуры data-файлов ........................................ 172 7.4 Контрольные вопросы ........................................................................ 176 7.5 Практические задания ......................................................................... 178 Глава 8. Индексы ........................................................................................... 181 8.1 Доступ к неупорядоченным данным ................................................. 181 8.2 Линейные индексы .............................................................................. 183 8.3 Иерархические B+tree-индексы .......................................................... 185 8.4 Хеш-индексы ....................................................................................... 206 8.5 Контрольные вопросы ........................................................................ 211 8.6 Практические задания ......................................................................... 214 Глава 9. Процедурные планы SQL-запросов .............................................. 218 9.1 Алгоритм трансляции SQL-запроса .................................................. 218 9.2 Исполнение процедурного плана SQL-запроса ............................... 224 9.3 Визуализация процедурных планов исполнения SQL-запросов .... 224 9.4 Средства просмотра статистических данных ................................... 228 9.5 Контрольные вопросы ........................................................................ 230 9.6 Практические задания ......................................................................... 231 Глава 10. Управление транзакциями ........................................................... 239 10.1 Свойства транзакций ........................................................................ 239 10.2 Конфликты между транзакциями .................................................... 240 10.3 Уровни изолированности транзакций ............................................. 242 10.4 Управление блокировками ............................................................... 244 10.5 Примеры SQL-команд ...................................................................... 253 10.6 Контрольные вопросы ...................................................................... 258 10.7 Практические задания ....................................................................... 260
Часть 3. Реляционные СУБД. Защита данных ......................... 287 Глава 11. Целостность данных и управление доступом ........................... 288 11.1 Целостность данных ......................................................................... 288 11.2 Модели управления доступом к данным ........................................ 292 11.3 Требования к защищенности информационных систем ............... 298 11.4 Архитектура системы дискреционного управления доступом .... 299 11.5 Примеры SQL-команд управления доступом ................................ 301 11.6 Безопасность уровня строк таблиц (RLS) ....................................... 306 11.7 Контрольные вопросы ...................................................................... 312 11.8 Практические задания ....................................................................... 314 Глава 12. Динамическое маскирование данных ........................................ 318 12.1 Примеры использования функций маскирования данных ........... 318 12.2 Контрольные вопросы ...................................................................... 319 12.3 Практические задания ....................................................................... 320 Глава 13. Шифрование данных .................................................................... 321 13.1 Управление шифрованием ............................................................... 321 13.2 Примеры шифрования данных ........................................................ 322 13.3 Контрольные вопросы ...................................................................... 323 13.4 Практические задания ....................................................................... 324 Часть 4. NoSQL базы данных ............................................................ 325 Глава 14. Концепции NoSQL-подхода ........................................................ 327 14.1 Достоинства и недостатки NoSQL моделей данных ..................... 327 14.2 Классификация NoSQL баз данных ................................................ 328 Глава 15. СУБД Redis ................................................................................... 332 15.1 Данные в Redis ................................................................................... 332 15.2 Установка Redis и инструментов ..................................................... 336 15.3 Команды Redis ................................................................................... 337 15.4 Кэширование в Redis ........................................................................ 346 15.5 Система обмена сообщениями в Redis ........................................... 347 15.6 Безопасность в Redis ......................................................................... 353 15.7 Нагрузочное тестирование и производительность ........................ 355 15.8 Проектирование кеш-хранилища .................................................... 356 15.9 Практические задания ....................................................................... 361 15.10 Контрольные задания. Проектирование кеш-хранилища ........... 390
Глава 16. MongoDB – документо-ориентированная СУБД ...................... 396 16.1 Структура базы данных MongoDB .................................................. 396 16.2 Формат данных документа ............................................................... 398 16.3 Основы MQL. Примеры операций обработки данных .................. 402 16.4 Агрегация данных ............................................................................. 408 16.5 Индексация документов и планы исполнения запросов ............... 410 16.6 Логическая модель (схема) базы данных MongoDB ..................... 416 16.7 Контрольные вопросы ...................................................................... 437 16.8 Практические задания ...................................................................... 442 Глава 17. CASSANDRA – колоночная СУБД ............................................ 451 17.1 Модель данных .................................................................................. 451 17.2 Примеры реализации ........................................................................ 451 17.3 Практическое задание ....................................................................... 453 Часть 5. Средства взаимодействия прикладных программ с базами данных ................................................................................................. 455 Глава 18. Объектно-реляционное отображение ......................................... 455 18.1 Паттерны взаимодействия с реляционными базами данных ....... 455 18.2 Введение в SQLALchemy ................................................................. 458 18.3 SQLAlchemy Core .............................................................................. 460 18.4 SQLAlchemy ORM ............................................................................ 489 18.5 Контрольные задания ....................................................................... 526 Список использованных источников .......................................................... 540
ПРЕДИСЛОВИЕ Разработка и эффективное использование технологий управления информационными активами требует от IT-специалистов глубокого понимания теоретических основ и концепций построения информационных систем, но не менее важным является приобретение практического опыта решения типовых задач, связанных с проектированием, программированием и администрированием баз данных на соответствующих стадиях их жизненного цикла. При всем многообразии монографий, учебников и учебно-методических пособий, посвященных теории и практике использования баз данных, примеры и задания, приводимые в этих изданиях, имеют в основном иллюстративный и комплексный характер, что ограничивает возможности их массового использования преподавателями при проведении практических занятий, планировании контрольных и аттестационных мероприятий. Авторами сделана попытка ликвидации этого пробела – все тематические разделы книги содержат контрольные вопросы и практические задания различных уровней сложности, позволяющие оценить степень освоения студентами соответствующего учебного материала, а приведенные примеры решения типовых заданий снабжены детальными комментариями и иллюстрированы листингами программного кода. Учебник состоит из пяти частей и восемнадцати глав, охватывающих основные тематические разделы модуля «Управление данными», традиционно присутствующего в учебных программах ИТ-профилей различных образовательных уровней. В первой части учебника (главы с 1 по 6) рассматриваются концепции и технологии разработки баз данных. В первой (вводной) главе приведена архитектура и классификация данных, рассматриваемых как объект управления. Практические задания этой главы нацелены на выработку понимания базовых концепций и освоение профессиональной терминологии в области управления данными. Во второй, четвертой и пятой главах рассматривается технология проектирования реляционных баз данных и основы SQL-программирования. Материал этих глав обеспечивает базовый уровень подготовки и может составить основу одно-семестрового курса образовательной программы бакалавриата или среднего специального образования. Изучение этих глав необходимо для понимания и освоения материала всех последующих глав учебника. В третьей главе более детально рассматриваются реляционная и объектная модели данных, а в шестой главе – многомерные модели данных (MOLAP и ROLAP). Выполнение практических заданий этой главы требует понимания концепции и типовых операций многомерного анализа данных в OLAPсистемах и способов реляционной реализации модели гиперкуба. Во второй части учебника (главы с 7-й по 10-ю) рассматриваются низкоуровневые структуры данных и методы обеспечения высокопроизводительного доступа, реализованные в реляционных СУБД.
В главах с седьмой по девятую рассматриваются физическая (файловая) модель данных, индексные структуры данных (B+rtee-индексы и Hashиндексы), схема трансляции и процедурные планы выполнения SQL-запросов. Практические задания по этим темам имеют исследовательский характер, их выполнение позволит понять алгоритмы реализации типовой процедуры трансляции SQL-запросов и освоить инструментальные программные средства анализа и управления производительностью операций доступа к данным. Восьмая глава посвящена еще одному аспекту управления производительностью, в ней рассматривается проблематика многопользовательского доступа к объектам базы данных, и исследуются алгоритмы управления транзакциями и блокировками. В этой главе представлены как относительно простые задания для ознакомления с концепцией транзакционного управления (подтверждение и откат изменений в транзакциях), так и более сложные задания, помогающие понять поведение СУБД в ситуациях с взаимоблокировками транзакций, блокировками при изменении структур данных и пр. Освоение материала второй части учебника обеспечивает более глубокий уровень подготовки в области SQL-программирования, управления и администрирования реляционными базами данных. В третьей части учебника (главы с 11 по 13) рассмотрены методы и программные средства защиты баз данных от несанкционированного доступа. Рассмотрены реализации методов дискреционной защиты данных в реляционных СУБД и SQL-средства разграничения доступа (глава 11), методов маскирования (глава 12) и шифрования данных (глава 13). В четвертой части учебника (главы с 14 по 17) рассматриваются NoSQLмодели данных, ориентированные на распределенное хранение и обработку данных: краткий обзор и варианты использования NoSQL-СУБД; модель данных «ключ – значение» в СУБД Redis; документо-ориентированная модель данных и ее реализация в СУБД MongoDB; краткий обзор колоночной модели данных и ее реализации в СУБД Cassandra. В пятой части учебника (глава 18) рассматриваются средства взаимодействия прикладных программ, написанных в парадигме ООП, с реляционными СУБД. Рассмотрены примеры, иллюстрирующие различные способы установки программного инструментария фреймворка SQLAlchemy и примеры работы с СУБД с использованием SQLAlchemy DBAPI и SQLAlchemy ORM. Демонстрация примеров и выполнение практических заданий 7–13 глав учебника потребует установки и использования СУБД MS SQL Server, материал 18 главы, ориентирован на СУБД SQLite. Для освоения материала глав с 14 по 18 необходимо владение основами объектно-ориентированного программирования.
ЧАСТЬ 1. МОДЕЛИРОВАНИЕ И ПРОЕКТИРОВАНИЕ БАЗ ДАННЫХ Проектирование объекта в любой инженерной отрасли – это информационный процесс, основным содержанием которого является поэтапное формирование и целенаправленное преобразование информационных моделей проектируемого (то есть еще не созданного) объекта, представляющих различные аспекты его структуры и функционирования. В результате формируется комплект рабочей документации, описывающей проектируемый объект с такой степенью детальности, которая будет достаточной для принятия технологических решений на стадии его производства. Результаты программных проектов – это проектно-технологические информационные модели реальных объектов и бизнес-процессов, а также программные продукты, разрабатываемые на основе таких моделей. Сравнивая программную инженерию с традиционными инженерными отраслями, следует отметить, что она в еще большей степени связана с информационным моделированием, как минимум, по трем причинам: Во-первых, результаты программной инженерии используются исключительно для обработки информации, в том числе и в областях, весьма далеких от информатики. Во-вторых, большой класс программных приложений используется для создания аналитических моделей и их последующего применения в качестве инструментальных средств имитационного моделирования. В-третьих, сами результаты программной инженерии имеют нематериальный характер, что позволяет рассматривать производственную стадию жизненного цикла программного продукта (компиляция исходного кода программы в исполнимый машинный код) как завершающий этап стадии проектирования, на котором происходит очередное преобразование информационной модели проектируемого объекта. Если исходный код компьютерной программы – это специфическое языковое описание (модель) алгоритма решаемой задачи, то исполнимый код – это всего лишь более детальное описание (тоже модель) процесса реализации этого алгоритма. База данных составляет основу автоматизированной информационной системы и рассматривается как информационная модель предметной области, описывающая существенные свойства реальных объектов этой области и связей между ними, а проектирование базы данных – это процесс последовательного выявления и анализа требований к хранимой информации и их последующего представления в точно определенной форме, называемой моделью данных.
ГЛАВА 1. ДАННЫЕ КАК ОБЪЕКТ МОДЕЛИРОВАНИЯ И УПРАВЛЕНИЯ 1.1. Данные, информация, знание и понимание – модель DIKW Where is the Life we have lost in living? Where is the wisdom we have lost in knowledge? Where is the knowledge we have lost in information? T. S. Eliot Очевидно, что «информация» является базовым понятием информационных технологий в целом и сферы информационного моделирования в частности. Интуитивно понятно, что информация – это сведения о каком-либо объекте, целенаправленно извлекаемые субъектом из каких-то фактов (данных), пополняющие знания субъекта об этом объекте и уточняющие понимание им определенных аспектов некоторой предметной области. В приведенном неформальном описании подчеркивается субъективный характер информации, ее целесообразность и значимость для получателя, а также взаимосвязь этого понятия с другими (почти синонимичными) понятиями, такими как данные, знания и понимание. Стандарт ISO/IEC 2382 (ГОСТ 33707-2016) дает следующие более формализованные определения: Данные – представление информации в некотором формализованном виде, пригодном для передачи, интерпретации или обработки. База данных – собрание данных, организованных в соответствии с концептуальной структурой, описывающей характеристики этих данных и взаимоотношения между ними, причем такое собрание данных, которое поддерживает одну или более областей применения. Извлечение информации – действия, методы и процедуры, используемые для получения информации о заданном предмете из хранимых данных. Информация – любой факт, понятие или значение, полученные из данных, а также контекст, выбранный из знаний, или контекст, ассоциированный со знаниями. Знания – организованное, интегрированное собрание фактов и обобщений. База знаний – база данных, содержащая правила вывода и информацию о человеческих знаниях и опыте в некоторой области знаний. Экспертная система – система обработки данных, которая обеспечивает экспертное решение проблем в заданной области применения, строя выводы на основе базы знаний, в которой формализован человеческий опыт.