Сохранение данных: теория и практика

Сохранение данных: 
теория и практика

Москва, 2023

Алексей Бережной

2-е издание, электронное

УДК 004.056
ББК 32.97
Б48

Б48
Бережной, Алексей Николаевич.
Сохранение данных: теория и практика / А. Н. Бережной. — 2-е изд., эл. — 
1 файл pdf : 318 с. — Москва : ДМК Пресс, 2023. — Систем. требования: 
Adobe Reader XI либо Adobe Digital Editions 4.5 ; экран 10". — Текст : электронный.
ISBN 978-5-89818-561-9

В книге рассказано о том, что необходимо для превращения вверенной ИТ-инфраструктуры в отказоустойчивую систему. Какие существуют способы защиты 
информации, какие этапы необходимо пройти при проектировании, как создать 
Disaster Recovery Plan (план полного восстановления), как создать эффективную 
систему резервного копирования, как организовать защиту перемещаемых данных — 
обо всем об этом и о множестве других полезных вещей вы узнаете, прочтя эту книгу.
Большое внимание уделяется связи информационных систем и бизнеса, выстраиванию эффективных, экономически оправданных и легких в освоении систем.
Изложение материала построено по принципу «теория + практика», автор не 
только приводит информацию по основополагающим вопросам, но и щедро делится 
своим богатым опытом.
Издание предназначено для системных архитекторов, инженеров, администраторов, разработчиков отказоустойчивых систем и систем резервного копирования, 
руководителей ИТ-подразделений, ИТ-менеджеров, специалистов по продажам, а 
также преподавателей и студентов технических вузов.

УДК 004.056 
ББК 32.97

Электронное издание на основе печатного издания: Сохранение данных: теория и практика / 
А. Н. Бережной. — Москва : ДМК Пресс, 2016. — 317 с. — ISBN 978-5-97060-185-3. — Текст : 
непосредственный.

Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было 
форме и какими бы то ни было средствами без  письменного разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность технических 
ошибок все равно существует, издательство не может гарантировать абсолютную точность и правильность 
приводимых сведений. В связи с этим издательство не несет ответственности за возможные ошибки, связанные с использованием книги.

В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений, установленных техническими средствами 
защиты авторских прав, правообладатель вправе требовать от нарушителя возмещения убытков или выплаты компенсации.

ISBN 978-5-89818-561-9
© Бережной А. Н., 2016
© Издание, оформление, ДМК Пресс, 2016

Посвящается моей дочери Марии

Содержание

Как и почему я написал эту книгу .................................14

Как устроена эта книга ..............................................17

Благодарности .........................................................21

Часть I. Краеугольные камни ......................................22

Глава 1. О реальном месте ИТ в современном бизнесе ....23

1.1. Зачем нужны информационные технологии .....................................23
1.1.1. Почему нужно читать эту главу? ................................................24
1.1.2. Пример работы торговой фирмы ................................................24
1.1.3. И вот приходит эра информационных технологий ..............28
1.2. Ахиллесова пята современного бизнеса ..............................................30
1.3. О понимании политического момента .................................................31
1.4. Заключение ....................................................................................................32

Глава 2. Популярная терминология  .............................33

2.1. Начнем с изучения специфики бизнеса ..............................................33
2.1.1. Бизнес-процесс  .................................................................................33
2.1.2. Мера терпения ...................................................................................34
2.2. О факторах риска и мерах предосторожности ..................................36
2.3. Общие термины обеспечения отказоустойчивости ........................37
2.3.1. Business Continuity Planning (BCP)  .........................................37
2.3.2. Disaster Recovery ..............................................................................38
2.3.3. Disaster Recovery Plan (DRP) ......................................................38
2.4. Что такое центр обработки данных и чем он отличается  
от серверной комнаты ........................................................................................38
2.4.1. Определение ЦОД ...........................................................................38
2.4.2. Компоненты ЦОД ............................................................................39
2.5. Уровни Disaster Recovery .........................................................................39
2.6. Специальные термины для резервного копирования ....................41
2.6.1. Backup window  ..................................................................................42
2.6.2. Частота выполнения резервных копий .....................................42
2.6.3. Глубина хранения .............................................................................43
2.6.4. Off-site  ..................................................................................................43
2.7. Системы высокой доступности ..............................................................44

Содержание  5

2.7.1. High Availability cluster, HA-cluster  ...........................................44
2.7.2. Primary-Standby ................................................................................45
2.8. Заключение ....................................................................................................45

Глава 3. Избыточность на службе отказоустойчивости ....46

3.1. Об этой главе.................................................................................................46
3.2. Обозначения и расчеты .............................................................................47
3.3. Подробнее о RAID-массивах ...................................................................47
3.3.1. RAID-0 ..................................................................................................47
3.3.2. RAID-1 ..................................................................................................48
3.3.3. RAID-1E ...............................................................................................49
3.3.4. RAID-5 ..................................................................................................50
3.3.5. RAID-6 ..................................................................................................51
3.3.6. Составные, или сложные, массивы ............................................52
3.3.7. RAID-10  ..............................................................................................52
3.4. Программный или аппаратный RAID? ...............................................53
3.4.1. Программный RAID  .......................................................................53
3.4.2. На основе аппаратного RAID-контроллера ............................54
3.4.3. Программный или аппаратный RAID – что выбрать? ........55
3.4.4. Технология RAID+ ...........................................................................55
3.5. Методы защиты информации от ошибок при записи ....................57
3.5.1. Копирование при записи (Copy-On-Write) ............................57
3.5.2. Перенаправление при записи (Redirect-On-Write) .............59
3.6. Заключение ....................................................................................................60

Глава 4. Архитектура систем резервного  
копирования ............................................................61

4.1. Топология резервного копирования  ....................................................61
4.1.1. Децентрализованная топология  .................................................62
4.1.2. Централизованная топология  .....................................................63
4.1.3. Псевдоцентрализованная топология .........................................63
4.1.4. Смешанная топология ....................................................................65
4.2. Уровни архитектуры систем резервного копирования ..................66
4.2.1. Архитектура для небольших инфраструктур .........................66
4.2.2. Архитектура системы резервного копирования  
крупного предприятия ...............................................................................67
4.2.3. Архитектура для среднего уровня ..............................................70
4.3. Проблема выбора при организации системы резервного  
копирования..........................................................................................................71

 Содержание

4.4. Рекомендации по выбору системы резервного  
копирования..........................................................................................................72
4.5. Заключение ....................................................................................................73

Вопросы к первой части для закрепления материала......74

Часть II. Резервное копирование как оно есть ................75

Глава 5. Виды резервного копирования ........................76

5.1. Зачем все так усложнять, если нужно просто сохранить  
данные? ...................................................................................................................76
5.2. Планирование работы системы резервного копирования ............77
5.2.1. Глубина хранения данных .............................................................77
5.2.2. Ограничение времени создания резервной копии ................77
5.2.3. Ограничение объема ........................................................................78
5.2.4. Ограничение времени восстановления .....................................78
5.3. Оптимизация резервного копирования  .............................................79
5.4. Полное резервное копирование (Full backup) ..................................79
5.5. Неполное резервное копирование и его виды ...................................81
5.5.1. Инкрементальное копирование (Incremental backup) ........81
5.5.2. Инкрементальный парадокс .........................................................83
5.5.3. Дифференциальное резервное копирование  
(Differential backup) ....................................................................................85
5.5.4. Обратное инкрементальное резервное копирование 
(Reversed incremental backup) .................................................................86
5.6. Добавочная, или дополнительная, резервная копия.......................88
5.7. Заключение ....................................................................................................89

Глава 6. Схемы ротации носителей ..............................90

6.1. Схемы ротации .............................................................................................90
6.2. А для чего вообще необходимы схемы ротации? .............................90
6.3. Когда схема ротации не используется .................................................91
6.4. Полное резервное копирование .............................................................92
6.5. Самая популярная схема ротации – «отец–сын» ............................92
6.6. «Дед–отец–сын» как классическая схема ротации .........................96
6.7. Операция «слияние», или Как пожертвовать историей  
на благо экономики ............................................................................................99
6.8. Постоянное резервное копирование, или Continuous  
backup ................................................................................................................... 102
6.9. Заключение ................................................................................................. 104

Содержание  7

Глава 7. Цели и технологии резервного копирования.  
О различиях в технологии резервного копирования ......105

7.1. Дуализм систем резервного копирования ....................................... 105
7.1.1. Подробнее о задачах резервного копирования ................... 106
7.2. Технология резервного копирования ................................................ 109
7.2.1. Технология файлового копирования ...................................... 109
7.2.2. Технология блочного копирования  ........................................ 110
7.2.3. В каких случаях применяют ту или иную технологию? .. 113
7.3. Заключение ................................................................................................. 115

Глава 8. Резервное копирование виртуальных  
систем ..................................................................116

8.1. Предисловие ............................................................................................... 116
8.2. Вариант 1 – виртуальная машина создает свою копию  
самостоятельно  ................................................................................................ 117
8.2.1. Преимущества данного метода  ................................................ 118
8.2.2. Ограничения данного метода .................................................... 118
8.3. Копирование виртуальной машины целиком ................................ 118
8.3.1. Механизмы для копирования виртуальных машин  
целиком ........................................................................................................ 119
8.3.2. Особенности резервного копирования виртуальной  
машины с использованием снапшота ................................................ 121
8.4. Виртуальный шторм и его последствия ........................................... 125
8.5. Заключение ................................................................................................. 127

Вопросы ко второй части для закрепления  
материала  ............................................................128

Часть III. Оборудование для систем резервного  
копирования  .........................................................129

Глава 9. Системы хранения резервных копий –  
единство и борьба противоположностей  ....................130

9.1. Предисловие ............................................................................................... 130
9.2. Что из себя представляют дисковые хранилища .......................... 131
9.2.1. Преимущества дисковых подсистем ....................................... 131
9.2.2.Общие черты для всех дисковых хранилищ ......................... 132
9.2.3. Разнообразие дисковых подсистем ......................................... 133
9.2.4. Сетевая система хранения данных – NAS ............................ 134

 Содержание

9.2.5. Сеть хранения данных – SAN ................................................... 135
9.3. Ленточные системы хранения ............................................................. 136
9.3.1. Преимущества ленточных систем хранения ........................ 136
9.3.2. Ограничения использования ленточных накопителей .... 137
9.4. Диски и ленты работают вместе – технология D2D2T,  
или «Disk-to-Disk-to-Tape» .......................................................................... 140
9.5. Виртуальные ленточные хранилища – Virtual Tape  
Library  ................................................................................................................. 141
9.6. Заключение ................................................................................................. 142

Глава 10. Магнитные ленты и вездесущий LTO .............143

10.1. Предисловие ............................................................................................ 143
10.2. Различные устройства для записи на ленту ................................. 144
10.2.1. Одиночный ленточный накопитель ..................................... 144
10.2.2. Автозагрузчик ............................................................................... 145
10.2.3. Ленточная библиотека .............................................................. 146
10.2.4. Рекомендации по применению тех или иных  
устройств ..................................................................................................... 146
10.3. Стандарты хранения на ленточных накопителях.  
Вездесущий LTO .............................................................................................. 147
10.3.1. Характеристики различных поколений LTO  ................... 148
10.3.2. Сравнительное описание поколений LTO ......................... 150
10.4. Поддержка на уровне файловых систем ........................................ 152
10.5. Загадочный чип LTO-CM ................................................................... 152
10.6. Дополнительно о шифровании данных на ленте ........................ 152
10.7. Заключение .............................................................................................. 154

Глава 11. Дисковая система хранения на базе NAS .......155

11.1. Описание принципов работы NAS ................................................... 155
11.2. Работа с NAS на примере NETgEAR ReadyNAS Pro ................ 156
11.2.1. О выборе RAID ............................................................................ 156
11.2.2. Первоначальная настройка ...................................................... 157
11.2.3. Учетные записи пользователей .............................................. 162
11.2.4. Настройка доступа по протоколу CIFS ............................... 164
11.3. Continuous Backup с рабочих станций на сетевое  
хранилище  ......................................................................................................... 166
11.4. Настройка резервного копирования содержимого  
хранилища .......................................................................................................... 170
11.5. Заключение .............................................................................................. 173

Содержание  9

Глава 12. Сеть обмена данными и резервное  
копирование ..........................................................174

12.1. Страшная история со счастливым концом ................................... 174
12.2. Как изначально предотвратить потерю управляемости ........... 176
12.3. Топология LAN-free и Server-free ..................................................... 177
12.3.1. Краткое описание топологии LAN-free ............................... 177
12.3.2. Краткое описание топологии Server-free ............................ 178
12.4. Использование дополнительной сети передачи данных .......... 179
12.5. Организация дополнительной сети для управления  
серверами ............................................................................................................ 181
12.6. Заключение .............................................................................................. 183

Вопросы к третьей части для закрепления материала ...184

Часть IV. «Что нам стоит дом построить, нарисуем –  
будем жить». Проектирование отказоустойчивых  
систем ..................................................................185

Глава 13, которой быть не должно. Что мешает  
создать отказоустойчивую инфраструктуру? ..............186

13.1. Зачем об этом писать? .......................................................................... 186
13.2. Дуализм подходов к работе IT........................................................... 186
13.2.1. «Архитекторы» ............................................................................. 187
13.2.1. «Шаманы» ...................................................................................... 188
13.2.3. Рекомендации ............................................................................... 190
13.3. Проблемы перехода ............................................................................... 190
13.4. «Надкусывание» ..................................................................................... 192
13.5. «Дожигание» ............................................................................................ 194
13.6. Заключение .............................................................................................. 197

Глава 14. Десять шагов к вершине. Процесс  
проектирования отказоустойчивых систем .................198

14.1. Аудит системы и бизнес-процессов ................................................. 199
14.2. Составление технического задания ................................................. 202
14.3. Технический проект .............................................................................. 206
14.4. Пилотный проект  .................................................................................. 210
14.5. Подготовка рабочей документации ................................................. 212
14.6. Внедрение системы ............................................................................... 214
14.7. Подготовка исполнительной документации ................................ 216

 Содержание

14.8. Приемо-сдаточные испытания  ......................................................... 217
14.9. Передача объекта заказчику ............................................................... 218
14.10. Опытная эксплуатация и техническое обслуживание  
объекта ................................................................................................................. 218
14.11. Заключение ............................................................................................ 219

Глава 15. «Возьми с собой ключи от моих дверей».  
О безопасности резервного копирования ...................221

15.1. Почему вопросы защиты информации будут всегда  
актуальны ............................................................................................................ 221
15.2. Избыток так же плох, как и недостаток  ........................................ 222
15.3. Разделение ролей при работе с резервными копиями .............. 224
15.4. Классификация и структура методов обеспечения  
безопасности при резервном копировании ............................................. 225
15.5. Ограничение возможности копирования данных ...................... 225
15.5.1. Ограничение доступа к системе резервного  
копирования ............................................................................................... 226
15.5.2. Ограничение доступа к ресурсам, которые могут  
быть скопированы .................................................................................... 227
15.5.3. Ограничение доступа через учетную запись ..................... 227
15.5.4. Ограничение доступа общего характера ............................. 228
15.6. Ограничения возможности использования резервных  
копий .................................................................................................................... 229
15.6.1. Ограничение физического доступа к резервным  
копиям .......................................................................................................... 230
15.6.2. Ограничение возможности применения резервных  
копий  ............................................................................................................ 231
15.7. Заключение .............................................................................................. 232

Глава 16. Жизнь после смерти, или Как восстановить  
систему после мировой катастрофы ..........................233

16.1. Предисловие ............................................................................................ 233
16.2. Несколько слов о резервном копировании ................................... 234
16.3. Создание Disaster recovery plan ........................................................ 235
16.3.1. Для чего нужно писать Disaster Recovery Plan? ............... 235
16.3.2. Что такое Disaster Recovery Plan ........................................... 235
16.3.3. Описание бизнес-процессов компании и их связь с ИТ ..... 236
16.4. Стратегия восстановления .................................................................. 237
16.4.1. С использованием виртуализации ........................................ 237
16.4.2. С использованием физического резервирования  ........... 237