Организация облачных и GRID вычислений

МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ 

РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное автономное образовательное 

учреждение высшего образования

«ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ»

Инженерно-технологическая академия

А. И. КОСТЮК

ОРГАНИЗАЦИЯ ОБЛАЧНЫХ

И GRID-ВЫЧИСЛЕНИЙ

Учебное пособие

Ростов-на-Дону – Таганрог

Издательство Южного федерального университета

2018

УДК 004.65(075)
ББК 32.973-018.2я73

К727

Печатается по решению кафедры вычислительной техники Института 

компьютерных технологий и информационной безопасности Южного 

федерального университета (протокол № 6 от 23 января 2018 г.)

Рецензенты:

доктор технических наук, профессор кафедры систем  автоматического 

управления Института радиотехнических систем и управления

В. И. Финаев

директор ОП «Д-Линк Трейд» в г. Таганроге С. В. Кондратенко

Костюк А. И.

К727
Организация облачных и GRID-вычислений : учебное пособие / 

А. И. Костюк ; Южный федеральный университет. – Ростов-на-Дону ; 
Таганрог : Издательство Южного федерального университета, 2018. –
121 с.

ISBN 978-5-9275-2879-0
В учебном пособии описываются основы организации облачных и GRID
вычислений. Рассматриваются программно-аппаратные аспекты GRID, технологии облачных вычислений, платформа Microsoft Windows Azure.

Предназначено для студентов направления 09.03.01 и 09.04.01 «Информати
ка и вычислительная техника», специальности 09.05.01 «Применение и эксплуатация автоматизированных систем специального назначения» всех форм обучения и слушателей СФПК.

Работа поддержана Минобрнауки России в рамках выполнения проектной 

части госзадания  № 2.3928.2017/4.6 в Южном федеральном университете.

УДК  004.65(075)

ББК  32.973-018.2я73

ISBN 978-5-9275-2879-0

© Южный федеральный университет, 2018
© Костюк А. И., 2018
© Оформление. Макет. Издательство

Южного федерального университета, 2018

СОДЕРЖАНИЕ

ВВЕДЕНИЕ..........................................................................................................4
1. КОНЦЕПЦИЯ GRID .......................................................................................4

1.1. Основные задачи GRID.............................................................................5
1.2. Архитектура GRID ....................................................................................6
1.3. Стандарты GRID........................................................................................8

2. ОБЛАЧНЫЕ ВЫЧИСЛЕНИЯ......................................................................10

2.1. Определение облачных вычислений и их особенности......................10
2.2. Модели обслуживания в облачных системах.......................................12

3. ПРИЛОЖЕНИЯ MICROSOFT WINDOWS AZURE..................................16

3.1. Размещение приложений в Azure ..........................................................16
3.2. Виртуальные машины Azure..................................................................18
3.3. Функции Azure (безсерверные)..............................................................18
3.4. Azure Service Fabric.................................................................................19
3.5. Хранилище и доступ к данным..............................................................19
3.6. Поддержка Docker...................................................................................20
3.7. Аутентификация......................................................................................21
3.8. Мониторинг..............................................................................................22
3.9. Интеграция DevOps.................................................................................22
3.10. Регионы Azure........................................................................................23
3.11. Управление приложениями и проектами............................................24

4. СОЗДАНИЕ БАЗЫ ДАННЫХ SQL AZURE НА ПОРТАЛЕ AZURE .....29
5. ПОДКЛЮЧЕНИЕ К БД AZURE SQL И СОЗДАНИЕ ЗАПРОСОВ С 
ПОМОЩЬЮ SQL SERVER MANAGEMENT STUDIO................................37
6. ЗАЩИТА БАЗЫ ДАННЫХ SQL AZURE ..................................................55
7. AZURE CLOUD SHELL................................................................................70

7.1. Работа в Cloud Shell.................................................................................70
7.2. Развертывание с помощью Terraform и Bash в Azure Cloud Shell......75
7.3. PowerShell.................................................................................................79

8. ХРАНИЛИЩА ДАННЫХ AZURE..............................................................91

8.1. Обзор хранилищ данных Azure..............................................................91
8.2. Критерии выбора хранилища данных.................................................100
8.3. Azure для обработки больших данных................................................111

ВВЕДЕНИЕ

Термин «грид (GRID)» впервые был использован Яном Фостером в 

начале 1998 г. в книге «Грид. Новая инфраструктура вычислений»:

«Грид – это система, которая координирует распределенные ресурсы 

посредством стандартных, открытых, универсальных протоколов и интерфейсов для обеспечения нетривиального качества обслуживания».

Хотя в последнее десятилетие базовая идея грид не претерпела суще
ственных изменений, всеобъемлющего определения грид не существует до 
сих пор.

Идея облачных (CLOUD) вычислений впервые была озвучена Джо
зефом Карлом Робнеттом Ликлайдером в 1970 г. В эти годы он был ответственным за создание ARPANET. Его идея заключалась в том, что каждый 
человек на земле будет подключен к сети, из которой он будет получать не 
только данные, но и программы. В тот же период другой ученый, Джон 
Маккарти (1927–2011), высказал идею о том, что вычислительные мощности будут предоставляться пользователям как услуга (сервис).

Таким образом, можно считать, что грид- и облачные вычисления 

дополняют друг друга. Грид-вычисления обеспечивают объединение гетерогенных вычислительных ресурсов в единую вычислительную среду, 
обеспечивая то, с чего начинаются и на чем основываются облачные вычисления. Облачные вычисления обеспечивают более высокий уровень абстракции, предоставляя вычислительные ресурсы конечным пользователям 
(будь то частные клиенты или организации) в виде сервисов.

В данном пособии рассматриваются основные аспекты современных 

информационных технологий, ориентированных на GRID и CLOUD, вопросы организации GRID- и CLOUD-систем, работа с БД SQL на основе 
облачной платформы Microsoft Windows Azure.

1. КОНЦЕПЦИЯ GRID

1.1. Основные задачи GRID

Основная идея, заложенная в концепции грид-вычислений, – цен
трализованное удаленное предоставление ресурсов, необходимых для решения различного рода вычислительных задач [1].

Концепция грид-вычислений в каком-то смысле пересекается с 

концепцией электросети (англ. Power Grid): нам не важно, откуда к нам в 
розетку приходит электричество, независимо от этого мы можем подключить к электросети утюг, компьютер или стиральную машину. Так же и в 
идеологии грид: мы можем запустить любую задачу с любого компьютера 
или мобильного устройств на вычисление, ресурсы же для этого вычисления должны быть автоматически предоставлены на удаленных высокопроизводительных серверах независимо от типа нашей задачи.

Основная задача грид – согласованное распределение ресурсов и 

решение задач в условиях динамических многопрофильных виртуальных 
организаций.

Распределение ресурсов – это не просто обмен файлами, а прямой 

доступ к компьютерам, ПО, данным и другим ресурсам, которые требуются 
для совместного решения задач.

Виртуальной организацией (ВО) называют ряд отдельных людей 

или учреждений, объединенных едиными правилами коллективного доступа к распределенным вычислительным ресурсам.

Для организации работы в рамках ВО необходимы:
гибкие механизмы разделения ресурсов;

развитая система контроля используемых ресурсов;

распределенный доступ к различным ресурсам, начиная от про
грамм, файлов и данных и заканчивая компьютерами, сенсорами и сетями;

различные модели использования ресурсов (от однопользователь
ских до многопользовательских, от высокопроизводительных до малозатратных), включающие в себя регулирование качества предоставляемого 
обслуживания, планирование, перераспределение и ведение учета ресурсов.

Применение технологий построения распределенных вычислитель
ных систем (РВС), существовавших на тот момент, не позволяло в полной 

1. Концепция GRID

6

мере достичь исполнения всех указанных требований. Поэтому была предложена альтернативная архитектура грид.

Исследования и разработки в сообществе грид привели к разработке 

протоколов, сервисов и инструментария, направленного именно на те проблемы, которые возникают при попытке создания масштабируемых ВО. 

Эти технологии включают в себя:
- решения по безопасности, поддерживающие управление серти
фикацией и политиками безопасности, когда вычисления производятся несколькими организациями;

- протоколы управления ресурсами и сервисами, поддерживающие 

безопасный удаленный доступ к вычислительным ресурсам и ресурсам 
данных, а также перераспределение различныхресурсов;

- протоколы запроса информации и сервисы, обеспечивающие 

настройку и мониторинг состояния ресурсов, организаций и сервисов;

- сервисы обработки данных, обеспечивающие поиск и передачу 

наборов данных между системами хранения данных и приложениями.

1.2. Архитектура GRID

Выделяют следующие уровни архитектуры грид [1]:
1) базовый (Fabric), который содержит различные ресурсы, такие, 

как компьютеры, устройства хранения, сети, сенсоры и др.;

2) связывающий (Connectivity), определяющий коммуникационные 

протоколы и протоколы аутентификации;

3) ресурсный (Resource), который реализует протоколы взаимодей
ствия с ресурсами РВС и их управления;

4) коллективный (Collective), на котором осуществляются управле
ние каталогами ресурсов, диагностика, мониторинг;

5) прикладной (Applications), где находятся инструментарий для ра
боты с грид и пользовательские приложения.

На базовом уровне определяются службы, обеспечивающие непо
средственный доступ к ресурсам, использование которых распределено посредством протоколов грид.

1. Вычислительные ресурсы предоставляют процессорные мощно
сти пользователю грид-системы. Вычислительными ресурсами могут быть 
как кластеры, так и отдельные рабочие станции. Любая вычислительная си

1.2. Архитектура GRID

7

стема может рассматриваться как потенциальный вычислительный ресурс 
грид-системы.

2. Ресурсы памяти представляют собой пространство для хранения 

данных. Для доступа к ресурсам памяти используется программное обеспечение промежуточного уровня, реализующее унифицированный интерфейс 
управления и передачи данных. Информационные ресурсы и каталоги являются особым видом ресурсов памяти. Они служат для хранения и предоставления метаданных и информации о других ресурсах грид-системы.

3. Сетевой ресурс является связующим звеном между распределен
ными ресурсами грид-системы. Основной характеристикой сетевого ресурса является скорость передачи данных.

Связывающий уровень определяет коммуникационные протоколы

и протоколы аутентификации, обеспечивая передачу данных между ресурсами базового уровня. Связывающий уровень грид основан на стеке протоколов TCP/IP:

-Интернет (IP, ICMP);
-транспортные протоколы (TCP, UDP);
-прикладные протоколы (DNS, OSRF...).
Ресурсный уровень реализует протоколы, обеспечивающие выпол
нение следующих функций:

-согласование политики безопасности использования ресурса;
-инициация ресурса;
-мониторинг состояния ресурса;
-контроль над ресурсом;
-учет использования ресурса.
Отдельно выделяют два типа протоколов ресурсного уровня:
-информационные протоколы, которые используются для получения 

информации о структуре и состоянии ресурса;

-протоколы управления, которые применяются для согласования до
ступа к разделяемым ресурсам, определения требований и допустимых 
действий по отношению к ресурсу (например, поддержка резервирования, 
возможность создания процессов, доступ к данным).

Коллективный уровень отвечает за глобальную интеграцию раз
личных наборов ресурсов и может включать в себя службы: каталогов; 
совместного выделения, планирования и распределения ресурсов; мониторинга и диагностики ресурсов; репликации данных.

1. Концепция GRID

8

На прикладном уровне располагаются пользовательские приложе
ния, которые исполняются в среде ВО. Они могут использовать ресурсы, 
находящиеся на любых нижних слоях архитектуры грид.

1.3. Стандарты GRID

Ключевым моментом в разработке грид-приложений является стан
дартизация, позволяющая организовать поиск, использование, размещение и мониторинг различных компонентов, составляющих единую виртуальную систему. К началу 2001 г. в различных проектах были представлены разные методы реализации грид-вычислений, но все они сходились в 
том, что наиболее подходящей для гибкого, прозрачного и надежного 
предоставления доступа к вычислительным ресурсам является сервисноориентированная модель [1]. В 2001 г. в качестве базы для создания стандарта архитектуры грид-приложений была выбрана технология вебсервисов. Данный выбор был обусловлен двумя основными преимуществами данной технологии. Во-первых, язык описания интерфейсов вебсервисов WSDL обеспечивает возможность динамического поиска и компоновки сервисов в гетерогенных средах. Во-вторых, широко распространенная адаптация механизмов веб-сервисов означает, что инфраструктура, 
построенная на базе веб-сервисов, может использовать различные утилиты 
и другие существующие сервисы.

Разработанный стандарт архитектуры грид получил название OGSA 

(Open Grid Services Architecture – открытая архитектура грид-сервисов). 
Он основывается на понятии грид-сервиса.

Грид-сервисом называется сервис, поддерживающий предоставле
ние полной информации о текущем состоянии экземпляра сервиса, а также 
возможность надежного и безопасного исполнения, управления временем 
жизни, рассылки уведомлений об изменении состояния экземпляра сервиса, 
управления политикой доступа к ресурсам и сертификатами доступа, виртуализации.

Грид-сервис поддерживает ряд стандартных интерфейсов:
-поиск – грид-приложениям необходимы механизмы для поиска до
ступных сервисов и определения их характеристик;

-динамическое создание сервисов – возможность динамического со
здания сервисов и управления ими (это один из базовых принципов OGSA, 
требующий наличия сервисов создания новых сервисов);

1.3. Стандарты GRID

9

-управление временем жизни – распределенная система должна 

обеспечивать возможность уничтожения экземпляра грид-сервиса;

-уведомление – для обеспечения работы грид-системы приложения и 

наборы грид-сервисов должны иметь возможность асинхронно уведомлять 
друг друга об изменениях их состояния.

Первая реализация модели OGSA, разработанная в 2003 г., называ
лась OGSI (Open Grid Service Infrastructure). В связи с тем, что существовавшие тогда стандарты веб-сервисов (к которым относились WSDL, 
SOAP, UDDI) не могли обеспечить всех требований, предъявляемых разработчиками к функциональным возможностям грид-сервисов, при создании 
OGSI потребовалось модифицировать и расширить соответствующие стандарты. Это привело к тому, что совместное использование веб- и гридсервисов в одной среде стало невозможным из-за несовместимости базовых 
стандартов.

Дальнейшие совместные усилия сообщества грид и организаций по 

разработке стандартов веб-сервисов привело к определению стандартов, 
соответствующих требованиям грид, в частности WSRF, в котором специфицированы универсальные механизмы для определения, просмотра состояния удаленного ресурса и управления им. Сегодня реализация модели 
OGSA посредством стандарта WSRF (и сопутствующих стандартов таких, 
как WS-Notification и WS-Addressing) является наиболее распространенной 
в среде грид.