Программные продукты и системы, 2012, № 4 (100)

Н а у ч н о - и с с л е д о в а т е л ь с к и й  и н с т и т у т  

«Це нт р пр о г ра мм с ист ем» 
 
 
 
 
 
 
 
 
 
 
 
Программные 
продукты и системы 

 
 
 
 
 
НАУЧНО-ПРАКТИЧЕСКОЕ ИЗДАНИЕ 
 
 
 
№ 4 (100), 2012 
 
 
 
 
 

Главный редактор 

С.В. ЕМЕЛЬЯНОВ, академик РАН 
 
 
 
 
 
 
 
Тверь 

Вниманию авторов! 
 
Международный журнал «Программные продукты и системы» публикует материалы научного и 
научно-практического характера по новым информационным технологиям, результаты академических и 
отраслевых исследований в области использования средств вычислительной техники. Практикуется выпуск тематических номеров по искусственному интеллекту, системам автоматизированного проектирования, по технологии разработки программных средств и системам защиты, а также специализированные 
выпуски, посвященные научным исследованиям и разработкам отдельных вузов, НИИ, научных организаций.  
Решением Президиума Высшей аттестационной комиссии Министерства образования и науки РФ 
№ 8/13 от 02.03.2012 международный журнал «Программные продукты и системы» внесен в Перечень 
ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные 
научные результаты диссертаций на соискание ученых степеней кандидата и доктора наук. 
Информация об опубликованных статьях по установленной форме регулярно предоставляется в 
систему Российского индекса научного цитирования (РИНЦ) и готовится для передачи в международные 
базы цитирования. 

Условия публикации 

К рассмотрению принимаются ранее нигде не опубликованные материалы, соответствующие тематике журнала (специализация 05.13.ХХ – Информатика, вычислительная техника и управление) и отвечающие редакционным требованиям. 
Работа представляется в электронном виде в формате Word (шрифт Times New Roman, размер 11 
пунктов с полуторным межстрочным интервалом). При обилии сложных формул обязательно наличие 
статьи и в формате pdf. Формулы должны быть набраны в редакторе формул Word (Microsoft Equation 
или MathType). Объем статьи вместе с иллюстрациями – не менее 10 000 знаков. Просьба не присылать 
цветные, тонированные и не подлежащие дальнейшему редактированию средствами Word рисунки, а 
также отсканированные формулы и тексты. Заголовок должен быть информативным; сокращения, а также терминологию узкой тематики желательно в нем не использовать. Количество авторов на одну статью 
– не более 4, количество статей одного автора в номере, включая соавторство, – не более 2. Список литературы (оформленный в соответствии с ГОСТ Р 7.05–2008), наличие которого обязательно, должен 
включать не менее 3 пунктов. 
Необходимы также аннотация (100–200 слов), ключевые слова (7–10) и индекс УДК. Название 
статьи, аннотация и ключевые слова должны быть переведены на английский язык (машинный перевод 
недопустим), а фамилии авторов, названия и юридические адреса организаций (если нет официального 
перевода), пристатейные списки литературы – транслитерированы.  
Вместе со статьей следует прислать отзыв-рекомендацию в произвольной форме, экспертное заключение, лицензионное соглашение, а также сведения об авторах: фамилия, имя, отчество, название и 
юридический адрес организации, должность, ученые степень и звание (если есть), контактный телефон, 
электронный адрес, почтовый адрес для отправки бесплатного авторского экземпляра журнала.  

Порядок рецензирования 

Все статьи, поступающие в редакцию (соответствующие тематике и оформленные согласно требованиям к публикации), подлежат обязательному рецензированию в течение месяца с момента поступления.  
В редакции есть устоявшийся коллектив рецензентов, среди которых члены международной редколлегии журнала, эксперты из числа крупных специалистов в области информатики и вычислительной 
техники ведущих вузов страны, а также ученые и специалисты НИИ «Центрпрограммсистем» (г. Тверь). 
Рецензирование проводится конфиденциально. Автору статьи предоставляется возможность ознакомиться с текстом рецензии. При необходимости статья отправляется на доработку. 
Рецензии обсуждаются на заседаниях редакционной коллегии, которая проводится один раз в месяц в НИИ «Центрпрограммсистем» или в Главной редакции международного журнала «Проблемы теории и практики управления» (г. Москва). 
Решение о целесообразности опубликования статьи после рецензирования принимается редакционным советом. 
Статьи, одобренные редакционным советом, публикуются бесплатно в течение года с момента 
одобрения, а отправленные на доработку – с момента поступления после устранения замечаний. Если 
принятая к публикации статья, по мнению автора, является срочной, редакция вправе опубликовать ее в 
текущем номере на коммерческой основе. 
 
 

Программные продукты и системы  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
№ 4, 2012 г. 

3

УДК 004.735+004.771 
УДОСТОВЕРЯЮЩИЕ ФЕДЕРАЦИИ  
НАУЧНО-ОБРАЗОВАТЕЛЬНЫХ СЕТЕЙ 
 
А.П. Овсянников, зав. отделом;  
Г.И. Савин, академик РАН, д.ф.-м.н., профессор, директор;  
Б.М. Шабанов, к.т.н., зам. директора  
(Межведомственный суперкомпьютерный центр РАН, Ленинский просп., 32а, г. Москва,  
119991, Россия, ovsyannikov@jscc.ru, savin@jscc.ru, shabanov@jscc.ru) 

 
Статья посвящена удостоверяющим федерациям научно-образовательных сетей, которые сегодня объединяют 
огромное количество информационно-вычислительных ресурсов, находящихся в разном организационном, административном и государственном подчинении и требующих авторизации. Все большее распространение приобретают 
технологии авторизации, при которых аутентификация пользователя осуществляется обращением к его институту. 
Группа институтов, договорившаяся о взаимном доступе к своим ресурсам, выработавшая общую политику и механизм удостоверения пользователей и реализовавшая их на организационном и техническом уровнях, образует удостоверяющую федерацию. Функционирование федерации и ее технических служб обеспечивается постоянно работающими коллективами, решающими три основные задачи: эксплуатации, развития и поддержки пользователей. 
Разнообразие и международный характер научных проектов обусловливают необходимость взаимодействия федераций и создания объединенной удостоверяющей системы в международном масштабе. 
Описаны структура и механизмы удостоверяющих федераций европейских научно-образовательных сетей 
eduroam и eduGAIN, основанных на разных механизмах обмена аутентификационной информацией, в которых принимает участие Межведомственный суперкомпьютерный центр Российской академии наук (МСЦ РАН). 
Организация федеративного взаимодействия актуальна для российской национальной сети науки и образования, 
которая является объединением ведомственных или проблемно-ориентированных сетей. 
МСЦ РАН возглавляет работы по формированию удостоверяющих федераций российской национальной сети 
науки и образования и поддерживает их организационное и техническое взаимодействие с европейскими удостоверяющими федерациями. Созданная МСЦ РАН удостоверяющая федерация российского проекта eduroam открыта 
для всех российских научных и образовательных организаций. 

Ключевые слова: eduroam, аутентификация, авторизация,  сети науки и образования, научные телекоммуника
ции, RADIUS, сетевой доступ, беспроводные сети, wifi, федерация. 
 
IDENTITY FEDERATION OF THE RESEARCH AND EDUCATIONAL NETWORKS 
Ovsyannikov A.P., Head of Department;  
Savin G.I., Academician of RAS, Ph.D., Professor, Director JSC of RAS;  
Shabanov B.M., Ph.D., Deputy Director  
(Joint Supercomputer Center of RAS, 32a, Leninsky Av., Moscow, 119991, Russia,  
ovsyannikov@jscc.ru, savin@jscc.ru, shabanov@jscc.ru) 
Аbstract. The article is devoted to identity federations of the research and educational networks. 
Research and educational networks contain a lot of informational and computing resources. These resources are in a 
different organizational, administrative and public supervision. Scientific resources require authentication, for example, to 
monitor compliance with intellectual property rights, the definition of user rights, etc. Authorization methods with user 
authentication by his institution are commonly used. Identity federation is a group of institutions had an agreements on 
mutual access to their resources, developed a common policy and user identity framework, and implemented them on the 
organizational and technical level. Identity federation have operational team, steering group and user support service. Due to 
diversity and international level of the research identity federations cooperates to interfederation.  
The article describes eduroam and eduGAIN identity federations, based on different authentication technologies. Joint 
Supercomputer Center of Russian Academy of Sciences (JSCC RAS) is participant of the above projects.  
JSCC RAS works on creation of identity federation in the Russian research and education community and supports 
cooperation with European projects. JSCC supports Eduroam in Russia that is open for participation of any research and 
education institution. 

Keywords: eduroam, authorization, authentication, eduroam, national research and educational networks, RADIUS, 

netid, login service, wireless, wifi, federation. 
 
Научно-образовательные сети сегодня объединяют огромное количество информационно-вычислительных ресурсов, находящихся в разном 
организационном, административном и государственном подчинении. Научные ресурсы требуют 
авторизации, например, для контроля соблюдения 
прав интеллектуальной собственности, определения прав пользователя и т.д. Классическая авторизация предполагает регистрацию пользователя и 

создание учетной записи на каждом из ресурсов 
даже при разовом обращении к нему. Для регистрации требуется подтверждение личности и полномочий пользователя, как правило, посредством 
общения или переписки администрации ресурса и 
института, в котором он работает. Из-за большого 
числа пользователей и ресурсов рутинная операция регистрации требует неоправданных затрат 
времени и человеческих усилий, поэтому в науч

Программные продукты и системы  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
№ 4, 2012 г. 

4

но-образовательных сетях все более широкое распространение приобретают технологии авторизации, при которых аутентификация пользователя 
осуществляется обращением к его институту.  
Естественно, институт, в котором работает поль- 
зователь, и институт, располагающий интересующим его ресурсом, должны договориться о признании пользователей и защищенном обмене информацией, необходимой для авторизации. Обычно о взаимном доступе к ресурсам договариваются 
несколько институтов, вырабатывают общую политику и механизм удостоверения пользователей. 
Такие группы институтов называют удостоверяющей федерацией. Как правило, удостоверяющая федерация формируется в пределах одного 
проекта, одного ведомства, одной страны. Раз- 
нообразие и международный характер научных 
проектов обусловливают необходимость взаимодействия федераций и создания объединенной 
удостоверяющей системы в международном масштабе. 
Межведомственный 
суперкомпьютерный 
центр Российской академии наук (МСЦ РАН) 
принимает участие в двух европейских проектах 
по развитию удостоверяющих систем в научнообразовательных сетях, основанных на разных 
механизмах обмена аутентификационной информацией, – eduroam [1] и eduGAIN [2]. 
 
Eduroam 
 
Проект 
eduroam 
(education 
roaming) направлен на развитие 
защищенного сетевого роуминга 
для научно-образовательного сообщества. Цель сервиса – предоставить посетителям в институтах 
и кампусах автоматическое подключение к сети Интернет при 
включении ноутбука, планшета 
или смартфона. Сервис реализуется в сетях с контролем доступа 
к портам 802.1X [3] с использованием системы аутентификации 
на 
основе 
иерархии 
проксисерверов проверки подлинности 
(RADIUS [4]). При включении 
ноутбук запрашивает у устройства контроля доступа подключение к сети (обычно беспроводной). При этом ноутбук отправляет через устройство контроля 
доступа инкапсулированный запрос к серверу проверки подлинности сервис-провайдера (SP), то 
есть института, предоставляющего доступ посетителям к своей 
сети. Запрос содержит шифрованную часть, включающую имя 

и пароль пользователя, и адресную часть – доменное имя провайдера идентификации (IdP), то есть 
института, который будет аутентифицировать 
пользователя. На основании доменного имени определяется маршрут запроса в иерархии проксисерверов RADIUS до провайдера идентификации, 
и ему передается шифрованная часть запроса. Запрос шифруется открытым ключом SSL-сертификата провайдера идентификации, поэтому имя и 
пароль пользователя доступны только ему. Провайдер идентификации проверяет имя и пароль 
пользователя по локальной базе данных и возвращает ответ об успехе (RADIUS Access – Accept) 
или провале аутентификации (RADIUS Access – 
Reject) сервис-провайдеру обратно по цепочке 
прокси-серверов (RADIUS). 
Определение маршрута запроса в иерархии 
прокси-серверов RADIUS производится на основе 
разбора доменого имени аналогично разбору  
доменных имен в службе доменных имен (см.  
рис. 1). Допустим, пользователь использует для 
авторизации у сервис-провайдера sp.tld1 полное 
имя user@idp.tld2. Доменное имя провайдера 
идентификации – idp.tld2. Поскольку домены сервис-провайдера sp.tld1 и idp.tld2 разные, сервер 
RADIUS сервис-провайдера перенаправляет запрос на сервер RADIUS своего домена (tld1), называемый сервером RADIUS федеративного уровня (FLRS – Federation Level Radius Server). Если 
домен первого уровня сервис-провайдера и про
 
Рис. 1. Конфедеративная инфраструктура eduroam 

Программные продукты и системы  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
№ 4, 2012 г. 

5

вайдера идентификации совпадают, FLRS может 
перенаправить запрос непосредственно провайдеру идентификации, если нет, запрос перенаправляется вверх по иерархии – радиус-серверу верхнего уровня (TLRS – Top-Level RADIUS Server). 
TLRS передает запрос на FLRS соответствующего 
домена первого уровня (tld2), а тот перенаправляет его серверу RADIUS провайдера идентификации (idp.tld2). Ответ провайдера идентификации 
передается обратно по цепочке idp.tld2 – FLRS 
tld2 –TLRS – FLRS tld1 – sp.tld1.  
Иерархия серверов RADIUS в eduroam построена следующим образом. TLRS содержит базу 
данных всех серверов RADIUS федеративного 
уровня (FLRS), каждый FLRS содержит базу всех 
серверов своего домена первого уровня. Передача 
данных между серверами RADIUS защищается 
шифрованием открытыми ключами их SSL-сертификатов.  
Домены первого уровня в системе eduroam построены по географическому принципу, и каждой 
стране соответствует домен первого уровня. Поэтому серверы RADIUS федеративного уровня 
(FLRS) называют также серверами национального 
уровня (NLRS). В Российской Федерации за развитие проекта eduroam отвечает МСЦ РАН, который создал и поддерживает FLRS/NLRS домена 
ru,  регистирует и подключает домены российских 
научно-образовательных организаций. Российская 
Федерация входит в европейскую конфедерацию 
eduroam, два сервера ETLRS (European Top Level 
Radius Server) в Дании и Нидерландах поддерживаются транс-европейской ассоциацией научнообразовательных сетей TERENA. Помимо европейской конфедерации, имеются конфедерация 
eduroam США, Канады, Азиатско-Тихоокеанского 
региона. Взаимодействие конфедераций осуществляется на уровне TLRS. Таким образом, пользователь из России может воспользоваться eduroam 
в Австралии или Канаде. В сентябре 2012 года в 
проекте eduroam участвовали 58 стран.  
Входящие в европейскую конфедерацию eduroam европейские страны заключили рамочное соглашение об использовании сервисов eduroam (так 
называемую политику) закрытым сообществом 
научных и образовательных организаций и разработали формализованные операционные и технические требования к сервису eduroam в Европе. 
Рамочное соглашение описывает общие требования к федерациям, требования по защите передаваемой информации и технические требования по 
ее эксплуатации. 
Федерация должна установить инфраструктуру 
eduroam и поддерживать ее в соответствии с разработанными конфедерацией требованиями к сервису, обеспечивать поддержку конечных пользователей, участвовать в работе исполнительного 
комитета, предоставлять информацию для глобальной системы мониторинга eduroam, поддер
живать веб-сайт с информацией об использовании 
eduroam конечными пользователями и подключении институтов. Федерация должна гарантировать, что учетные данные пользователя останутся 
закрытыми, поэтому все институты-участники 
должны следовать совместно принятому регламенту безопасности. 
Eduroam используется прежде всего для предоставления доступа к сети гостевого института и 
Интернет. В любой сети eduroam визитеру доступны протоколы и порты для организации защищенного тоннеля в сеть его института (IPSec VPN, 
OpenVPN, PPTP VPN, SSH), доступ к электронной 
почте, www и ftp. Какие-либо средства, позволяющие ранжировать пользователей для предоставления им разных привилегий доступа к разным 
ресурсам, в настоящее время не применяются. Но 
в МСЦ РАН разрабатывается механизм, позволяющий сервис-провайдеру определить принадлежность пользователя к той или иной группе в 
зависимости от ведомственной принадлежности 
или проекта и назначить ему те или иные сетевые 
ресурсы. Разрабатываемый механизм полностью 
совместим с существующей инфраструктурой 
eduroam, требуется изменение настроек только 
сервис-провайдеров, которые дифференцируют 
предоставляемые ресурсы или привилегии. 
 
EduGAIN 
 
Удостоверяющая федерация – объединение 
институтов в научно-образовательных сетях, предоставляющих так называемую технологию «единого входа» (Single Sign On) для доступа к своим 
ресурсам. Обычно для этого используется архитектура Shibboleth [5], основанная на архитектуре 
SAML (Security Assertion Markup Language) [6].  
В процедуре авторизации (см. рис. 2) участвуют программный агент пользователя (UA, например, браузер), сервис-провайдер SP (Service 
Provider), провайдер идентификации IdP (Identity 
Provider) и служба каталогов DS (Directory Service), иногда называемая службой WAYF (Where 
Are You From). Сервис-провайдер получает запрос 
от пользователя на доступ к ресурсу (веб-странице) и перенаправляет UA, используя HTTP 
REDIRECT, на службу DS для выбора провайдера 
идентификации, то есть домашнего института 
пользователя. Если, например, программный агент 
пользователя UA является браузером, пользователь будет перенаправлен на страницу, где ему 
предложат выбрать провайдера идентификации из 
списка. Далее служба DS перенаправляет UA провайдеру идентификации IdP (в институт пользователя). Пользователь вводит свой логин и пароль на 
странице провайдера идентификации, который 
проверяет их, используя локальную базу пользователей. Провайдер идентификации генерирует 
утверждение (Assertion) на языке SAML для сер

Программные продукты и системы  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
№ 4, 2012 г. 

6

вис-провайдера, включающее некоторый набор 
атрибутов, позволяющий сервис-провайдеру принять решение об авторизации данного пользователя, и перенаправляет его сервис-провайдеру через 
UA. На основании полученных от провайдера 
идентификации данных сервис-провайдер принимает решение об авторизации данного пользователя для доступа к ресурсу. Сообщения, которыми 
обмениваются сервис-провайдер и провайдер 
идентификации, шифруются с использованием их 
SSL-сертификатов. 
Удостоверяющая федерация является объединением сервис-провайдеров и провайдеров идентификации, договорившихся о предоставлении 
доступа к ресурсам на основе вышеописанной 
технологии  и в соответствии с некоторой общей 
политикой. Такая политика, в частности, описывает информацию о пользователе, предоставляемую 
провайдером идентификации сервис-провайдеру, 
процедуры включения сервис-провайдеров и провайдеров идентификации в службу каталогов, требования к ним, процедуры поддержки пользователей и т.д. 
В МСЦ РАН проводятся работы по созданию 
удостоверяющей федерации Российской академии 
наук, обеспечивающей взаимную аутентификацию 
при доступе к ресурсам институтов РАН.  
Проект eduGAIN – это комплекс технических и 
организационных мер для обеспечения взамодействия 
удостоверяющих 
федераций 
научнообразовательных сетей. Предполагается, что удостоверяющими федерациями в eduGAIN выступают национальные научно-образовательные сети 
– участники проекта GEANT3, однако это могут 
быть и иные научно-образовательные объединения, поскольку в национальной научно-образовательной сети возможно существование нескольких 
связанных с наукой и образованием объединений. 

Рекомендованной технологией для обмена данными между 
федерациями 
является 
разработанный OASIS SAML 
(Security 
Assertion 
Markup 
Language), хотя формальных 
ограничений на протокол обмена данными нет. 
В настоящее время службы 
eduGAIN используются для 
управления 
персональным 
доступом к веб-сервисам, однако в перспективе предполагается ее развитие и использование для других сервисов. 
Службы обмена метаданными eduGAIN обеспечивают 
сбор метаданных от федераций-участников, их публикацию и распределение между 
участниками. 
Федерацииучастники имеют возможность 
настраивать для разных федераций фильтрацию 
передаваемых и принимаемых данных. 
Опыт создания федеративных сервисов в проекте GEANT показывает, что для создания работающего механизма, прежде всего технологических решений, необходимо организационное взаимодействие. Все федерации или их союзы опираются на формальное описание сервиса и правила 
взаимодействия, именуемые политикой. Функционирование федерации и ее технических служб 
обеспечивается постоянно работающими коллективами, решающими три основные задачи: эксплуатации, развития и поддержки пользователей. 
Организация федеративного взаимодействия 
актуальна для российской национальной сети науки и образования, которая является объединением 
ведомственных или проблемно-ориентированных 
сетей. 
МСЦ РАН возглавляет работы по формированию удостоверяющих федераций российской национальной сети науки и образования и поддерживает их организационное и техническое взаимодействие с европейскими удостоверяющими 
федерациями. Созданная МСЦ РАН удостоверяющая федерация российского проекта eduroam 
открыта для всех российских научных и образовательных организаций. 
 
Литература 
 
1. Eduroam в России. URL: http://www.eduroam.ru (дата 
обращения: 19.09.2012). 
2. EduGAIN. URL: http://www.edugain.org (дата обращения: 19.09.2012). 
3. IEEE Std 802.1X-2004 (revision of IEEE Std 802.1X2001). Port-based network access control – IEEE Standards Association, 2004. URL: http://standards.ieee.org/getieee802/down load/ 
802.1X-2004.pdf (дата обращения: 19.09.2012). 
4. Rigney C., Simpson S., Willens A., Rubens W. RFC2865 
– Remote Authentication Dial In User Service (RADIUS). Internet 

Рис. 2. Процедура авторизации в архитектуре Shibboleth 

Программные продукты и системы  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
№ 4, 2012 г. 

7

Engeeniring Task Force, 2010. URL: http://tools.ietf.org/html/ 
rfc2865 (дата обращения: 19.09.2012). 
5. Shibboleth. URL: http://www.shibboleth.net (дата обращения: 19.09.2012). 
6. SAML Specifications. URL: http://saml.xml.org/samlspecifications (дата обращения: 19.09.2012). 
 

References 
 
1. Eduroam in Russia, Available at: http://www.eduroam.ru 
(accessed 19 September 2012). 
2. EduGAIN, Available at: http://www.edugain.org (accessed 
19 September 2012). 

3. IEEE Std 802.1X-2004 (revision of IEEE Std 802.1X2001), Port-based network access control – IEEE Standards Association, 2004, Available at: http://standards.ieee.org/getieee802/ 
download/802.1X-2004.pdf (accessed 19 September 2012). 
4. Rigney C., Simpson S., Willens A., Rubens W., RFC2865 
– Remote Authentication Dial In User Service (RADIUS) – IETF, 
2010, Available at: http://tools.ietf.org/html/rfc2865 (accessed 19 
September 2012). 
5. Shibboleth, Available at: http://www.shibboleth.net (accessed 19 September 2012). 
6. SAML Specifications, Available at: http://saml.xml.org/ 
saml-specifications (accessed 19 September 2012). 
 
 
 
 

УДК 004.272, 004.31 

ВЫБОР ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ  
ДЛЯ РЕШЕНИЯ НАУЧНЫХ ЗАДАЧ 
 
Б.М. Шабанов, к.т.н., зам. директора  
(Межведомственный суперкомпьютерный центр РАН,  
Ленинский просп., 32а, г. Москва, 119991, Россия, shabanov@jscc.ru) 

 
В статье рассматривается отображение архитектуры вычислительной системы на прикладные программы. Данная задача возникает тогда, когда встает вопрос о выборе вычислительной системы для конкретных целей. Рассматривается формализация выбора вычислительной системы для решения научно-технических задач. Исследуется эффективность выполнения программы на кластере, содержащем многоядерные процессоры и графические ускорители. Рассматривается синхронная модель программы с организацией обменов между ядрами, между процессором и 
ускорителем, между вычислительными узлами, приводятся оценки времени передачи данных. Анализируются следующие методы определения численных параметров модели: профилирование задачи на вычислительной системе, 
моделирование выполнения программы на системе, оценка с учетом модели программы и системы. Рассмотрены некоторые типичные случаи обмена данными: обмен с «соседями» (например, между узлами многомерной решетки) и 
коллективные передачи (один ко всем, все к одному). Для получения исходных данных при решении таких задач в 
МСЦ РАН составлены наборы бенчмарок из разных областей науки, разработана тестовая программа, которая определяет производительность ядер при выполнении операций с плавающей точкой, оперативной памяти при выполнении операций чтения-записи, коммуникационной среды. Рассмотрены три задачи выбора вычислительной системы – 
определения компонентов системы таким образом, чтобы при решении заранее определенных задач обеспечить  
максимальное быстродействие, минимальную стоимость системы или максимальную производительность при фиксированной стоимости. Отмечены особенности решения задачи минимизации цены. Описанный подход использовался в МСЦ РАН при выборе архитектуры высокопроизводительных систем, таких как МВС-10BM, МВС-6000IM, 
МВС-100К. 
Ключевые слова: суперкомпьютер, высокопроизводительные вычисления, параллельные программы, эффективность выполнения программ, модель программы, архитектура компьютеров, кластер. 
 
CHOOSING COMPUTATIONAL SYSTEM FOR SCIENTIFIC PROBLEMS 
Shabanov B.M., Ph.D., Deputy Director  
(Joint Supercomputer Center of RAS, 32a, Leninsky Av., Moscow, 119991, Russia, shabanov@jscc.ru) 
Abstract. The article describes mapping of computer architecture to application programs. This problem is important 
when in is needed to choose computer system for certain programs. Formalization of choice of computer system for solving 
scientific and engineering problems is discussed. Study of efficiency of the program on a cluster with multicore processors 
and GPUs is presented. It is considered a synchronous model of the program with exchanges: between cores, between the 
processor and the accelerator and between the computational nodes, time estimations for data transfer time are provided. The 
following methods of determining parameters of numerical model are analyzed: profiling programs on a computer system, 
simulation of the program on the system, evaluation model of the program and the system. Some typical cases of data 
exchange are considered: exchange with the «neighbors» (e.g., exchange between the nodes of a multidimensional mesh) and 
collective communications (one to all, all to one). To provide data for solving problems of this kind in the JSCC RAS there 
was developed a set of benchmarks representing different areas of science, also there was developed test program that 
measures floating point performance of cores, memory performance, file operations performance and communications 
performance. Three problems of computer system choice are considered – determination of the system components system 
for solving certain problems to reach: maximum performance, minimum cost of the system or maximum performance at a 
fixed price. Specific features of costs minimization are discussed. The described approach was used in the selection of 
architectures for JSCC RAS high-performance systems such as MVS-10BM, MVS-6000IM, MVS-100K. 
Keywords: supercomputer, high performance computing, parallel programs, efficiency of programs, model of program, 
computer architecture, cluster. 

Программные продукты и системы  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
№ 4, 2012 г. 

8

 
В научных трудах рассматривались вопросы 
отображения программ на архитектуру вычислительной системы [1]. В данной работе решается 
обратная задача – отображение архитектуры на 
прикладные программы. Она возникает тогда, когда встает проблема выбора вычислительной системы для конкретных задач. Рассмотрим форма- 
лизацию выбора вычислительной системы для 
решения научно-технических задач. 
Среди высокопроизводительных вычислительных систем наибольшее распространение получили кластерные системы. Сегодня типичная высокопроизводительная кластерная система состоит 
из узлов, объединенных несколькими сетями: 
коммуникационной, транспортной, управляющей, 
служебной. Узлы вместе с коммуникационной сетью образуют вычислительное поле. Коммуникационная сеть используется для обмена данными 
между вычислительными узлами во время расчетов. Транспортные сети используются для передачи данных между вычислительным полем и файловой системой. Управляющая сеть используется 
для организации процесса вычислений, например, 
для загрузки параллельных программ. Служебная 
сеть предназначена для управления аппаратурой. 
Самые высокие требования по производительности предъявляются к коммуникационной сети, поэтому они обычно имеют высокую пропускную 
способность и низкую латентность. Примером 
коммуникационных сетей являются сети, построенные по технологии Infiniband. Остальные сети 
чаще всего реализуются с помощью технологии 
Ethernet. Для экономии места или средств в вычислительной системе некоторые сети могут объединяться. Вычислительный узел содержит несколько многоядерных процессоров (обычно два), 
работающих на общей или псевдообщей памяти. 
Для увеличения производительности при выполнении сильно параллельных задач в узле могут устанавливаться ускорители (обычно от 1 до 4). 
 
Модели программы  
и вычислительной системы 
 
Рассмотрим наиболее широко используемую 
синхронную модель программирования SPMD, в 
которой один код параллельной программы выполняется на всех ядрах. Представим программу в 
виде блоков операций. Блоки операций могут 
быть вычислительными операциями, коммуникационными и операциями ввода-вывода. Рассмотрим такую модель выполнения программы на кластере, при которой блоки не перемещаются между 
узлами. Обозначим блок вычислительных операций bi. Основные данные для блока bi находятся в 
памяти узла. После выполнения блока bi возможен 
обмен данными. 
Рассмотрим вычислительное поле, состоящее 
из вычислительных узлов, объединенных комму
никационной сетью. Вычислительный узел состоит из Np процессоров с общей памятью и Ng ускорителей. Обозначим время выполнения блока bi на 
процессоре pj как Tbipj, на ускорителе gk – как Tbigk. 
На рисунке приведена модель выполнения 
программы на четырех однопроцессорных узлах 
(p1–p4), на каждом их которых установлено по два 
графических ускорителя (g11–g42). После выполнения блока b1 на всех процессорах происходит 
обмен данными со сдвигом (n-й процессор передает данные процессору с номером n+1). Далее 
выполняется блок b2 и происходит загрузка ускорителей данными. После выполнения векторных 
операций на ускорителе происходит обратная передача данных в память узла. Затем выполняется 
блок операций b3, после чего данные собираются 
процессором p1 и выполняется финальный блок b4. 

Время выполнения блока зависит также от загруженности других ядер и объема памяти, используемой блоком. При вычислении времени выполнения будем учитывать коэффициент CR, определяющий замедление работы с памятью при ее 
одновременном использовании несколькими ядрами и зависящий от конкретной вычислительной 
системы [2]. 
В общем случае время передачи данных между 
двумя блоками можно оценить по формуле  
T=T0 +N⋅Tb,  
 
 
 
 
 
 
 
 
(1) 
где T0 – латентность; Tb – время передачи байта; N 
– количество передаваемых байт. 
Рассмотрим три возможных случая: передача 
данных между ядрами, между процессором и ускорителем, между вычислительными узлами. 
Передача данных между ядрами. В данном 
случае возможно использование двух моделей – 
MPI и OpenMP.  
В модели MPI используется разделение данных между ядрами, и общих данных у фрагментов 
программы на разных ядрах нет. Вычисления на 
разных ядрах организуются как отдельные задачи. 
При использовании модели MPI время передачи Ts 
можно оценивать формулой (1). 
В модели OpenMP все ядра работают над общей памятью. При этом часть данных может быть 

 
Модель программы 

Программные продукты и системы  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
№ 4, 2012 г. 

9

продублирована, часть защищена семафорами от 
одновременного использования. При использовании модели OpenMP время разблокировки семафора можно считать латентностью T=T0. При 
этом латентность может быть весьма большой изза ожиданий разблокировки данных. Передача 
дублирующихся данных может быть оценена 
формулой (1).  
Передача данных между процессором и ускорителем. В данном случае при инициализации 
программы на ускорителе требуется передача 
данных от процессора к ускорителю и при ее завершении обратно. Поэтому необходимо передавать все используемые и полученные данные, что 
составляет большой объем. Обозначим In(bi) множество входных данных, Out(bi) – множество выходных данных, которые используются далее в 
программе, Ng(x) – количество байт, занимаемое 
множеством x, Tbgk  – время передачи одного байта 
к/от ускорителю. Для автоматического определения этих множеств можно использовать, например, формулы из [3]. В настоящее время ускорители (такие как NVIDIA Tesla, Intel Phi, AMD 
FireStream) подключаются по PCI-шинам, и время 
передачи данных Tsigk можно оценивать формулой 
Tsigk=2*T0gk+(Ng(In(bi))+Ng(Out(bi)))*Tbgk в предположении, что все параметры передачи данных к 
ускорителю и обратно симметричны. Следует отметить, что эти значения времени относятся только к ускорителю, то есть фактически время выполнения на ускорителе k составляет Tbigk+Tsigk . 
Передача данных между узлами. В большинстве случаев используется модель MPI, так как 
общих данных у разных узлов нет. Время передачи между такими узлами можно оценивать по 
формуле (1). 
Рассмотрим некоторые типичные случаи обмена данными. Наиболее часто используются следующие типы обмена данными: обмен с «соседями» (например, между узлами многомерной решетки) и коллективные передачи (один ко всем, 
все к одному). 
Передача данных между соседними узлами. 
При решении физических задач часто применяется метод геометрического разбиения областей [4]. 
При этом используются «теневые» грани – данные, дублирующиеся на соседних узлах многомерной решетки. После выполнения очередного 
шага граничные значения передаются соседям  
k-мерной решетки. При этом Ts=2*k(T0n+N*Tbn). 
Коллективные операции. Данный вид операции 
широко применяется при организации вычислений. Он используется при рассылке данных от одного узла ко всем, при выполнении редукционных 
операций, во многих дискретных алгоритмах [5]. 
Если операция рассылки не организована аппаратно, она требует log(P) шагов, где P – количество вычислительных узлов. Таким образом, время 
передачи данных составит Ts=(T0n+Tbn⋅N) log(P). 

Заметим, что приведенные выше оценки времени передачи составлены для неблокирующих 
сетей, то есть сетей, пропускная способность которых позволяет обеспечить независимую одновременную передачу данных. Когда передачи 
данных влияют друг на друга, можно использовать коэффициент замедления CL, определяемый 
аналогично коэффициенту CR [2]. 
 
Определение численных параметров 
 
Для проведения оценок с помощью приведенной выше модели необходимо определить численные параметры программы и системы. Для определения численных параметров можно использовать следующие методы. 
Профилирование задачи на вычислительной 
системе. Данный метод является самым точным, 
однако не всегда возможно получение полных 
данных из-за большого объема работы, так как необходимо иметь данные по работе каждого блока 
на каждом оборудовании, а также по всем передачам данных. 
Моделирование выполнения программы на 
системе. Возможно использование автоматических средств, таких как BERT-77/Ratio. Для каждой вычислительной системы определяются базовые параметры (время выполнения операций, параметры коммуникационной сети). С учетом этих 
параметров делается оценка времени выполнения 
программы. Достоинствами этого метода являются большая точность и достаточно высокая оперативность получения решения, недостатками – 
меньшая точность предсказания и проблематичность учета оптимизации компиляторов. 
Оценка с учетом модели программы и системы. Каждому компоненту вычислительных 
систем присваиваются условные метрики производительности. Оценка времени выполнения производится умножением сложности блока на метрику производительности. Данный метод имеет 
низкую точность и может применяться при предварительной оценке для сокращения количества 
вариантов оборудования для вычислительных 
систем. 
Для получения данных при решении таких задач в МСЦ РАН составлены наборы тестов р (бенчмарок), включающие в себя моделирование нелинейного электронного транспорта, моделирование течения недорасширенной струи вязкого газа, 
расчет Эйлеровой модели атмосферы, моделирование теплового движения воды, расчет течений с 
тепловыми неоднородностями, расчет молекулярной динамики сложной биологической системы и 
другие. Была разработана тестовая программа 
LAPTEST, 
определяющая 
производительность 
ядер при выполнении операций с плавающей точкой, оперативной памяти при выполнении операций чтения-записи, коммуникационной среды.  

Программные продукты и системы  
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
№ 4, 2012 г. 

10

Выбор оборудования  
по быстродействию и стоимости 
 
Выбор оборудования по быстродействию. Одной из основных задач выбора вычислительной 
системы является задача определения компонентов системы для обеспечения максимального быстродействия при решении заранее определенных 
задач.  
При выборе оборудования по быстродействию 
следует учитывать, что не любые комбинации 
процессорных модулей могут выпускать фирмывендоры. Поэтому существуют ограничения на 
конкретные модели узлов, такие как количество 
процессоров, ускорителей, объем и скорость памяти. 
При данных ограничениях оптимизируется це
левая функция 

1

min(
(
)

n

bipk
si
i

T
T
CR T CL

=
=
+
∑
, где Tsi – 

время передачи данных после блока i. 
Данная функция представляет собой сумму 
значений времени выполнения всех программных 
блоков и обменов данными.  
Выбор оборудования по стоимости. Другой 
задачей выбора вычислительной системы является 
задача определения компонентов системы для 
обеспечения минимальной стоимости системы 
при решении заранее определенных задач. Выбор 
оборудования по стоимости производится аналогично выбору по быстродействию и должен проводиться с учетом похожих краевых условий, 
кроме того, время выполнения каждой программы 
не должно превышать заданное. Данная задача усложняется еще и тем, что с высокой точностью 
аналитически задача решается только для небольших кластеров, детали которых продаются по 
фиксированной цене. В реальности стоимость 
оборудования является предметом торгов (в частности, определенных 94-ФЗ) и может меняться. 
Минимальная стоимость оборудования, как правило, является коммерческой тайной. Поэтому при 

решении данной задачи точность может оказаться 
недостаточной, и данный метод может продуктивно использоваться для предварительной оценки 
рынка. Хорошее решение можно получить в случае, когда одна из архитектур имеет явное преимущество для данной задачи.  
Разновидностью данной задачи является выбор 
оборудования с максимальной производительностью при фиксированной стоимости. 
Описанный метод использовался в МСЦ РАН 
при выборе архитектуры высокопроизводительных систем. Оптимизировалось быстродействие 
для набора бенчмарок. Для построения априорной 
оценки использовалась программа BERT77/RATIO. С помощью данного подхода была оптимизирована архитектура таких вычислительных систем, как МВС-10BM, МВС-6000IM, МВС-100К. 
 
Литература 
 
1. Телегин П.Н., Шабанов Б.М. Связь моделей программирования и архитектуры параллельных вычислительных систем // Программные продукты и системы. 2007. № 2. C. 5–8. 
2. Шабанов Б.М., Телегин П.Н., Аладышев О.С. Особенности использования многоядерных процессоров // Програм- 
мные продукты и системы. 2008. № 1. C. 7–9. 
3. Melnikov V., Shabanov B., Telegin P. and Chernyaev A. 
Automatic Parallelization of Programs for MIMD Computers, in 
Modern Geometric Computing for Visualization. Tokyo, SpringerVerlag, 1992. С. 253–262. 
4. Mattson T.G., Sanders B.A., Massingill B.L. Patterns for 
Parallel Programming. Addison-Wesley Professional, 2004. 
5. Akl S.G. The Design and Analysis of Parallel Algorithms. 
Prentice Hall, 1989. 
 

References 
 
1. Telegin P.N., Shabanov B.M., Programmnye produkty i 
sistemy, 2007, no. 2, pp. 5–8. 
2. Shabanov B.M., Telegin P.N., Aladyshev O.S., Programmnye produkty i sistemy, 2008, no. 1, pp. 7–9. 
3. Melnikov V., Shabanov B., Telegin P. and Chernyaev A., 
Modern Geometric Comput. for Visualization, Tokyo, SpringerVerlag, 1992, pp. 253–262. 
4. Mattson T.G., Sanders B.A., Massingill B.L., Patterns for 
Parallel Programming. Addison-Wesley Professional, 2004. 
5. Akl S.G., The Design and Analysis of Parallel Algorithms, 
Prentice Hall, 1989. 
 
 
 
 

УДК 004.735 004.771 
МЕХАНИЗМ ПРАВ НА ОСНОВЕ ГРУПП ПОЛЬЗОВАТЕЛЕЙ В EDUROAM – 

ФЕДЕРАТИВНОЙ СИСТЕМЕ УПРАВЛЕНИЯ ДОСТУПОМ  

К СЕТЕВЫМ РЕСУРСАМ НАУЧНО-ОБРАЗОВАТЕЛЬНЫХ СЕТЕЙ 
 
А.П. Овсянников, зав. отделом; Т.В. Овсянникова, научный сотрудник;  
С.А. Овчаренко, стажер-исследователь (Межведомственный суперкомпьютерный центр РАН, 
Ленинский просп., 32а, г. Москва, 119991, Россия, ovsyannikov@jscc.ru, tat@jscc.ru, velegrin@jscc.ru) 

 
Описывается реализация федеративного контроля доступа для научных сетей на основе технологии eduroam. 
Технология предоставляет пользователям возможность безопасной аутентификации для доступа к сети и использования сетевых ресурсов в любой сети федерации eduroam с использованием единственного набора учетных данных.