Проектирование высокопроизводительных проблемно-ориентированных вычислительных систем

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ 

РОССИЙСКОЙ ФЕДЕРАЦИИ

Федеральное государственное автономное образовательное 

учреждение высшего образования 

«ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ»

Инженерно-технологическая академия

В.Ф. Гузик, Е.В. Ляпунцова, 
Д.А. Беспалов, М.Ю. Поленов

ПРОЕКТИРОВАНИЕ 

ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ

ПРОБЛЕМНО-ОРИЕНТИРОВАННЫХ

ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

Монография

Ростов-на-Дону – Таганрог

Издательство Южного федерального университета

2017

УДК 004.7
Печатается по решению редакционно-издательского

ББК 32.973
совета Южного федерального университета

П791

Рецензенты:

доктор технических наук, профессор, зав. кафедрой систем 

автоматического управления Института радиотехнических систем и 

управления Инженерно-технологической академии ЮФУ

В.И. Финаев;

доктор технических наук, профессор кафедры информатики 

Таганрогского института им. А.П. Чехова (филиал) Ростовского 

государственного экономического университета (РИНХ)

Н.И. Витиска.

Гузик, В.Ф. 

П791
Проектирование 
высокопроизводительных 
проблемно
ориентированных вычислительных систем
: монография / 

В.Ф. Гузик, Е.В. Ляпунцова, Д.А. Беспалов, М.Ю. Поленов –
2-е изд., испр. и доп. ; Южный федеральный университет.–
Ростов-на-Дону 
–
Таганрог
: 
Издательство 
Южного 

федерального университета, 2017. – 517 с.

ISBN 978-5-9275-2341-2

Монография 
посвящена 
современным 
проблемно
ориентированным 
вычислительным 
системам 
различного 
типа. 

Рассмотрены суперЭВМ и классические многопроцессорные системы. 
Кроме того, приведены арифметические и алгоритмические основы 
проблемно-ориентированных вычислительных систем, в том числе 
систем цифровой обработки сигналов. Приведенные в монографии 
результаты научных исследований позволят в полной мере изучить 
методы 
проектирования 
высокопроизводительных 
проблемно
ориентированных вычислительных систем.

Книга предназначена для студентов технических специальностей, 

магистрантов и аспирантов, а также разработчиков современных 
средств вычислительной техники.

УДК 004.7
ББК 32.973

ISBN 978-5-9275-2341-2

© Южный федеральный университет, 2017
© Гузик В.Ф., Ляпунцова Е.В.

Беспалов Д.А., Поленов М.Ю., 2017

ПРЕДИСЛОВИЕ

В монографии проведен обширный обзор в области суперЭВМ и 

их применения. В области многопроцессорных вычислительных 
систем выполнено исследование методов проектирования проблемноориентированных 
многопроцессорных 
вычислительных 
систем, 

реализующих 
конвейерно-потоковые 
вычисления 
с 
различной 

организационной структурой,
разработан ряд образцов ПОВС, 

созданных на базе первого и второго поколения БИС цифровой 
обработки сигналов, разработанных в НИИ МВС ЮФУ и внедренных 
заказчиком. Разработаны и практически внедрены в устройствах на 
ПЛИС алгоритмы цифровой обработки сигналов. В монографии 
перечислены 
основные 
теоретические 
результаты 
в 
области 

квантового компьютинга, которым научные сотрудники кафедры ВТ 
ИКТИБ ЮФУ занимаются более десяти лет.

Монография предназначена для бакалавров, магистрантов, 

инженеров и аспирантов, специализирующихся в направлении 
«Информатика и вычислительная техника».

Также является основой курсов «Проблемно-ориентированные 

вычислительные 
системы», 
«Проектирование 
проблемно
ориентированных 
вычислительных 
систем» 
и 

«Высокопроизводительные 
вычислительные 
системы», 
читаемых 

авторами монографии на кафедре ВТ для студентов и аспирантов.

Главы 1, 2 и 5 написаны д.т.н., профессором В.Ф. Гузиком, д.т.н.,

профессором Е.В. Ляпунцовой и к.т.н., доцентом М.Ю. Поленовым.

Главы 3 и 4 написаны профессором В.Ф. Гузиком совместно с 

д.т.н., профессором В.Е. Золотовским и к.т.н., доцентом Д.А. 
Беспаловым.

Авторы 
выражают 
глубокую 
благодарность 
сотрудникам 

кафедры ВТ и НИИ многопроцессорных вычислительных систем, 
среди которых к.т.н., доценты А.И. Гречишников, И.И. Итенберг, Г.Н. 
Евтеев, О.Б. Станишевский, Е.А. Семерников, А.Н. Халявко, Е.Б. 
Механцев, А.В. Ковалев и др., которые внесли существенный вклад в 
разработку и внедрение первых комплектов БИС и образцов ПОВС 
для цифровой обработки сигналов, а также всем сотрудникам кафедры 
ВТ, принявшим участие в оформлении и выпуске этой монографии.

ВВЕДЕНИЕ

В настоящее время самыми перспективными направлениями 

развития 
вычислительной 
техники 
являются 
проблемно
ориентированные высокопроизводительные вычислительные системы 
(ПОВС). К последним, в частности, относятся многомашинные 
комплексы 
(кластеры 
и 
GRID-системы), 
многопроцессорные 

вычислители 
и 
суперЭВМ. 
В 
то 
же 
самое 
время
сейчас 

разрабатывается и используется на практике огромное количество 
ПОВС. Их многообразие бесконечно: от встроенных блоков цифровой 
обработки сигналов во встраиваемых системах
до квантовых 

компьютеров.

В
последнее время процесс развития подобных систем в 

практическом и теоретическом плане только ускоряется. Усиливается 
направление компьютерного моделирования.

В последние десятилетия произошли заметные сдвиги в 

организации научного процесса: вследствие широкого внедрения 
вычислительной
техники 
заметно 
усилилось 
направление 

компьютерного 
моделирования 
и 
эксперимента. 
Прогресс 
в 

суперкомпьютерных технологиях и распространение этих технологий 
во все новые сферы человеческой деятельности свидетельствуют о 
том, что суперкомпьютеры – это мощный инструмент, который 
позволяет форсировать продвижение научно-технологической мысли 
во многих отраслях.

Среди приоритетов в развитии наукоемких технологий, кроме 

нанотехнологий 
и 
технологий
космической 
промышленности, 

непременно отмечается задача создания отечественных суперЭВМ. 
Общепризнано, 
что 
суперЭВМ
определяют 
национальную 

безопасность и экономическую независимость государства. Наличие у 
страны суперЭВМ, особенно в военной промышленности, – это вопрос 
обороноспособности страны и возможности создания современных
высокотехнологичных материалов.

Опыт развития вычислительной техники показывает, что 

вычислительная мощь настольных персональных компьютеров отстает 
от уровня производительности суперкомпьютеров приблизительного 
на 13 лет, т.е. по уровню производительности сегодняшние 
профессиональные 
персональные 
компьютеры 
соответствуют 

суперкомпьютерам 13-летней давности. Может создаться впечатление, 
что с ростом производительности настольных компьютеров сама 
потребность в суперЭВМ будет снижаться. Однако время показало, 
что устойчивой тенденцией научно-технического прогресса является 

постоянное появление новых приложений, для решения которых за 
приемлемое время необходима вычислительная техника высокой и 
сверхвысокой производительности.

Традиционными сферами применения суперкомпьютеров всегда 

были научные исследования в таких областях, как физика плазмы, 
физика конденсированных сред, атомная физика, теория элементарных 
частиц, астрофизика и т.д. Среди технических проблем, для решения 
которых используются суперкомпьютеры, можно указать на задачи 
аэрокосмической 
и 
автомобильной 
промышленности, 
ядерной 

энергетики. 
Суперкомпьютеры 
нужны 
для 
прогнозирования 
в 

финансовой и экономической областях, разведки нефти и газа, 
предсказания 
погоды, 
глобальных 
климатических 
изменений, 

оптимизации транспортных потоков в мегаполисах, управления на 
крупных предприятиях. Без суперЭВМ
невозможны передовые 

исследования 
и 
во 
многих 
других 
областях, 
например, 
в 

фармакологии, биологии, генетике и т.д. идет процесс проникновения 
суперЭВМ в коммерческую среду. Здесь в качестве примеров можно 
привести графические приложения для кинематографа и телевидения, 
а также для обработки сверхбольших баз данных, визуализацию 
результатов расчетов и т.п. Широко используются суперкомпьютеры в 
химии, 
включая 
расчеты 
электронной 
структуры 
для 
целей 

конструирования новых материалов, например, катализаторов и 
сверхпроводников. Суперкомпьютеры традиционно применяются для 
военных целей. Кроме разработки оружия массового поражения, 
конструирования 
самолетов 
и 
ракет, 
можно 
упомянуть 

проектирование 
бесшумных 
подводных 
лодок, 
систем 

противоракетной обороны и ряд других проектов.

Известны оценки производительности вычислительных систем 

для решения различных задач. Считается, что для задач аэродинамики 
достаточно производительности в несколько петафлопс, для задач 
молекулярной динамики – 20 Пфлопс, а также для вычислительной 
космологии нужна производительность на уровне 10 эксафлопс 
(10 квинтиллионов флопс или 10*1018 флопс).

Прогресс в области суперкомпьютеров можно наблюдать из 

публикующегося 
дважды 
в 
год 
рейтинга 
пятисот 
самых 

высокопроизводительных компьютеров, так называемого ТОР-500. 
Этот рейтинг ведется с 1993 г. ведущими экспертами США из 
Государственного 
научно-исследовательского 
вычислительного 

центра Министерства энергетики, а также университетов Мангейма и 
Теннеси. Строчки в ТОР-500 располагаются в соответствии с тем, 
какую 
производительность 
продемонстрировали 
системы 
при 

прохождении специального стандартного теста Linpack. Согласно 
этому рейтингу, производительность суперкомпьютеров, входящих в 
список ТОР-500, стремительно растет. Казалось бы, совсем недавно, в 
1997 г. список самых высокопроизводительных компьютеров в мире 
открывала система IntelASCIRed, производительностью в несколько 
терафлопс (терафлопс – триллион, или 1012 операций с плавающей 
запятой в секунду), однако уже в 2005 г. к терафлопному диапазону 
относились все системы, включенные в ТОР-500.

В 2008 г. появились первые суперкомпьютеры с производи
тельностью, 
превышающей 
петафлопс 
(квадриллион, 
или 
1015

операций с плавающей запятой в секунду). Ожидается, что в 2016 г. в 
списке ТОР-500 будут представлены только системы петафлопсного 
диапазона, а 2019 г. станет точкой отсчета для компьютеров с 
производительностью в экзафлопы (1018
флоп/с). По оценкам 

специалистов, 
появление 
систем 
с 
производительностью 
в 

секстиллион операций в секунду станет возможно к 2029 г.

Например, первая строчка в очередной, 32-й редакции ТОР-500 

(ноябрь 2008 г.) была закреплена за системой IBMRoadrunner из ЛосАламосской национальной лаборатории Министерства энергетики 
США. 
С 
момента 
последнего 
обновления 
списка 
пиковая 

производительность этой системы возросла до 1,456 Пфлопс, а по 
тесту Linkpack – до 1,105 Пфлопс. Второе место занимала система из 
Окриджской национальной лаборатории (США) –
CrayXTJaguar, 

которая также перешагнула петафлопсный рубеж (пиковый показатель 
– 1,381 Пфлопс, по тесту Linpack – 1,059 Пфлопс). Единственным 
неамериканским суперкомпьютером в первой десятке ТОР-500 был 
китайский 
вычислительный 
комплекс 
Dawning
5000A,
его 

производительность составляет 180 терафлопс. 

Самым мощным российским компьютером являлась тогда 

вычислительная система Межведомственного суперкомпьютерного 
центра РАН, созданная на базе блейд-серверов HP Blade System
С-Class и занимающая 35-е место, с производительностью 71,28 
терафлопс.

По спискам ТОР-500, составляемым ведущими экспертами, 

можно 
судить 
не 
только 
о 
текущем 
состоянии 
мировой 

вычислительной техники, но и о тенденциях в ее развитии. Количество 
кластерных систем в списке ТОР-500 продолжает расти: 410 систем 
(ноябрь 2008 г.) против 400 (июнь 2008 г.), из коммуникационных 
технологий наиболее популярными остаются Gigabit Ethernet – 282
системы (в прошлых списках не более 285) и Infini Band – 141 система 
(в прошлых списках не более 121).

Количество систем из этого списка, основанных на процессорах 

Intel, постоянно увеличивается. В среднем это значение уже переросло 
380 штук. Процессоры AMD Opteron используются в 59 системах. 
Процессоры IBM Power используются более чем в 60 системах. Резко
увеличивается использование 4- и 8-ядерных микропроцессоров, тогда 
как двухъядерные и одноядерные процессоры сейчас используются 
только в моделях более ранних поколений. Среднее количество ядер в 
системе вышло за пределы 6000 штук. По количеству установленных 
систем, вошедших в список, традиционно лидируют системы IBM и 
Hewlett-Packard.

Производительность суперкомпьютеров стремительно растет.

Причем из года в год разработчики пробуют ввести очередной рекорд 
в данной области и повысить показатели новоиспеченной модели. В то 
же время отмечено снижение динамики роста производительности 
современных суперкомпьютеров. Например, с ноября 2013 г. по июнь 
2014 г. она возрастала с 250 до 274 петафлопс. Напомним, что с 1994
по 2008 гг. темпы роста производительности росли в среднем на 90 % 
ежегодно, тогда как сейчас это значение снизилось до 55 %.

Эксперты пока не пришли к единому мнению относительно 

данной тенденции, так как суперкомпьютеры по-прежнему очень 
востребованы и их создание все так же актуально и даже больше. 
Сложность вычислений растет регулярно, что требует наличия 
соответствующих вычислительных мощностей, способных нести на 
себе огромную вычислительную нагрузку и быть достаточно гибкими, 
чтобы подходить для решения самых разных задач.

Высокопроизводительные вычислительные системы – суперЭВМ

не зря называют форпостом компьютерной техники. Однако в нашей 
стране прочность этой цитадели еще недавно вызывала опасения. В 
2000 г. признанный авторитет в области суперЭВМ
академик 

В.С. Бурцев, главный конструктор знаменитого семейства МВК 
«Эльбрус», с горечью констатировал [25, 26]: «Должной поддержки 
наша работа не находит. Еще раз подчеркну, сегодня в России 
практически свернуты все перспективные работы по суперЭВМ».

Однако в последнее время положение с суперкомпьютерными 

технологиями в России стало меняться к лучшему. Большое внимание 
развитию данного актуального направления было уделено со стороны 
Российской академии наук, Российского фонда фундаментальных 
исследований и Федерального агенства по науке и инновациям. И 
результат не заставил себя ждать. Был создан Межведомственный 
суперкомпьютерный центр (МСЦ) РАН. В 2001 г. были закончены 
технические 
испытания 
отечественного 
суперкомпьютера 

МВС 1000М, вышедшего на символический рубеж в триллион 
операций с плавающей запятой в секунду, успешно функционирует 
российско-белорусская программа по созданию и применению 
суперкомпьютеров. 
В 
ходе 
ее 
реализации 
были 
созданы 

суперкомпьютеры СКИФ К-500, СКИФ К-1000 и СКИФ Syberia. 
Изготовлен еще более мощный суперкомпьютер (60 терафлопс) для 
Московского государственного университета. В 2009 г. в НИВЦ МГУ 
был введен в эксплуатацию суперкомпьютер с производительностью
0,5 Пфлопс.

Однако надо отметить, что упомянутые выше системы относятся 

к классу суперЭВМ с кластерной архитектурой, представляющих 
собой объединение множества традиционных коммерчески доступных 
процессорных узлов с помощью стандартных сетевых решений. 
Известно, что суперЭВМ
данного класса имеют существенные 

недостатки, связанные с относительно низкой скоростью процедур 
межпроцессорного обмена, ограниченного пропускной способностью 
сети передачи данных, необходимостью синхронизации множества 
взаимосвязанных последовательных процессов, каждый из которых 
выполняется на отдельном процессоре, и т.д. Все это приводит к тому, 
что высокую реальную производительность кластерные суперЭВМ
демонстрируют, в основном, только при решении слабосвязанных 
задач, 
не 
требующих 
интенсивного 
обмена 
данными 
между 

процессорными узлами, в то время как при решении «сильно 
связанных» задач их реальная производительность не превышает 
5-10 % от декларируемой пиковой производительности системы [4, 5, 
10]. При этом увеличение числа процессорных узлов в системе 
зачастую не только не повышает ее реальную производительность, а, 
наоборот, ведет к снижению последней, поскольку в этом случае резко 
возрастает доля «накладных расходов», связанных с организацией 
параллельного вычислительного процесса в общем времени решения 
задачи.

При 
разработке 
вычислительных 
машин, 
в 
особенности 

предназначенных для решения задач цифрового моделирования и 
управления, 
необходимо 
удовлетворять
следующим 
основным 

требованиям: параллельности реализации вычислительных процессов, 
перестраиваемости внутренней структуры, повышенной надежности и 
живучести, работы в реальном и ускоренном масштабах времени, 
конструктивно-технологической однородности и ряду других.

Указанным требованиям в значительной степени удовлетворяют 

так называемые многопроцессорные вычислительные системы с 
программируемой (перестраиваемой) архитектурой [5, 8, 9 – 15].

В нашей стране исследования по созданию высокопроизводи
тельных вычислительных устройств с перестраиваемой структурой –
однородных вычислительных сред – начаты в 1962 г. в институте 
математики СО РАН [30] и Институте проблем управления РАН [31, 
32]. Теория вычислительных систем с программируемой структурой 
заимствует многие положения общей теории цифровых автоматов, 
изложенные в работах М.А. Гаврилова и В.М. Глушкова.

В институте электродинамики НАУ Г.Е. Пуховым и его 

сотрудниками предложено построение вычислительных систем с 
перестраиваемой структурой на основе аналоговых и квазианалоговых 
вычислительных 
сред 
и 
специализированных 
параллельных 

вычислительных структур.

В Институте проблем передачи информации РАН и Институте 

электроники и вычислительной техники АН Латвии под руководством 
В.Г. Лазарева и Э.А. Якубайтиса развивается теория автоматов с 
перестраиваемой структурой [73]. 

Наибольшее развитие в области цифровых аналогов получили 

цифровые 
дифференциальные 
анализаторы 
(ЦДА), 
цифровые 

интегрирующие 
машины 
(ЦИМ) 
и 
структуры 
(ЦИС), 

основополагающие вопросы теории и принципы построения которых 
изложены в работах А.А. Воронова, А.В. Каляева, А.В. Шилейко.

Приведем примеры ведущих отечественных предприятий и 

организаций и их разработок в области создания суперкомпьютеров и 
классических многопроцессорных вычислительных систем.

В Институте точной механики и вычислительной техники 

(ИТМиВТ, Москва) в 1964 г. под руководством академика С.А. 
Лебедева создана одна из лучших в мире ЭВМ ЮЭСМ-6, которая 
вывела нашу страну на мировой уровень производительности и 
быстродействия для машин второго поколения. Развитием машин 
БЭСМ-6 является разработка суперЭВМ «Эльбрус-1» и «Эльбрус-2» 
под руководством директора ИТМВТ академика В.С. Бурцева [26]. 
Система «Эльбрус» содержит 10 процессоров, в основу которых был 
положен 
мультипроцессор, 
сделанный 
по 
образцу 
известной 

архитектуры Burroughs. С 1985 г. под руководством Г.Г. Рябова начата 
разработка системы «Эльбрус-3», которая содержала 16 процессоров. 
Система «Эльбрус-3» обеспечивала пиковую производительность до 
10 MIPS.

Многопроцессорный вычислительных комплекс «Эльбрус-1» 

построен по модульному принципу и состоит из следующих типовых 
модулей:


центрального процессора (от 1 до 10) со средней
производительностью от 1 до 12 миллионов эквивалентных 
БЭСМ операций/с;


специализированного 
процессора, 
обеспечивающего 

выполнение 
программ 
для 
ЭВМ 
типа 
БЭСМ-6 
с 

производительностью 2,5 миллионов эквивалентных БЭСМ 
операций/с;


оперативной памяти (ОП) емкостью от 1 до 9 Мбайт (в 
составе от 4 до 32 модулей);


процессора ввода/вывода;


устройства управления;


процессора передачи данных.

Вычислительный центр СО АН СССР (г. Новосибирск) – под 

руководством главного конструктора В.Е. Котова разработана и 
создана модульная асинхронная расширяемая система (МАРС). 
Архитектура МАРС является продолжением работ, начатых в середине 
70-х гг. ХХ в. по иерархическим открытым архитектурам с асинхронно 
коммутируемыми модулями [64].

Институт проблем управления (ИПУ АН СССР г. Москва) и 

научно-исследовательский институт управляющих вычислительных 
машин (НИИ УВМ, г. Северодвинск) – под руководством директора 
ИПУ И.В. Прангишвили разработаны и созданы параллельные 
системы ПС-2000 и ПС-3000 – это суперсистема, состоящая из 
параллельного процессора, имеющего от 8 до 64 обрабатывающих 
элементов, подсистем управления и внешней системы памяти. Каждый 
процессорный элемент (ПЭ) связан с двумя соседними с помощью 
интерфейсной шины [32].

С 1966 г. в Таганрогском радиотехническом институте под 

руководством профессора А.В. Каляева получило серьезное развитие 
одно из направлений в рамках общей теории вычислительных систем с 
программируемой архитектурой –
теория однородных цифровых 

интегрирующих структур (ОЦИС) и однородных вычислительных 
структур (ОВС) [8 – 15].

Предложена 
идея 
построения 
микропроцессоров 
ОВС 
с 

программируемой (перестраиваемой) структурой, коммутацией и 
процессорами, которые настраиваются на выполнение ограниченного 
набора крупных
операций, а не на большое число мелких 

элементарных 
команд, 
как 
это 
делается 
в 
классических 

микропроцессорах. Такой подход к синтезу микропроцессоров и