Реконфигурируемые вычислительные системы

                                 Серия
                                 Суперкомпьютерное Образование

Координационный совет
Системы научно-образовательных центров суперкомпьютерных технологий
Председатель Координационного совета
В.А. Садовничий,
ректор МГУ имени М.В. Ломоносова, академик

Заместитель председателя совета Е.И. Моисеев,
декан факультета вычислительной математики и кибернетики МГУ имени М.В. Ломоносова, академик
А.В. Тихонравов, директор Научно-исследовательского вычислительного центра МГУ имени М.В. Ломоносова, профессор


Члены совета
  В.Н. Васильев, ректор Санкт-Петербургского национального исследовательского государственного университета информационных технологий, механики и оптики, чл.-корр. РАН, профессор; М.А. Боровская, ректор Южного федерального университета, профессор; Н.Н. Кудрявцев, ректор Московского физико-технического института, чл.-корр. РАН, профессор; Г.В. Майер, президент национального исследовательского Томского государственного университета, профессор; Е.В. Чупрунов, ректор национального исследовательского Нижегородского государственного университета, профессор; А.Л. Шестаков, ректор национального исследовательского Южно-Уральского государственного университета, профессор; В.Н. Чубариков, декан механико-математического факультета МГУ имени М.В. Ломоносова, профессор; М.И. Панасюк, директор Научно-исследовательского института ядерной физики МГУ имени М.В. Ломоносова, профессор; Вл.В. Воеводин, заместитель директора Научно-исследовательского вычислительного центра МГУ имени М.В. Ломоносова, исполнительный директор НОЦ «СКТ-Центр», член-корреспондент РАН.

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ “ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ”


           МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ
         УНИВЕРСИТЕТ ИМЕНИ М.В. ЛОМОНОСОВА




           В.Ф. Гузик, И.А. Каляев, И.И. Левин




РЕКОНФИГУРИРУЕМЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ

         Учебное пособие

        Под общей редакцией И.А. Каляева










Ростов-на-Дону Издательство Южного федерального университета 2016

  УДК 004.38
  ББК 32.973
      Г 938

Печатается по решению редакционно-издательского совета Южного федерального университета (протокол № 4 от 05 мая 2016 г.)

    Рекомендовано Ученым советом Южного федерального университета для использования в учебном процессе
Рецензенты:
член-корреспондент РАН, заместитель директора НИВЦ МГУ
Воеводин В.В.;
член-корреспондент РАН, заведующий кафедрой МФТИ
Петров И.Б.

        Гузик, В.Ф.
Г 938 Реконфигурируемые вычислительные системы : учебное пособие / Гузик В.Ф., Каляев И.А., Левин И.И. / под общей редакцией И.А. Каляева. Южный федеральный университет. - Таганрог : Издательство Южного федерального университета, 2016. - 472 с.
         ISBN 978-5-9275-1918-7

    Книга посвящена перспективному направлению развития суперкомпьютерных технологий - реконфигурируемым вычислительным системам. Основная идея данного подхода заключается в предоставлении пользователю возможности настройки (конфигурации) архитектуры суперкомпьютера под структуру решаемой им задачи. При этом в качестве вычислительного устройства суперкомпьютера используются не стандартные микропроцессоры, а множество соединенных между собой программируемых логических интегральных схем (ПЛИС) высокой степени интеграции, образующих единое вычислительное поле, в рамках которого пользователь может создавать проблемно-ориентированные вычислительные структуры, адекватные графу-алгоритму решаемой задачи. Данный подход обеспечивает возможность достижения высокой реальной производительности вычислительной системы, близкой к пиковой, а также ее линейный рост при наращивании аппаратного ресурса вычислительного поля ПЛИС, за счет адаптации архитектуры вычислителя к структуре решаемой прикладной задачи. В книге системно излагаются история развития, теоретические и практические основы организации, функционирования, создания и программирования таких реконфигурируемых вычислительных систем.
     Книга предназначена для студентов, аспирантов и инженеров, специализирующихся в области проектирования высокопроизводительных вычислительных систем и их применения для решения вычислительно трудоемких прикладных задач.

  ISBN 978-5-9275-1918-7                                           УДК 004.38
ББК 32.973

© Южный федеральный университет, 2016 © Гузик В.Ф., Каляев И.А., Левин И.И., 2016

Уважаемый читатель!
    Вы держите в руках одну из книг серии «Суперкомпьютерное образование», выпущенную в рамках реализации проекта комиссии Президента РФ по модернизации и технологическому развитию экономики России «Создание системы подготовки высококвалифицированных кадров в области суперкомпьютерных технологий и специализированного программного обеспечения». Инициатором издания выступил Суперкомпьютерный консорциум университетов России.
    Серия включает более 20 учебников и учебных пособий, подготовленных ведущими отечественными специалистами в области суперкомпьютерных технологий. В книгах представлен ценный опыт преподавания суперкомпьютерных технологий в таких авторитетных вузах России, как МГУ, ННГУ, ТГУ, ЮУрГУ, СПбГУ, ИТМО, ЮФУ и многих других. При подготовке изданий были учтены рекомендации, сформулированные в Своде знаний и умений в области суперкомпьютерных технологий, подготовленном группой экспертов Суперкомпьютерного консорциума, а также международный опыт.
    Современный уровень развития вычислительной техники и методов математического моделирования даёт уникальную возможность для перевода промышленного производства и научных исследований на качественно новый этап. Эффективность такого перехода напрямую зависит от наличия достаточного числа высококвалифицированных специалистов. Данная серия книг предназначена для широкого круга студентов, аспирантов и специалистов, желающих изучить и практически использовать параллельные компьютерные системы для решения трудоемких вычислительных задач.
    Издание серии «Суперкомпьютерное образование» наглядно демонстрирует тот вклад, который внесли участники Суперкомпьютерного консорциума университетов России в создание национальной системы подготовки высококвалифицированных кадров в области суперкомпьютерных технологий, а также их чёткое понимание ответственности за подготовку высококвалифицированных специалистов и формирование прочного научного фундамента, столь необходимого для эффективного использования суперкомпьютерных технологий на практике.




Ректор Московского университета,
          Президент Суперкомпьютерного консорциума университетов России, академик РАН В.А. Садовничий

            Оглавление



Предисловие.......................................................... 10
Введение............................................................. 12

Глава 1. История, современное состояние и тенденции развития суперкомпыотерных технологий......................................... 17
 1.1. Зачем нужны суперкомпьютеры.................................... 17
 1.2. История развития суперкомпьютеров.............................. 20
     1.2.1. История развития суперкомпьютеров за рубежом............. 20
     1.2.2. История развития отечественных суперкомпьютеров.......... 28
 1.3. Архитектуры суперкомпьютеров................................... 33
 1.4. Тенденции развития суперкомпьютерных технологий................ 45
 1.5. Принципы организации реконфигурируемых вычислительных систем............................................................. 61

Глава 2. Этапы развития вычислительных систем с реконфигурируемой архитектурой......................................................... 66
 2.1. Аналоговые вычислительные машины............................... 66
 2.2. Цифровые интегрирующие машины.................................. 81
 2.3. Однородные вычислительные среды............................... 100
 2.4. Многопроцессорные вычислительные системы с программируемой архитектурой...................................................... 121

Глава 3. ПЛИС - элементная база реконфигурируемых вычислительных систем.............................................................. 145
 3.1. Принципы организации РВС на основе вычислительных полей ПЛИС.............................................................. 145
 3.2. Архитектура и характеристики современных ПЛИС................. 151
     3.2.1. Программируемые логические интегральные схемы фирмы XILINX......................................................... 153
          3.2.1.1. Семейство ПЛИС Virtex-6.......................... 156
          3.2.1.2. Семейство ПЛИС Virtex-7.......................... 165
          З.2.1.З. Семейство ПЛИС UltraScale........................ 169
     3.2.2. Программируемые логические интегральные схемы фирмы Altera......................................................... 177
          З.2.2.1. Семейство Arria 10............................... 177
          3.2.2.2. Семейство Stratix 10............................. 183
     3.2.3. Программируемые логические интегральные схемы фирмы Achronix....................................................... 184
 3.3. Технологии программирования ПЛИС.............................. 189
     3.3.1. Программирование ПЛИС на языках HDL-группы.............. 190
     3.3.2. Схемотехническое программирование ПЛИС в редакторе схем. 195
          3.3.2.1. Программирование ПЛИС в редакторе ISE Foundation.  195

6

          3.3.2.2. Программирование ПЛИС в редакторе Quartos II.       198
     3.3.3. Программирование ПЛИС по технологии Mitrion.............. 201
     3.3.4. Программирование ПЛИС по технологии CatapultC....................................................... 204
     3.3.5. Программирование ПЛИС с использованием C/C++ подобных языков.......................................................... 206

Глава 4. Реконфигурируемые вычислительные системы на основе ПЛИС................................................................. 209
 4.1. Применение ПЛИС в современных вычислительных системах........................................................... 209
 4.2. Реконфигурируемые вычислительные системы с микропроцессорной архитектурой (первое поколение).................................... 225
     4.2.1. Организация РВС с микропроцессорной Архитектурой......... 226
     4.2.2. Реализация РВС с микропроцессорной ирхитектурой.................................................... 236
 4.3. Реконфигурируемые вычислительные системы с микрообъектной архитектурой (второе поколение).................................... 243
     4.3.1. Примеры реализации РВС с макрообъектной архитектурой.................................................... 248
          4.3.1.1. РВС «Медведь»..................................... 248
     4.3.2. РВС «Мангуст»............................................ 253
     4.3.3. РВС «ТОР»................................................ 255
 4.4. РВС семейства «Большая Медведица» (третье поколение)........... 256
     4.4.1. Базовые модули РВС семейства «Большая Медведица»           257
     4.4.2. Вычислительные блоки и рабочие станции................... 262
     4.4.3. Реконфигурируемые вычислительные системы семейства «Большая медведица»............................................. 263
     4.4.4. Реконфигурируемые ускорители персонального компьютера...................................................... 269
 4.5. РВС с высокой плотностью компоновки элементов (четвертое поколение).............................................. 270
     4.5.1. РВС «Орион».............................................. 273
     4.5.2. РВС «Ригель»............................................. 278
     4.5.3. РВС «Тайгета»............................................ 282
     4.5.4. РВС-7 «Плеяда»........................................... 285
 4.6. РВС с погружной системой охлаждения (пятое поколение).......... 294
     4.6.1. Принципы работы погружной системы охлаждения............. 294
     4.6.2. Модульная реализация РВС с системой жидкостного охлаждения открытого типа.................................................. 299
     4.6.3. Конструкция реконфигурируемого вычислительного блока с погружной системой охлаждения................................... 301
     4.6.4. Подсистема электропитания РВБ............................ 304

7

     4.6.5. Конструкция базового модуля РВБ.......................... 306
     4.6.6. Конструкция РВС «Скат» с погружной системой охлаждения...................................................... 312
 4.7. Персональный реконфигурируемый компьютер....................... 314

Глава 5. Программное обеспечение реконфигурируемых вычислительных систем............................................................... 318
 5.1. Средства программирования РВС.................................. 318
 5.2. Комплекс системного программирования РВС....................... 323
     5.2.1. Структура комплекса...................................... 323
     5.2.2. Программирование РВС на уровне логических ячеек ПЛИС............................................................ 325
     5.2.3. Программирование РВС на уровне софт-архитектур и макрообъектов................................................. 327
 5.3. Язык программирования COLAMO................................... 334
     5.3.1. Принципы организации вычислений на языке программирования высокого уровня с неявным описанием параллелизма................ 334
     5.3.2. Организация доступа к памяти............................. 338
     5.3.3. Сцепление переменных..................................... 341
     5.3.4. Параллельная и конвейерная обработка данных.............. 345
     5.3.5. Особенности использования условных операторов............ 357
     5.3.6. Особенности использования операторов цикла............... 369
     5.3.7. Особенности использования вычислительных структур........ 376
 5.4. Интегральная среда программирования Argus...................... 380
 5.5. Транслятор языка COLAMO........................................ 395
 5.6. Синтезатор конфигураций многокристальных схемотехнических решений Fire!Constructor............................................ 405
     5.6.1. Принципы организации и функционирования синтезатора Fire! Constructor............................................... 405
     5.6.2. Графический редактора синтезатора Fire!Constructor....... 416
     5.6.3. Создание проекта структурной программы................... 420
     5.6.4. Ввод граф-схем структурных программ...................... 422
     5.6.5. Создание компонентов..................................... 427
     5.6.6. Инструменты навигации в граф-схеме....................... 428
     5.6.7. Описание структуры РВС и паспорта вычислительного модуля.......................................................... 431
     5.6.8. Генерация конфигурационных файлов........................ 437
     5.6.9. Визуализация результатов работы синтезатора Fire! Constructor............................................... 444
 5.7. Синтезатор конфигураций многокадровых прикладных программ Steam! Constructor.................................................. 448
Заключение........................................................... 459
Библиографический список............................................. 461

8

                РЕКОНФИГУРИРУЕМЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ




         Гузик В. Ф., Каляев И.А., Левин И.И. ЮФУ МГУ

9

            Предисловие


    Необходимость решения важнейших задач промышленности и оборонного комплекса страны, а также проблемы импортозамещения, требуют развития отечественных суперкомпьютерных технологий.
    В настоящее время Россия существенно отстает от ведущих стран Запада в области стратегических суперкомпьютерных технологий. Наибольшее распространение в нашей стране получили суперкомпьютеры кластерного типа, которые строятся, как правило, на основе «отверточной» сборки из коммерчески доступных зарубежных компьютерных узлов и блоков. При этом показатели производительности таких суперкомпьютеров достигаются не за счет оригинальных архитектурных и схемных решений, а за счет использования зарубежных технологических достижений в области микропроцессоров и систем коммутации. Но такой подход неизбежно ведет к нашему нарастающему отставанию в области суперкомпьютерных технологий. Кроме того, следует отметить, что кластерные суперкомпьютеры показывают, как правило, высокую реальную производительность только при решении так называемых «слабосвязных» задач, которые могут быть разбиты на отдельные информационно несвязанные фрагменты, в то время как при решении «сильносвязанных» задач, требующих интенсивных информационных обменов, к классу которых, например, относится большинство задач цифровой обработки сигналов и изображений, а также символьной обработки, реальная производительность кластерных суперкомпьютеров резко снижается и, более того, может даже уменьшаться при увеличении числа процессоров в системе. Это вызвано принципиальными недостатками современных высокопроизводительных вычислительных систем, а именно их «жесткой» архитектурой, закладываемой на этапе их создания, при отображении на которую прикладной задачи возникают большие непродуктивные (накладные) временные расходы, связанные с организацией вычислительного процесса, а не с полезными вычислениями.
    Поэтому крайне важным является развитие оригинальных отечественных суперкомпьютерных технологий, не повторяющих зарубежные решения, а опережающих их. Именно такой оригинальной суперкомпьютерной технологией являются многопроцессорные вычислительные системы с реконфигурируемой архитектурой. Основная идея данного подхода заключается в предоставлении пользователю возможности настройки (конфигурации) архитектуры суперкомпьютера под структуру решаемой им задачи. При этом в качестве вычислительного устройства суперкомпьютера предложено использовать не стандартные микропроцессоры, а множество соединенных между собой программируемых логических интегральных схем (ПЛИС) большой степени интеграции, образующих единое вычислительное поле, в рамках которого пользователь может создавать проблемно-ориентированные вычислительные структуры, адекватные графу-алгоритму решаемой задачи.
    Данный подход обеспечивает возможности «мелкозернистого» распараллеливание вычислительного процесса, а также минимизации непродуктивных временных затрат на его организацию за счет адаптации архитектуры вычислителя к решаемой прикладной задаче, вследствие чего достигается высокая реальная производитель

10