Архитектура вычислительных систем

Москва
Издательство МГТУ имени Н.Э. Баумана
2008

Допущено Министерством образования и науки
Российск

«

ой Федерации
в качестве учебного пособия для студентов
высших учебных заведений,
обучающихся по направлению
Информатика и вычислительная техника»

В.Г. Хорошевский

Архитектура
вычислительных
систем

Издание второе, переработанное и дополненное

УДК 681.32:519.68(075.8) 
ББК 22.18 
Х79 

Р е ц е н з е н т ы: 
кафедра «Информатика и вычислительная техника»  
Омского государственного технического университета  
(д-р техн. наук, профессор В.И. Потапов);  
д-р техн. наук, профессор В.В. Сюзев  
(зав. кафедрой «Компьютерные системы и сети» Московского  
государственного технического университета им. Н.Э. Баумана) 
 
 
          Хорошевский В.Г.  
  Архитектура вычислительных систем: Учеб. пособие. — 2-е изд., 
перераб. и доп. — М.: Изд-во МГТУ им. Н.Э. Баумана, 2008. — 520 с.: 
ил. — (Информатика в техническом университете). 

ISBN 978-5-7038-3175-5 

Рассмотрены основные архитектурные концепции построения средств обработки информации, модели функциональной организации электронных 
вычислительных машин (ЭВМ Дж. фон Неймана, модель вычислителя) и параллельных вычислительных систем (модель коллектива вычислителей). 
Описаны канонические функциональные структуры и наиболее интересные 
промышленные реализации конвейерных, матричных, мультипроцессорных и 
распределенных вычислительных систем. Особое внимание уделено архитектурно наиболее совершенному классу ВС — системам с программируемой 
структурой. 
Приведены инженерные методы комплексного анализа производительности, надежности, живучести и технико-экономической эффективности, а также нетрудоемкая технология экспресс-анализа качества функционирования 
ЭВМ и ВС и осуществимости параллельного решения сложных задач. 
Второе издание (1-е — 2005 г.). 
Для студентов вузов, а также для специалистов в области параллельных 
вычислительных технологий. 
 
 

УДК 681.32:519.68(075.8) 
ББК 22.18                             

 

 
   
                 © Хорошевский В.Г., 2008 
ISBN 978-5-7038-3175-5  
        
                 © Оформление. Издательство  
 
 
 
 
 
                     МГТУ им. Н.Э. Баумана, 2008 

 

Х79 

ОГЛАВЛЕНИЕ 

 
 

ПРЕДИСЛОВИЕ .................................................................................................. 8 

СПИСОК ОСНОВНЫХ СОКРАЩЕНИЙ .......................................................  10 

1. ПРЕДЫСТОРИЯ  ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ ...............................  11 
1.1. Эволюция вычислительной техники ................................................................. 11 
1.2. Вычислительные машины на электронных лампах ......................................... 23 
1.3. Первые электронные вычислительные машины .............................................. 31 
1.4. Путь развития отечественной  электронной вычислительной техники ........ 37 
1.5. Современный уровень вычислительной техники............................................. 49 

2. АРХИТЕКТУРА  ЭЛЕКТРОННЫХ ВЫЧИСЛИТЕЛЬНЫХ МАШИН ...  54 
2.1. Каноническая функциональная структура  ЭВМ  Дж. фон Неймана ............ 54 
2.2. Модель вычислителя .......................................................................................... 58 
2.3. Понятие об архитектуре ЭВМ ........................................................................... 61 
2.4. Понятие о семействе ЭВМ ................................................................................. 64 
2.5. Поколения ЭВМ .................................................................................................. 66 
2.6. Производительность ЭВМ ................................................................................ 73 
2.7. Количественные характеристики памяти ЭВМ ............................................... 79 
2.8. Надежность ЭВМ ................................................................................................ 82 
2.9. Технико-экономический анализ функционирования ЭВМ ............................ 93 
2.10. Предпосылки совершенствования архитектуры ЭВМ.  Представление  
о вычислительных системах ........................................................................... 105 

3. АРХИТЕКТУРА ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ ................................  111 
3.1. Модель коллектива вычислителей ................................................................. 111 
3.2. Техническая реализация модели коллектива  вычислителей.  
Архитектурные свойства вычислительных систем ...................................... 118 
3.3. Параллельные алгоритмы ................................................................................ 126 
3.4. Концептуальное понятие и классификация архитектур  вычислительных 
систем................................................................................................................ 142 

4. КОНВЕЙЕРНЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ ............................  149 
4.1. Каноническая функциональная структура  конвейерного процессора ....... 149 
4.2. Конвейерные системы типа «память-память» ............................................... 152 
4.3. Конвейерные системы типа «регистр-регистр» ............................................ 157 
4.4. Массово-параллельные вычислительные системы Cray .............................. 167 
4.5. Сверхвысокопроизводительные  вычислительные системы семейства 
Cray X ............................................................................................................... 180 
4.6. Анализ конвейерных вычислительных систем .............................................. 191 

5. МАТРИЧНЫЕ ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ .................................  194 
5.1. Каноническая функциональная структура  матричного процессора ........... 194 
5.2. Вычислительная система ILLIAC IV .............................................................. 196 

Оглавление 
—————————————————————————————————— 

 6 

5.3. Вычислительная система DAP ........................................................................ 204 
5.4. Семейство вычислительных систем Connection Machine ............................. 207 
5.5. Семейство вычислительных систем nCube .................................................... 224 
5.6. Анализ матричных вычислительных систем ................................................. 231 

6. МУЛЬТИПРОЦЕССОРНЫЕ  ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ.........  235 
6.1. Каноническая функциональная структура мультипроцессора .................... 235 
6.2. Вычислительная система C.mmp .................................................................... 237 
6.3. Семейство вычислительных систем Burroughs ............................................. 241 
6.4. Семейство вычислительных систем «Эльбрус» ............................................ 243 
6.5. Предпосылки совершенствования архитектуры  мультипроцессорных  
вычислительных систем ..................................................................................249 
6.6. Вычислительная система Cm* ......................................................................... 251 
6.7. Мультипроцессорные системы со структурно-процедурной 
организацией вычислений .............................................................................. 258 
6.8. Сверхвысокопроизводительные вычислительные системы семейства 
IBM Blue Gene ..................................................................................................273  
6.9. Анализ мультипроцессорных вычислительных систем   
с  усовершенствованной структурой ............................................................. 282 

7. ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ  С ПРОГРАММИРУЕМОЙ 
СТРУКТУРОЙ ............................................................................................  285 
7.1. Понятие о вычислительных системах с программируемой структурой ..... 285 
7.2. Архитектурные особенности вычислительных систем   
с программируемой структурой ..................................................................... 294 
7.3. Вычислительная система «Минск-222» ......................................................... 314 
7.4. Вычислительная система МИНИМАКС ........................................................ 329 
7.5. Вычислительная система СУММА ................................................................ 342 
7.6. Вычислительные системы семейства МИКРОС ........................................... 354 
7.7. Вычислительные системы семейства МВС ................................................... 367 
7.8. Анализ вычислительных систем  с программируемой структурой ............. 375 

8. ТРАНСПЬЮТЕРНЫЕ  ВЫЧИСЛИТЕЛЬНЫЕ СИСТЕМЫ ...................  377 
8.1. Понятие о транспьютерных вычислительных   системах ............................. 377 
8.2. Архитектура транспьютеров семейств Т200, Т400 и Т800 ........................... 380 
8.3. Система команд транспьютера ....................................................................... 393 
8.4. Параллельная обработка и коммуникации транспьютеров .......................... 401 
8.5. Архитектура транспьютера IMS Т9000 .......................................................... 407 
8.6. Анализ транспьютерных технологий ............................................................. 411 

9. НАДЕЖНОСТЬ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ .................................  412 
9.1. Производительность вычислительных систем .............................................. 412 
9.2. Вычислительные системы со структурной избыточностью ......................... 414 
9.3. Показатели надежности вычислительных систем ......................................... 416 
9.4. О методике расчета показателей надежности вычислительных систем ..... 421 
9.5. Расчет показателей надежности для переходного режима   
функционирования вычислительных систем ................................................ 425 

 Оглавление 
—————————————————————————————————— 

 
7 

9.6. Расчет показателей надежности для стационарного режима  работы 
вычислительных систем ................................................................................. 431 
9.7. Потенциальный контроль вычислительных систем ...................................... 440 
9.8. Численное исследование надежности  вычислительных систем ................. 443 
9.9. Анализ вычислительных систем  со структурной избыточностью ............. 459 

10. ЖИВУЧЕСТЬ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ ...................................  460 
10.1. Живучие вычислительные системы ............................................................. 460 
10.2. Показатели потенциальной живучести  вычислительных систем ............. 463 
10.3. О методике расчета показателей живучести  вычислительных систем .... 467 
10.4. Расчет функции потенциальной живучести  вычислительных систем ..... 471 
10.5. Анализ живучих вычислительных систем ................................................... 476 

11. ОСУЩЕСТВИМОСТЬ РЕШЕНИЯ ЗАДАЧ   
НА ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМАХ ..................................................  477 
11.1. Режимы функционирования вычислительных систем ............................... 477 
11.2. Анализ решения сложных задач  на вычислительных системах ............... 478 
11.3. Анализ обслуживания потока задач  на вычислительных системах ......... 482 
11.4. Оценка потенциальных возможностей вычислительных систем  
по  осуществимости решения задач ............................................................... 487 

12. ТЕХНИКО-ЭКОНОМИЧЕСКАЯ  ЭФФЕКТИВНОСТЬ 
ФУНКЦИОНИРОВАНИЯ  ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ ...............  488 
12.1. Цена быстродействия вычислительных систем .......................................... 488 
12.2. Математическое ожидание бесполезных расходов при эксплуатации 
вычислительных систем ................................................................................. 490 
12.3. Математическое ожидание дохода вычислительных систем ..................... 496 
12.4. Технико-экономическое исследование структур  вычислительных  
систем в условиях потока задач ..................................................................... 499 
12.5. Анализ технико-экономических возможностей вычислительных систем ... 510 

ПРИЛОЖЕНИЯ ...............................................................................................  511 
П.1. Расчет функции надежности вычислительных систем ................................ 511 
П.2. Экспресс-анализ функционирования  вычислительных систем ................. 515 

СПИСОК ЛИТЕРАТУРЫ ..............................................................................  519 

ПРЕДИСЛОВИЕ 

Системы распределенной обработки информации и параллельные вычислительные технологии относятся к базовым средствам ХХI столетия, 
обеспечивающим интенсификацию научно-технического прогресса. 
Предлагаемое учебное пособие посвящено современным и перспективным архитектурным концепциям средств обработки информации. Из 
12 глав учебника только две первые не связаны с параллельными технологиями вычислений. В главе 1 изучается предыстория вычислительной техники, а в главе 2 — архитектура электронных вычислительных машин (ЭВМ), 
или неймановская архитектура средств обработки информации. При описании архитектуры ЭВМ особое внимание уделено концептуальной модели 
вычислителя и семантике понятия «архитектура ЭВМ». Архитектура ЭВМ 
раскрывается через их функциональные структуры и такие характеристики 
эффективности, как производительность, надежность и технико-экономическая эффективность. При этом излагается математический инструментарий для анализа эффективности ЭВМ. Содержание первых двух глав позволяет также глубже понять архитектуру параллельных средств вычислительной техники. Глава 2 является введением для последующих глав, в которых 
изучаются методы анализа эффективности функционирования параллельных вычислительных систем. 
Главы 3–8 посвящены средствам обработки информации, основанным 
на модели коллектива вычислителей. Такие средства называют вычислительными системами (ВС), и они характеризуются массовым параллелизмом 
при обработке информации и реконфигурируемостью (программируемостью) своих структур. В главе 3 изложены концептуальные основы предмета 
«Архитектура ВС», включающие принципы технической реализации модели 
коллектива вычислителей, элементарные понятия параллельного программирования и методику крупноблочного распараллеливания сложных задач. 
В главах 4–8 дано достаточно полное описание таких классов вычислительных систем, как конвейерные, матричные, мультипроцессорные ВС, 
системы с программируемой структурой и транспьютерные ВС. Здесь представлены не только канонические функциональные структуры и промышленные реализации названных классов систем, но приведен качественный 
анализ их архитектурных возможностей и показаны пути их развития. 

Предисловие 
—————————————————————————————————— 

 
9 

В последних главах рассмотрены инженерные методы анализа эффективности функционирования вычислительных систем. В главе 9 описаны ВС 
со структурной избыточностью, введен набор показателей надежности ВС, 
приведены методы расчета этих показателей и в переходном, и в стационарном режимах работы ВС. В главе 10 исследована живучесть ВС как ансамблей элементарных машин, т. е. способность ВС использовать все исправные 
ресурсы (машины) для реализации адаптирующихся параллельных программ. Просто и лаконично изложен континуальный подход к расчету показателей живучести большемасштабных ВС (с массовым параллелизмом). 
Глава 11 посвящена вероятностной теории осуществимости параллельного 
решения задач на неабсолютно надежных вычислительных системах. Наконец, глава 12 знакомит с математически простым аппаратом анализа техникоэкономической эффективности функционирования вычислительных систем.  
В Приложении 1 приведен математический аппарат расчета вероятностных характеристик надежности для переходного режима функционирования ВС. В Приложении 2 описан инструментарий экспресс-анализа эффективности функционирования большемасштабных вычислительных систем. 
Структура пособия и изложение материала позволяют достаточно 
полно раскрыть данную тему, не отсылая читателя к другим источникам. 
Каждая из глав автономна, и для понимания их содержания не требуется тщательное знание предшествующих глав. Если у читателя все же возникнут затруднения, он легко их преодолеет, воспользовавшись ссылкой на 
предшествующий материал.  
Большой опыт работы профессором (более 35 лет), чтение соответствующих курсов лекций в Новосибирском государственном техническом 
университете (1969–1983), Сибирском государственном университете телекоммуникаций и информатики (с 1983 г.) и Новосибирском государственном университете (1995–2002), опыт написания ряда учебных пособий и 
книг, используемых в вузах Содружества независимых государств, — все 
это помогло автору издать настоящее пособие. В нем освещены новейшие 
достижения в области архитектур и организации функционирования параллельных ВС, включающие результаты научной школы автора.  
Учебное пособие «Архитектура вычислительных систем» соответствует государственным образовательным стандартам высшего профессионального образования по направлениям подготовки: бакалавра (магистра) 
552800 «Информатика и вычислительная техника»; дипломированного специалиста 654600 «Информатика и вычислительная техника». 
Автор с благодарностью учтет замечания и примет советы по улучшению книги (105005, Москва, 2-я Бауманская ул., д. 5, Издательство МГТУ 
им. Н.Э. Баумана). 
 

СПИСОК ОСНОВНЫХ СОКРАЩЕНИЙ 

АЛУ — арифметико-логическое устройство 
АУ — арифметическое устройство 
БИС — большая интегральная схема 
БОС — блок операций системы 
ВЗУ — внешнее запоминающее устройство 
ВМ — вычислительная машина 
ВС — вычислительная система 
ВТ — вычислительная техника 
ЗУ — запоминающее устройство 
КОП — код операции 
ЛК — локальный коммутатор 
МКМД — множественный поток команд и множественный поток данных 
МКОД — множественный поток команд и одиночный поток данных 
МП — микропроцессор 
ОБП — обобщенный безусловный переход 
ОЗУ — оперативное запоминающее устройство 
ОКМД — одиночный поток команд и множественный поток данных 
ОКОД — одиночный поток команд и одиночный поток данных 
ОС — операционная система 
ОУП — обобщенный условный переход 
ПО — программное обеспечение 
РН — регистр настройки 
САПР — система автоматизированного проектирования 
СУ — системное устройство 
ЦП — центральный процессор 
ЭВМ —электронная вычислительная машина 
ЭМ — элементарная машина 
ЭП — элементарный процессор 
 

1. ПРЕДЫСТОРИЯ  
ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ 

Электронные вычислительные средства завоевали прочные позиции в жизненно важных сферах деятельности человека — в науке, технике, экономике 
и промышленности. Область применения средств обработки информации 
постоянно расширяется. Возможности вычислительной индустрии в существенной мере определяют научно-технический прогресс. Потребности общества в решении все более сложных задач постоянно растут, и они, в свою 
очередь, стимулируют развитие вычислительных средств. 
Современная индустрия информатики располагает арсеналом средств от 
персональных электронных вычислительных машин (ЭВМ) до высокопроизводительных вычислительных систем (ВС) с массовым параллелизмом, обладающих быстродействием в пределах 1010…1015 опер./с.  
Вычислительная техника развивалась постепенно, в несколько этапов. В главе 
рассматриваются средства вычислительной техники начального этапа (простейшие механические вычислительные приборы, электромеханические машины и ЭВМ); описываются архитектурные особенности первых зарубежных и 
отечественных ЭВМ: ENIAC, EDVAC, МЭСМ, БЭСМ и др. 
 

1.1. Эволюция вычислительной техники 

Развитие человека и общества неразрывно связано с прогрессом в технике вообще и вычислительной технике в частности. Всегда существовала 
тенденция к постоянному усилению физических и вычислительных возможностей человека путем создания орудий, машин и систем машин. Установился своеобразный дуализм в развитии техники, который иллюстрируется 
двумя эволюционными «рядами»: 
• физический ряд: рычаг и простейшие механические орудия → машины (подъемные краны и экскаваторы) → конвейеры (системы машин); 
• вычислительный ряд: простейшие счетные орудия (или приборы, или 
инструменты) → механические и электромеханические вычислительные 

1. Предыстория вычислительной техники 
—————————————————————————————————— 

 
12 

машины → ЭВМ → параллельные вычислительные системы и сети ЭВМ 
(системы ЭВМ). 
В последние десятилетия появилось и развивается физико-вычислительное направление в технике как композиция физического и вычислительного рядов: 
станки с числовым программным управлением → роботы → гибкие 
автоматизированные производства → заводы-автоматы.  
В истории вычислительной техники (ВТ) четко выделяются два периода: 
1) простейшие механические и электромеханические приборы и машины для вычислений; 
2) ЭВМ и параллельные вычислительные системы. 
Первый период — это предыстория современной вычислительной 
техники, его называют также древней историей ВТ. Второй период — это 
новая и новейшая история ВТ. 
Концептуальную основу ЭВМ составляют функциональная структура 
и принципы работы, предложенные в 1945 г. Дж. фон Нейманом. Первые 
ЭВМ были последовательными, машины второго и третьего поколений допускали совмещения во времени выполнения нескольких операций. Вычислительные системы базируются, в частности, на принципе параллелизма при 
обработке информации. И ЭВМ, и ВС постоянно совершенствуются. Современные ЭВМ основываются на архитектурных решениях, существенно 
отличающихся от машины Дж. фон Неймана, и значительно превосходят по 
своим возможностям высокопроизводительные конвейерные ВС 70-х и 80-х 
годов ХХ столетия. Развитие ВС осуществляется в направлении массового 
параллелизма и программируемости структуры (позволяющей адаптировать 
ВС под структуры решаемых задач). 
Итак, для современного этапа развития ВТ характерен дуализм: ЭВМ 
и параллельная ВС. Параллельные ВС являются предметом особого рассмотрения в данной книге. 

1.1.1. Простейшие вычислительные инструменты 

Абак (греч. abax, abakion, лат. abacus — доска) — счетная доска для 
арифметических расчетов — открывает (754/753 г. до н. э.) первый период 
вычислительной техники. В качестве «носителя информации» использовались счетные марки (камешки, кусочки кости, монеты), распределенные по 
полосам доски. Счет осуществлялся передвижением марок в полосах. Абак 
применялся в Древней Греции и Риме, а затем в Западной Европе до XVIII в. 
Аналоги абака — китайский суан-пан и счеты были распространены в странах Дальнего Востока и в России соответственно.