Расчет надежности резервированных магистрально-модульных источников вторичного электропитания

 
Горшков В.Е., Жаднов В.В. 
 
 
 
 
 
 
 
 
 
 
РАСЧЁТ НАДЁЖНОСТИ 
РЕЗЕРВИРОВАННЫХ 
МАГИСТРАЛЬНО-МОДУЛЬНЫХ 
ИСТОЧНИКОВ ВТОРИЧНОГО 
ЭЛЕКТРОПИТАНИЯ 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
СОЛОН-Пресс 
Москва 
2023 

УДК 621.396.6, 621.8.019.8 
ББК 32, 32.85  
         Г708 
 
В. Е. Горшков, В. В. Жаднов 
Г708 
 
Расчёт надёжности резервированных магистрально-модульных 
источников вторичного электропитания. — М.: СОЛОН-Пресс, 
2023 — 116 с.: ил. 
ISBN 978-5-91359-534-8 
В монографии рассмотрены вопросы расчётной оценки надёжности резервированных восстанавливаемых источников вторичного электропитания, 
применяемых в электронных средствах ответственного назначения. На примере 
центров обработки данных показано соответствие показателей их надежности, 
регламентированных в международных стандартах, и показателей надежности, 
регламентированных в отечественном стандарте. На примере серверного оборудования показаны типичные ошибки, допускаемые при оценке надежности 
составных частей центров обработки данных расчетными методами. 
На примере модульного источника бесперебойного питания приведены 
расчеты характеристик надежности его силовых модулей и показателей достаточности системы ЗИП по паспортным данным. Проведен анализ регламентированных в международных стандартах топологий отказоустойчивых систем 
бесперебойного питания и показано, что наряду с резервированием для обеспечения их надежности необходимо учитывать влияние условий и режимов применения источников бесперебойного питания и систем ЗИП. На примере типового силового модуля рассмотрены особенности функционирования его узлов и 
влияние их режимов и условий применения на их надежность и на надежность 
источника бесперебойного питания в целом. 
Рассмотрены типовые способы резервирования силовых модулей в магистрально-модульных источниках вторичного электропитания, а также 
смешанное резервирование с ротацией и способы управления ротацией модулей. Для этих резервированных групп приведены расчеты надежности с 
учетом влияния электрических нагрузок, режимов ожидания и отказов при 
подключениях/переключениях силовых модулей. 
Издание рекомендуется инженерно-техническим и научным сотрудникам служб менеджмента качества предприятий, занимающихся проектированием и производством электронных средств специального и ответственного 
назначения, студентам и магистрантам вузов, а также аспирантам, обучающимся по специальностям, связанными с управлением качеством, проектированием, конструированием и технологиями производства электронных 
средств. 
 
 
 
ISBN 978-5-91359-534-8 
© СОЛОН-Пресс, 2023 
 
© Горшков В.Е., Жаднов В.В., 2023 

Содержание 
Введение 
.....................................................................................................4 
1. Требования отечественных и зарубежных стандартов 
к надежности и подтверждение этих требований расчетными 
методами ....................................................................................................7 
1.1. Требования отечественных и зарубежных стандартов  
к надежности ЦОД ........................................................................................ 8 
1.2. Особенности инженерных расчетов надежности ЦОД 
..................... 19 
2. Отказоустойчивость систем бесперебойного питания ЦОД 
......29 
3. Подсистемы бесперебойного питания на базе модульных  
ИБП 
...........................................................................................................36 
3.1. Оценка надежности ПБП по паспортным данным 
............................ 36 
3.2. Способы восстановления модульных ИБП 
........................................ 50 
4. Силовые модули магистрально-модульных ИБП 
.......................56 
4.1. Функциональная схема силового модуля .......................................... 56 
4.2. Режимы применения СМ и их влияние на характеристики 
надежности .................................................................................................. 59 
5. Типовы виды резервирования силовых модулей  
магистрально-модульных ИБП ..........................................................66 
5.1. Постоянное резервирование «N из M» ............................................... 68 
5.2. Резервирование замещением «N из M» .............................................. 74 
5.3. Смешанное резервирование «N+1+K» ............................................... 76 
6. Резервирование магистрально-модульных ИБП с ротацией 
силовых модулей 
....................................................................................84 
6.1. Резервирование замещением «N из M» с ротацией 
........................... 84 
6.2. Смешанное резервирование «N+1+K» с ротацией ............................ 88 
6.3. Управление ротацией силовых модулей ............................................ 98 
Заключение ........................................................................................... 
109 
Библиографический список 
............................................................... 
111 
 
 

ВВЕДЕНИЕ 
Показатели надёжности электронных средств (ЭС) относятся к 
той группе показателей качества, значения которых можно определить только по результатам либо испытаний на надёжность реальных 
изделий, либо их эксплуатации. Поэтому и номенклатура показателей 
надежности, и способы обеспечения требуемых значений этих показателей изделий регламентируются в соответствующих стандартах. 
Однако это относится, в первую очередь, к изделиям военного и 
специального назначения. Что же касается изделий народнохозяйственного назначения, то в технической документации на них либо 
представлена не полная номенклатура этих показателей, либо они не 
представлены совсем. 
Впрочем, на некоторые народнохозяйственные изделия ответственного назначения и номенклатура, и значения показателей 
надежности стандартизованы. Так, для центров обработки данных 
(ЦОД) в зарубежных стандартах [1] приведена градация ЦОД по 
уровням надежности и отказоустрйчивости, требования к показателям надежности, а также способы их обеспечения. В стандартах [1] 
приведены рекомендации, которым необходимо следовать при проектировании, создании и эксплуатации ЦОД для того, чтобы значение 
показателей надежности было не ниже, чем заявлено в этих стандартах. 
Вместе с тем стандарты [1] не требуют подтверждения показателей надежности ЦОД расчетным путем, т.к. если внешний аудит 
подтвердит выполнение всех требований стандартов [1], то и его показатели надежности будут не ниже требуемых. 
В отличие от стандартов [1], в «Программе обеспечения надёжности аппаратуры при разработке», приведенной в отечественном 
стандарте [2], для подтверждения возможности обеспечения требуемых показателей надёжности используются расчётные методы. Для 
«типовых» задач инженерных расчётов надёжности созданы нормативные документы (отраслевые и ведомственные стандарты), в которых приведены инженерные методики расчётов показателей безотказности, 
ремонтопригодности 
и 
готовности, 
что 
позволяет 
обеспечить не только достоверность и воспроизводимость результатов, но и сделать эти расчёты доступными не только для инженеров4 

Введение 
математиков, но и для инженеров-разработчиков ЭС, в т.ч. и систем 
электропитания. 
Однако реальная практика создания систем электропитания, в 
т.ч. для систем бесперебойного питания (СБП) ЦОД, особенно из покупных источников вторичного электропитания (ИВЭП) в части расчетов надёжности далека от идеала. Одной из причин такого положения дел является то, что даже у зарубежных производителей 
номенклатура характеристик надежности источников бесперебойного 
питания (ИБП), которая приводится в документации на них, часто не 
соответствует стандартам [1], не говоря уже об отечественном стандарте [3], а достоверность значений этих данных вызывает определенные сомнения. 
Сложившаяся ситуация усугубляется тем, что использование 
для расчётов надёжности «сложных» изделий (резервированных, восстанавливаемых и др.) формул, приведенных в отраслевых и ведомственных стандартах (или изданиях по теории надёжности), часто 
приводит к результатам, противоречащим реальной (эксплуатационной) надежности СБП, что вызывает определенные сомнения уже в 
адекватности этих формул. 
Поэтому при оценке возможности применения того или иного 
ИБП необходимо не только удостовериться в достоверности его характеристик надежности, заявленных производителем (или поставщиком), но и в возможности при эксплуатации СБП выполнения тех 
условий (допущений и ограничений), которые были использованы 
при выводе расчетных соотношений. 
Поскольку СБП относятся к резервированным восстанавливаемым изделиям, то среди этих ограничений в первую очередь следует 
выделить требования к системе ЗИП, стратегиям восстановления (непрерывная или периодическая) и способам восстановления (ограниченное или неограниченное). 
Кроме этого, для модульных ИВЭП на надежность влияет вид 
резервирования силовых модулей (СМ), а для некоторых видов резервирования - изменения режимов работы СМ при отказах (постоянное резервирование), отказы резервных СМ при включении (резервирование замещением) и отказы СМ при переключениях между 
режимами работы/ожидания (резервирование с ротацией). 
Такое разнообразие условий, которые необходимо учитывать 
при расчетах надежности модульных ИВЭП, приводит к тому, что не 
то что подобрать стандартизованную формулу, но и использовать 
5 

Введение 
аналитические методы теории надежности не всегда представляется 
возможным. В таких случаях следует применять метод статистического моделирования, рекомендованный в стандарте [4]. 
Поэтому наряду с методиками расчета надежности, приведенными в стандарте [5], для расчетов показателей надежности резервированных ИБП использовалась специально разработанная программа 
[6]. Применение этой программы позволило не только определить 
степень влияния перечисленных выше особенностей работы СМ в резервированных ИВЭП, но оценить эффективность различных видов 
их резервирования. 
 
6 

1. ТРЕБОВАНИЯ ОТЕЧЕСТВЕННЫХ 
И ЗАРУБЕЖНЫХ СТАНДАРТОВ 
К НАДЕЖНОСТИ И ПОДТВЕРЖДЕНИЕ 
ЭТИХ ТРЕБОВАНИЙ РАСЧЕТНЫМИ 
МЕТОДАМИ 
Одной из важных групп показателей качества электронных 
средств являются показатели надежности. Номенклатура этих показателей для различных классов ЭС определена в стандарте [2], но до 
сих пор она является обязательной для ЭС военного и ответственного 
назначения. Что же касается ЭС народнохозяйственного назначения и 
их составных частей (СЧ), то в технической документации на них либо представлена не полная номенклатура этих показателей, либо они 
не представлены совсем. Впрочем, на некоторые классы народнохозяйственных ЭС и номенклатура, и значения показателей надежности 
стандартизованы. Так, для центров обработки данных в стандартах 
[1] приведена градация ЦОД по уровням надежности и требования к 
каждому уровню. 
Поэтому при комплектации отдельных инфраструктур ЦОД 
главным ограничением является надежность СЧ, а, точнее, возможность ее поддержания в течении всего срока эксплуатации ЦОД. Это 
в полной мере относится к СЧ инфраструктуры генерации и распределения электроэнергии, а именно к электрическим устройствам специального назначения, в т.ч. к источникам бесперебойного питания 
(ИБП) [7], т.к. отказ ИБП, как правило, приводит к отказу инфраструктуры, а, следовательно, к простою ЦОД [8] и поэтому к надежности ИБП предъявляются повышенные требования. 
На рынке ИБП для ЦОД представлен широкий спектр ИБП промышленного назначения отечественных и зарубежных производителей, в каждом сегменте которого заявленные поставщиками показатели надежности, как правило, одного порядка. Однако приводимая в 
документации на ИБП номенклатура показателей надежности часто 
не соответствует требованиям стандартов [1] и [3], что не позволяет 
не только обосновать возможность применения ИБП в ЦОД, но даже 
сравнить их между собой. 
7 

1. Требования отечественных и зарубежных стандартов к надежности … 
Поэтому принятие адекватного решения о выборе того или иного ИБП в условиях неполной номенклатуры показателей надежности 
в технической документации на них является непростой задачей 
1.1. Требования отечественных и зарубежных стандартов 
к надежности ЦОД 
Требования к надежности ЭС, приводимые зарубежных стандартах и в отечественных публикациях, имеют различные интерпретации. В качестве примера можно привести стандарты [1], которые 
регламентируют четыре уровня надежности (Tier) для центров обработки данных - см. рис. 1.1. 
 
 
Рис. 1.1. Уровни надежности ЦОД 
 
Что касается отечественного стандарта [3], то в нем приведена 
классификация изделий по признакам, которая определяет выбор показателей надежности. В соответствии с этой классификацией ЦОД 
относится к объектам непрерывного длительного применения 
(НПДП), восстанавливаемых и обслуживаемых. Номенклатура показателей надежности для таких объектов приведена в табл. 1.1. Там же 
приведены англоязычные аналоги этих показателей по стандарту [9]. 
 
Таблица 1.1. Номенклатура нормируемых показателей надежности 
Название показателя 
Обозначение
Название 
(англ.) 
Примечание 
№ 
п/п 
1 
2 
3 
 
1 
Коэффициент готовности 
КГ 
Availability 
Function 
 
8 

1. Требования отечественных и зарубежных стандартов к надежности … 
Название показателя 
Обозначение
Название 
(англ.) 
Примечание 
№ 
п/п 
1 
2 
3 
 
2 
Коэффициент 
технического использования 
КТ.И 
Steady State 
Availability 
Factor 
Задают вместо КГ 
для 
изделий, 
не 
выполняющих 
ответственные функции 
3 
TО 
 
Средняя 
наработка 
на 
отказ 
(наработка на отказ) 
Mean Operating 
Time 
Between 
Failure 
4 
Среднее 
время 
восстановления 
TВ 
Mean Restoration Time 
Задают вместо TО 
при наличии ограничений 
на 
продолжительность 
восстановления 
 
Сравнивая данные, приведенные на рис. 1.1 и в табл. 1.1, можно 
заметить, что они мало соответствуют друг другу. Кроме того, названия показателей в отечественных стандартах [2] и [10] не совпадают 
и это несмотря на то, что первый, введенный позже, в части терминологии хотя и отсылает ко второму, но использует терминологию его 
предшественника! Если в отечественных стандартах присутствует такая путаница в терминологии, то что ж говорить об однозначном толковании терминологии при переводах зарубежных стандартов, тем 
более о многочисленных публикациях, посвященных ЦОД, в которых 
показатель «Availability» трактуют как «надежность», «доступность», 
и, наконец, «отказоустойчивость». 
Что касается термина «доступность», то правомочность его использования вызывает определенные сомнения, т.к. у надежности такого свойства нет (см. стандарт [10]). Тем не менее, Availability часто 
отожествляют с суммарной (минимально-допустимой) наработкой 
ЦОД за год (TНmin), которая характеризует его «годовую доступность», выраженную в процентах. 
При этом другой показатель «Annual Downtime» переводят как 
«годовое время простоя», «годовой простой» и т.п., отожествляя его 
суммарным (максимально-допустимым) временем до восстановления 
ЦОД за год, заданным в часах: 


max
1
2
П
П
П
П
П
1,
max
,
,...,
,...,
k
K
k
K
T
t
t
t
t
 
 
,                                (1.1) 
9 

1. Требования отечественных и зарубежных стандартов к надежности … 
где TПmax - суммарное (максимально-допустимое) время простоя ЦОД 
за год; tПk - суммарное время простоя ЦОД за k-й год; K - число лет 
эксплуатации ЦОД. 
Если исходить из приведенных выше трактовок показателей 
Availability и Annual Downtime, то: 
min
max
Н
П
1 г.=8760
T
T

 
ч.,                                    (1.2) 
где TНmin - суммарное временя работы ЦОД за год; TПmax - суммарное 
время простоя ЦОД за год. 
T
Availability

 
˜
%.,                             (1.3) 
max
П
8760
100
8760
где TПmax - суммарное время простоя ЦОД за год. 
Из (1.3) следует, что при такой связи между этими показателями 
достаточно задать требования только к одному из них, и поэтому нет 
никакого смысла нормировать другой, ни в часах, ни в процентах, что 
опровергает трактовку Availability как «годовую доступность». 
Что касается использования трактовки Availability как характеристики отказоустойчивости ЦОД, то и это вряд ли правомерно, т.к. 
«отказоустойчивость» (Fault Tolerance) - это свойство объекта, которое характеризует способность сохранять работоспособность при отказах его составных частей. В названиях уровней (см. рис. 1.1) явно 
присутствует характеристика отказоустойчивости ЦОД (качественная), но отожествлять ее с показателем Availability (количественным) 
будет также неверно. 
Т.к. уровни характеризуют именно надежность ЦОД, то применение термина «надежность» для Availability хотя и допустимо, но 
вряд ли оправдано. Надежность - комплексное свойство, которое 
включает в себя свойства безотказности ремонтопригодности, долговечности, сохраняемости, восстанавливаемости и готовности [10], поэтому использование термина «надежность» не позволяет определить, какое именно из этих свойств характеризует показатель 
Availability. 
Впрочем, в стандарте [10] приведены эквиваленты стандартизованных терминов на английском языке и, в частности перевод термина «готовность» - «Availability». Таким образом, показатель 
Availability - это количественная характеристика готовности ЦОД. 
В качестве количественных характеристик готовности могут используются следующие комплексные показатели надежности [10]: 
10