Испытания программного обеспечения средств измерений
Покупка
Новинка
Издательство:
АСМС
Автор:
Кудеяров Юрий Алексеевич
Год издания: 2017
Кол-во страниц: 141
Дополнительно
Вид издания:
Учебное пособие
Уровень образования:
ВО - Бакалавриат
ISBN: 978-5-93088-187-5
Артикул: 887596.01.99
Перед работниками метрологических служб появились новые задачи, связанные с необходимостью выполнения законодатель-ных норм в области обеспечения единства измерений, в том числе, с оцениванием свойств и характеристик ПО, используемого в СИ.
Пособие написано на основе лекций, читаемых автором в Академии стандартизации, метрологии и сертификации. Его цель - ознакомить специалистов метрологических служб с имеющимися наработками, относящимися к оцениванию свойств и характеристик ПО СИ.
Пособие предназначено разработчикам и пользователям соответствующего программного обеспечения, а также специалистам государственных центров испытаний средств измерений, а также всем, кто по тем или иным причинам интересуется и занимается проблемами испытаний ПО СИ.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 27.03.01: Стандартизация и метрология
- 27.03.02: Управление качеством
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
АКАДЕМИЯ СТАНДАРТИЗАЦИИ, МЕТРОЛОГИИ И СЕРТИФИКАЦИИ Ю.А. Кудеяров ИСПЫТАНИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ СРЕДСТВ ИЗМЕРЕНИЙ Учебное пособие Москва 2017
УДК 621.317.7.089.6 Кудеяров Ю.А. Испытания программного обеспечения средств измерений: Учебное пособие. 2-е изд., перераб. и доп. – М.: АСМС, 2017. – 140 с. Перед работниками метрологических служб появились новые задачи, связанные с необходимостью выполнения законодательных норм в области обеспечения единства измерений, в том числе, с оцениванием свойств и характеристик ПО, используемого в СИ. Пособие написано на основе лекций, читаемых автором в Академии стандартизации, метрологии и сертификации. Его цель – ознакомить специалистов метрологических служб с имеющимися наработками, относящимися к оцениванию свойств и характеристик ПО СИ. Пособие предназначено разработчикам и пользователям соответствующего программного обеспечения, а также специалистам государственных центров испытаний средств измерений, а также всем, кто по тем или иным причинам интересуется и занимается проблемами испытаний ПО СИ. Автор Кудеяров Юрий Алексеевич, профессор кафедры «Научно-методических основ метрологической службы» АСМС, доктор физико-математических наук, профессор ISBN 978-5-93088-187-5 © АСМС, 2017
ПРЕДИСЛОВИЕ Современные средства измерений (СИ) невозможно представить без программных продуктов, предназначенных для съема, передачи, обработки, хранения и представления измерительной информации. Такое программное обеспечение (ПО) существенно расширяет функциональные возможности СИ и повышает оперативность обработки измерительной информации. Вместе с тем использование ПО в СИ сопряжено с возможным проявлением рисков, обусловленных как собственными свойствами ПО, так и внешними причинами. Эти риски необходимо оценивать и контролировать. Однако до недавнего времени даже для СИ, попадающих в сферу государственного регулирования в области обеспечения единства измерений, при их испытаниях с целью утверждения типа характеристики и свойства ПО в большинстве случаев не исследовались и не устанавливались. В настоящее время ситуация изменилась. В ст. 9 новой редакции Федерального закона РФ «Об обеспечении единства измерений» появилась норма о включении в необходимых случаях в состав обязательных требований к СИ требований к их составным частям, программному обеспечению и условиям эксплуатации. Что имеется в виду под «необходимыми случаями» в законе не указано, однако очевидно, что в первую очередь речь идет о сфере государственного регулирования в области обеспечения единства измерений. Сюда также следует отнести нормы п. 7.1 статьи 7 и п. 2 статьи 9 этого закона о конструкции эталонов единиц величин и средств измерений, которая в целях предотвращения несанкционированных настройки и вмешательства, могущих привести к искажениям воспроизведения, хранения и передачи единицы величины, шкалы величины (шкалы измерений), а также результатов измерений, должна обеспечивать ограничение доступа к их определенным частям (включая программное обеспечение). Задача специалистов метрологических служб заключается в том, чтобы обеспечить выполнение этих законодательных норм. В связи с этим необходимо отметить приказы Минпромторга России от 30.11.2009 № 1081 [2] и от 30.09.2011 № 1326 [2], определяющие как порядок проведения испытаний стандартных
образцов или средств измерений в целях утверждения типа, так и порядок выдачи свидетельств об утверждении типа стандартных образцов или типа средств измерений. Приказ № 1081 устанавливает, что в описании типа СИ должны быть отражены такие параметры ПО (если оно используется), как идентификационные признаки, степень влияния ПО на метрологические характеристики (МХ) СИ и уровень защиты. Положения этого приказа нашли дальнейшее развитие и закрепление в Административном регламенте по предоставлению Федеральным агентством по техническому регулированию и метрологии государственной услуги по утверждению типа стандартных образцов и или типа средств измерений (утвержден приказом Минпромторга России от 25.06.2013 № 970) [4] и в рекомендациях Росстандарта Р 50.2.077–2014 «ГСИ. Испытания средств измерений в целях утверждения типа. Проверка защиты программного обеспечения». Кроме того, во исполнение указанных законодательных норм во Всероссийском научноисследовательском институте метрологической службы (ВНИИМС) были разработаны и утверждены два национальных стандарта ГОСТ Р 8.654–2015 «ГСИ. Требования к программному обеспечению средств измерений. Основные положения» и ГОСТ Р 8.883–2015 «ГСИ. Программное обеспечение средств измерений. Алгоритмы обработки, хранения, защиты и передачи измерительной информации. Методы испытаний». Таким образом, следует констатировать, что перед работниками метрологических служб появились новые задачи, связанные с необходимостью выполнения указанных законодательных норм в области обеспечения единства измерений, в том числе, с оцениванием свойств и характеристик ПО, используемого в СИ. Цель предлагаемого учебного пособия – ознакомление специалистов метрологических служб с имеющимися на данный момент наработками, относящимися к оцениванию свойств и характеристик ПО СИ. Пособие состоит из двух частей. В первой части (главы 1–3) рассмотрены вопросы терминологии, имеющейся нормативной базы и общих требований к программному обеспечению, используемому при обработке измерительной информации. Во второй части (главы 4–7) излагаются типовые методики испытаний, при этом основное внимание уделено методу «черного ящика».
В приложения вынесены материалы, относящиеся к некоторым математическим аспектам испытаний ПО, и материалы реальных испытаний ПО при утверждении типа СИ. В пособии использованы некоторые отечественные разработки, а также публикации Национального института стандартов и технологий США (NIST), Национальной физической лаборатории Великобритании (NPL) и Физико-технического бюро ФРГ (РТВ) по обсуждаемой тематике. Пособие написано на основе лекций, читаемых автором в Академии стандартизации, метрологии и сертификации, и рассчитано на разработчиков и пользователей соответствующего программного обеспечения, а также на специалистов государственных центров испытаний (ГЦИ) средств измерений и тех, кто по тем или иным причинам интересуется и занимается проблемами испытаний ПО СИ. Первая редакция пособия вышла в 2010 г. С тех пор появились новые нормативные документы, относящиеся к ПО СИ, стали использоваться методы испытаний ПО, которые не нашли отражения в первой редакции, кроме того, в определенной степени переосмыслились известные методы. В новой редакции пособия учтены эти изменения, в том числе исправлены замеченные ошибки и неточности. Автор благодарен своим коллегам: заместителю руководителя Федерального агентства по техническому регулированию и метрологии С.С. Голубеву – за научное сотрудничество при сертификации ПО СИ в бытность его начальником лаборатории ВНИИМС; сотрудникам ВНИИМС А.А. Дудыкину, М.В. Козлову, А.Н. Панькову и А.А. Сатановскому – за активное участие в проведении испытаний ПО, за помощь в проведении численных расчетов и многократные обсуждения, а также Ю.В. Стефанову, А.Ю. Стефанову и А.Г. Спроге – за обсуждение требований к ПО СИ.
Часть 1. ОБЩИЕ ТРЕБОВАНИЯ К ПРОГРАММНОМУ ОБЕСПЕЧЕНИЮ СРЕДСТВ ИЗМЕРЕНИЙ Глава 1. Основные понятия, термины и определения, относящиеся к программному обеспечению средств измерений § 1.1. Определение программного обеспечения Прежде чем рассматривать по существу проблему оценивания свойств и характеристик ПО при его испытаниях, необходимо определиться с предметом обсуждения. В разных нормативных документах имеются разные определения ПО СИ. В настоящем учебном пособии под программным обеспечением средств измерений будет пониматься компьютерная программа или совокупность программ, предназначенных для использования в средствах измерений и реализующих, в том числе, сбор, передачу, обработку, хранение и представление измерительной информации, а также программные модули, компоненты и программная документация, необходимые для функционирования этих программ. При этом, например, алгоритм обработки экспериментальных данных (результатов измерений), полученных при измерении, представляет собой последовательность арифметических и логических операций, производимых с этими данными (с учетом априорной информации) с целью определения окончательного результата измерения и характеристик его погрешности. Некоторые программные продукты реализуют только часть функций, перечисленных в определении. В большинстве случаев из всех алгоритмов, реализуемых компьютерной программой, алгоритм обработки экспериментальных данных может оказывать самое существенное влияние на численные результаты обработки. § 1.2. Особенности программного обеспечения, используемого в средствах измерений и при обработке измерительной информации Необходимость испытаний ПО СИ, особенно тех средств, которые попадают в сферу государственного регулирования в обла
сти обеспечения единства измерений, обусловлена рядом особенностей, присущих такому ПО, что отличает его от ПО, применяемого в других областях. Эти особенности сводятся к следующему: 1. Использование ПО в СИ не должно приводить к искажению измерительной информации, другими словами, ПО не должно оказывать влияние на метрологические характеристики СИ или это воздействие должно быть минимальным и оцениваемым. 2. ПО СИ должно быть защищено от преднамеренных и случайных изменений программного кода, измерительной информации, параметров, определяющих тип СИ, конструктивных и других параметров, внесенных в ПО. 3. ПО, используемое в конкретных СИ данного типа, должно обладать необходимыми идентификационными признаками и полностью соответствовать тому, что было установлено при испытаниях СИ с целью утверждении типа. Имеется еще одна особенность, относительно которой нет единого мнения даже о необходимости ее упоминания. Речь идет о затратах и усилиях, требуемых для испытаний ПО. Если эти затраты и усилия становятся сопоставимыми с затратами и усилиями, требуемыми на его разработку, и даже больше, то возникает вопрос о целесообразности такой деятельности. Специалисты РТВ (Физико-технического бюро – ведущего метрологического учреждения Германии) предложили следующий условный критерий: продолжительность и усилия, необходимые для испытаний ПО при утверждении типа СИ должны быть того же порядка, что и усилия, затрачиваемые при таких испытаниях самих СИ. На самом деле все зависит от конкретной ситуации, от свойств конкретного программного продукта. Иногда усилия на испытания могут оказаться и меньше тех, которые сформулированы в предложенном критерии, иногда больше. Во всяком случае, предложенный критерий, несмотря на его условность, может служить неким ориентиром для назначения сроков и цены, необходимых для проведения испытаний ПО СИ. Перечисленные особенности ПО СИ должны лечь в основу решения первой задачи, поставленной ФЗ «Об обеспечении единства измерений» перед специалистами органов, уполномоченных на проведение испытаний ПО СИ (далее – уполномоченных органов), – формулировки требований к программному обеспечению средств измерений.
Несколько слов о терминологии. Основная процедура, которая должна использоваться при оценке свойств и характеристик ПО, – это его испытания, при этом различают сертификационные испытания ПО и его испытания при испытаниях автоматизированных СИ с целью утверждения типа. На самом деле это различие условно. И в том и в другом случае речь идет об одинаковых технических и программных процедурах, но имеются некоторые отличия. В большинстве случаев сертификационные испытания носят более широкий характер в отличие от испытаний с целью утверждения типа, которые ограничиваются только проверкой идентификационных данных и уровня защиты, а также оценкой влияния ПО на МХ СИ. При сертификационных испытаниях, в дополнение к указанным проверкам, может проверяться документация ПО, его структура, разделение на метрологически значимую и незначимую части и другие информационные технологии, взаимодействие между интерфейсами связи и пользователя, исходный код программ. Часто используется также термин «тестирование ПО» как синоним термина «испытания». Это не совсем верно. Под тестированием ПО понимается только серия технических операций (функциональных проверок) для подтверждения соответствия испытываемого ПО и его алгоритмов требованиям нормативных документов. Из сказанного следует, что тестирование является частью испытаний. В пособии этот термин будет употребляться тогда, когда он необходим. В ранних документах, относящихся к ПО СИ, употреблялся термин «аттестация программного обеспечения», иногда речь шла даже о его «метрологической аттестации». Все эти термины в настоящее время являются внесистемными, поскольку в таком исходном нормативном акте, как Закон РФ «Об обеспечении единства измерений» речь идет только об аттестации методик (методов) измерений. Свое отношение к обсуждаемой проблеме выразило управление метрологии Росстандарта в своих письмах от 07.03.2014 № 20/30-464 и от 02.04.2014 № 120/30-915, в которых, в частности, сказано: «…Управление метрологии Росстандарта считает недопустимым осуществление деятельности по подтверждению соответствия ПО СИ в форме аттестации программного обеспечения. В целях соблюдения требований законодательства РФ в области обеспечения единства измерений и фор
мирования единого подхода к оценке свойств и характеристик ПО СИ просим проводить такую оценку в соответствии с действующим законодательством, т.е. либо в виде процедур, предусмотренных Приказом Минпромторга от 30.11.2009 № 1081, регламентирующего порядок проведения испытаний стандартных образцов и средств измерений при утверждении типа, либо в виде процедуры подтверждения соответствия в системах добровольной сертификации». § 1.3. Классификация программного обеспечения Классификация ПО определяется критериями, положенными в ее основу. По отношению к аппаратной реализации различают встроенное ПО и автономное ПО. Встроенное ПО, как правило, предназначено для решения конкретной, частной измерительной задачи. Если ПО встроенное, то вычислительное устройство (микропроцессор) вместе с программным обеспечением, «зашитым» в постоянное запоминающее устройство (ПЗУ) вычислительного компонента, расположены внутри корпуса средства измерений и имеют защищенный интерфейс. Прямой доступ к ПО в большинстве случаев отсутствует. Автономное ПО представляет собой самостоятельный программный продукт, записанный, как правило, на переносных носителях (компакт-диск, флэш-карта и т.п.), который используется в СИ на основе универсального компьютера, в том числе в СИ на основе персонального компьютера (ПК). В общем случае деление ПО на встроенное и автономное носит условный характер, поскольку встречаются измерительные системы, обладающие признаками как того, так и другого. По отношению к некоторым функциональным особенностям можно различать: готовое (коммерческое) ПО; модифицированное коммерческое ПО; пользовательское (заказное) ПО. Готовое (коммерческое) ПО – это ПО, которое приобретено (куплено) и используется без возможности его модификации. К такому ПО относятся, например, программные продукты
Microsoft Excel, Mathcad, Matlab, Mathematica и другие подобные программы. К этой группе можно отнести и встроенное ПО. В модифицированном коммерческом ПО код может быть изменен по отношению к исходному программному продукту для специальных приложений. Примерами такого ПО являются программы, разработанные в Lab Windows, Lab View и др., которые представляют собой, в частности, интегрированную среду программирования измерительных систем. Такие программные продукты могут выступать как ПО виртуальных приборов, представляющих собой компьютер, плату ввода/вывода сигналов и программную среду, разработанную, например, в Lab View. Подобные виртуальные приборы могут использоваться для измерений посредством имитации электрическими сигналами таких физических величин, как напряжение, сила тока, мощность, температура, давление, скорость, ускорение, параметры вибрации и т.п. Пользовательское (заказное) ПО разрабатывается самим пользователем или субподрядчиком и написано на таких языках программирования, как, например, C++, Visual Basic, Database Design, Delphi и др. Такое ПО требует самой тщательной проверки. Можно предложить и другие способы классификации ПО. Так, в национальном стандарте ГОСТ Р 8.654–2015 рассматриваются следующие виды программного обеспечения: ПО СИ, в том числе измерительных и информационноизмерительных систем; ПО автоматизированных систем управления, функционирующих с использованием СИ или компонентов измерительных систем; ПО контроллеров и вычислительных блоков, не входящих в состав измерительных систем, а также технических систем и устройств с измерительными функциями, осуществляющих обработку и представление измерительной информации, и т.д. Если в основу классификации положить другие критерии, такие как, например, режим эксплуатации, стабильность, функциональные возможности, требования к вычислительным возможностям, критичность (см. ниже), использование программных данных и т.п., то для этих целей можно воспользоваться рекомендациями национального стандарта ГОСТ Р ИСО/МЭК 12182–2002 [8].