Обработка экспериментальных данных

Обработка экспериментальных данных

2-е издание, исправленное

Коваленко Т.А.

Национальный Открытый Университет “ИНТУИТ”
2016

2

Обработка экспериментальных данных/ Т.А. Коваленко - М.: Национальный Открытый Университет
“ИНТУИТ”, 2016

На начальном этапе любой научной работы мы проводим эксперименты. Результаты таких
экспериментов требуют всевозможных статистических и логических обработок, которые связаны
подчас со сложными математическими выкладками и программными решениями.
Для решения задач обработки данных используются различные статистические методы: проверка
гипотез, оценивание параметров и числовых характеристик случайных величин и процессов,
корреляционный и дисперсионный анализ. Чтобы решение задачи было проведено качественно,
необходимо провести предварительную обработку данных, для того чтобы не возвращаться повторно
к решению той или иной задачи после получения результатов на последующем этапе обработки.
Чтобы понять, с помощью, какой программы, или каким методом проводить обработку данных,
необходимо помнить, что при наблюдении и проведении эксперимента встречаются ошибки грубые,
систематические и случайные. В зависимости от точности и сложности эксперимента выбираются и
методы обработки данных. Если эксперимент не предполагает особой точности и сложности можно
выбрать простую программу и провести статистическую обработку, если же необходима высокая
точность измерения, то и программу необходимо выбирать более сложную. Другими словами
технология обработки экспериментальных данных зависит от того результата, к которому Вы
стремитесь.

(c) ООО “ИНТУИТ.РУ”, 2013-2016
(c) Коваленко Т.А., 2013-2016

3

Общие сведения об экспериментальных исследованиях

В лекции рассматриваются понятия эксперимента, математической модели
исследования, выборочной оценки, статистической гипотезы. Даются основные
понятия, относящиеся к математической модели, представление о корреляционной
связи и её статистическое изучение.

Введение

В настоящее время жизнь человека настолько насыщена различного рода
информацией. Мы изучаем те или иные объекты исследуем их, а затем пытаемся
объяснить с помощью математических формул и графиков, что мы получили.

В широком смысле слова эксперимент - это средство получения новых знаний об
объектах реального мира, в какой-либо предметной области.

Кроме того, при проведении эксперимента мы стараемся автоматизировать его
обработку, тем самым деятельность человека переходит из реального мира в
электронный формат.

Многочисленная литература по обработке экспериментальных данных сводится к
статистическому расчету этих данных с помощью математической модели. Более того,
часто вводятся новые термины, порой не определяемые или имеющие разные названия
в различных источниках. Много отдельных вопросов по обработке данных
опубликованы в научных журналах, сложным математическим языком и со сложными
математическими выкладками.

Следует отметить, что сейчас есть много всевозможных программ, которые не требуют
таких академических знаний математики, для обработки полученных результатов
вполне хватит знаний высшей школы и знания работы с программным продуктом.

Эксперимент, как таковой ничего не значит, если его правильно не обработать. После
проведения эксперимента начинается самая сложная часть, это обработка его. Для того
чтобы эксперимент считался законченным его необходимо просчитать. Как и каким
способом сделать расчет? А затем представить его результаты, и поможет данная
книга. Кроме того, в нее включены задания по лабораторным работам и варианты
практических работ по исследованию того или иного объекта.

Общие сведения об экспериментальных исследованиях

Цель лекции: Уяснить необходимость экспериментальных исследований наряду с
теоретическими выводами. Ознакомиться с основными требованиями, которые
предъявляются к экспериментальным исследованиям и обработке экспериментов с
помощью математической модели. Рассмотрение требований, которые выполняются
при проведении статистических наблюдений.

Эксперимент является важнейшим средством получения новых знаний не только в

4

области естественных и технических наук, но и в экономике, социологии, политике,
психологии, литературоведении и в других отраслях. Экспериментальные
исследования дают критерии оценки обоснованности и приемлемости на практике
любых теорий и теоретических предположений. Одним из основных этапов любого
эксперимента является обработка экспериментальных данных. Она необходима для
получения ответа на вопрос: “Достоверны ли полученные опытные данные в пределах
требуемой точности или допусков?”.

В зависимости от целей эксперимента (исследование, управление, контроль) могут
быть использованы различные методы анализа объекта или явления. Это необходимо
для прогнозирования состояния в разных условиях функционирования, оптимизации
отдельных параметров, а также для решения каких-то других специфичных задач.
Особенно важна тщательная математическая обработка результатов экспериментов,
подтверждающая теоретические выводы и построения по диссертациям на соискание
ученых степеней.

Применение различных методов обработки экспериментальных данных, критериев
достоверности и адекватности моделей, изучаемым процессам или явлениям, оценка
точности и надежности результатов эксперимента требует знания основных положений
теории вероятностей и математической статистики, умелого использования принципов
и приемов программирования. Кроме того, в связи с усложнением алгоритмов
обработки данных необходимы глубокие знания основных вычислительных методов.

Конечной целью любой обработки экспериментальных данных является выдвижение
гипотез о классе и структуре математической модели исследуемого явления,
определение состава и объема дополнительных измерений, выбор возможных методов
последующей статистической обработки и анализ выполнения основных предпосылок,
лежащих в их основе.

Остановимся на определении математической модели (М.м.).

Математическая модель – это приближённое описание какого-либо класса явлений
внешнего мира, выраженное с помощью математической символики. М. м. — мощный
метод познания внешнего мира, а также прогнозирования и управления. Анализ М. м.
позволяет проникнуть в сущность изучаемых явлений. Процесс математического
моделирования, то есть изучения явления с помощью М. м., можно подразделить на 4
этапа.

Первый этап — формулирование законов, связывающих основные объекты модели.
Этот этап требует широкого знания фактов, относящихся к изучаемым явлениям, и
глубокого проникновения в их взаимосвязи. Эта стадия завершается записью в
математических терминах сформулированных качеств, представлений о связях между
объектами модели.

Второй этап — исследование математических задач, к которым приводят М. м.
Основным вопросом здесь является решение прямой задачи, то есть получение в
результате анализа модели выходных данных для дальнейшего их сопоставления с
результатами наблюдений изучаемых явлений. На этом этапе важную роль

5

приобретают математический аппарат, необходимый для анализа М. м., и
вычислительная техника.

Третий этап — выяснение того, удовлетворяет ли принятая гипотетическая модель
критерию практики, то есть выяснение вопроса о том, согласуются ли результаты
наблюдений с теоретическими следствиями модели в пределах точности наблюдений.
Если модель была вполне определена — все параметры её были заданы, — то
определение уклонений теоретических следствий от наблюдений даёт решения прямой
задачи с последующей оценкой уклонений. Если уклонения выходят за пределы
точности наблюдений, то модель не может быть принята.

Четвёртый этап — последующий анализ модели в связи с накоплением данных об
изучаемых явлениях и модернизация модели. В процессе развития науки и техники,
данные об изучаемых явлениях, всё более и более уточняются, и наступает момент,
когда выводы, получаемые на основании существующей М. м., не соответствуют
нашим знаниям о явлении. В таком случае возникает необходимость построения, более
совершенной математической модели.

Метод математического моделирования, сводящий исследование явлений внешнего
мира к математическим задачам, занимает ведущее место среди других методов
исследования, особенно в связи с появлением ЭВМ. Он позволяет проектировать новые
технические средства, работающие в оптимальных режимах, для решения сложных
задач науки и техники; проектировать новые явления. М. м. проявили себя как важное
средство управления. Они применяются в самых различных областях знания, стали
необходимым аппаратом в области экономического планирования и являются важным
элементом автоматизированных систем управления.

Для разработки современной М.м. необходимо решить некоторые частные задачи,
среди которых можно выделить следующие:

1. Анализ, выбраковка и восстановление аномальных (сбитых) или пропущенных

измерений. Эта задача связана с тем, что исходная экспериментальная
информация обычно неоднородна по качеству. В основной массе результатов
прямых измерений, получаемых с возможно малыми погрешностями, в
экспериментальных данных часто имеются грубые ошибки, вызванные разными
причинами. К ним могут быть отнесены просчеты экспериментатора, сбои
вычислительной техники, аномалии в работе измерительных приборов и т. д. Без
глубокого анализа качества данных, устранения или хотя бы существенного
уменьшения влияния аномальных данных на результаты последующей обработки
можно сделать ложные выводы об изучаемом объекте или явлении.

2. Экспериментальная проверка законов распределения экспериментальных данных,

оценка параметров и числовых характеристик наблюдаемых случайных величин
или процессов. Выбор методов последующей обработки, направленной на
построение и проверку адекватности выбранной модели исследуемому явлению,
существенно зависит от закона распределения наблюдаемых величин. Получаемые
при решении задачи выводы о природе экспериментальных данных могут быть
как общими (независимость измерений, их равноточность, характер погрешностей
и др.), так и содержать детальную информацию о статистических свойствах

6

данных (вид закона распределения, его параметры). Решение центральной задачи
предварительной обработки не является чисто математическим, а требует также и
содержательного анализа изучаемого процесса, схемы и методики проведения
эксперимента.

3. Группировка исходной информации при большом объеме экспериментальных

данных. При этом должны быть учтены особенности их законов распределения,
которые выявлены на предыдущем этапе обработки.

4. Объединение нескольких групп измерений, полученных, возможно, в различное

время или в различных условиях, для совместной обработки.

5. Выявление статистических связей и взаимовлияния различных измеряемых

факторов и результирующих переменных, последовательных измерений одних и
тех же величин. Решение этой задачи позволяет отобрать те, переменные, которые
оказывают наиболее сильное влияние на результирующий признак. Выделенные
факторы используются для дальнейшей обработки, в частности, методами
регрессионного анализа. Анализ корреляционных связей делает возможным
выдвижение гипотез о структуре взаимосвязи переменных и, в конечном итоге, о
структуре модели объекта исследований.

В ходе предварительной обработки, кроме указанных выше задач, часто решают и
другие, имеющие частный характер: отображение, преобразование и унификацию типа
наблюдений, визуализацию многомерных данных и др.

Следует отметить, что в зависимости от конечных целей исследования, сложности
изучаемого явления и уровня априорной информации о нем объем задач, выполняемых
в ходе предварительной обработки, может существенно изменяться. То же самое
можно сказать и о соотношении целей и задач, которые решаются при
предварительной обработке и на последующих этапах статистического анализа,
направленных на построение модели явления.

Так, например, если целью эксперимента является изменение значения неизвестной, но
заведомо постоянной величины путем прямых многократных измерений с помощью
средства измерений с известными характеристиками погрешностей, то полная
обработка результатов измерения ограничивается простейшей предварительной
обработкой данных (оценкой математического ожидания). В то же время, если
измеряемая величина является переменной, а закон распределения погрешностей
измерительного прибора неизвестен, то для решения конечной задачи потребуется
проведение, как предварительной обработки данных, так и применение статистических
методов исследования физических зависимостей.

Для решения задач предварительной обработки используются различные
статистические методы: проверка гипотез, оценивание параметров и числовых
характеристик случайных величин и процессов, корреляционный и дисперсионный
анализ. Для предварительной обработки, оказывающей, как следует из сказанного,
первостепенное влияние на качество решения конечных задач исследования,
характерно итерационное решение основных задач, когда повторно возвращаются к
решению той или иной задачи после получения результатов на последующем этапе
обработки.

7

При обработке числовых массивов результатов эксперимента, как случайных величин,
на практике применяют следующие выборочные оценки[24]:

математическое ожидание

(1.1)

дисперсия

(1.2)

коэффициент асимметрии

(1.3)

коэффициент эксцесса

(1.4)

где 
 значение результата в 
 опыте; 
 - число результатов в массиве; 

 - среднеквадратичное отклонение.

Производная оценка от величины математического ожидания и дисперсии является
коэффициент вариации, определяемый в процентах по формуле:

(1.5)

Дисперсия, среднее квадратичное отклонение и коэффициент вариации являются
количественными характеристиками, оценки рассеивания значений результатов
эксперимента как случайной величины и применяются при изучении различных
действий со случайным исходом. Коэффициент асимметрии и коэффициент эксцесса
являются характеристиками высшего порядка. Первый характеризует “скошенность
распределения”, а второй – степень его “островершинности”

Вычисленные по экспериментально наблюдаемым случайным величинам и случайным
функциям статистические характеристики несут информацию не обо всей генеральной
совокупности, которая в общем случае бесконечна, а лишь о некоторой ее части —
выборке, элементы которой измерены с определенными ошибками. В связи с этим в
результате эксперимента получают лишь некоторые оценки параметров генеральной
совокупности.

8

Следовательно, и любая выборочная оценка — это случайная величина, точность
определения которой и возможные при этом ошибки необходимо контролировать.
Следует также иметь в виду, что вычисленные моменты распределения являются
точечными оценками выборочных величин, так как каждый из них оценивает
параметры генеральной совокупности с помощью единственного числа. Они
позволяют судить о значении вычисленной статистической характеристики в данной
точке и ничего не говорят о возможных пределах варьирования самой оценки.

К вычисляемым в результате эксперимента оценкам случайных величин
предъявляются три основных требования: состоятельности, несмещенности и
эффективности. Полагают, что оценка состоятельна, если с ростом объема выборки она
стремится по вероятности к истинному значению, несмещена, если ее математическое
ожидание стремится к истинному значению, и эффективна, когда оценка обладает
наименьшим рассеянием по сравнению с любыми другими оценками. Из двух оценок
эффективнее та, которая обладает меньшей дисперсией, т. е. значения которой
рассеиваются в более узком интервале.

На уровень рассеивания оценок значительное влияние оказывают ошибки, имеющие
место при эксперименте.

При выборочном наблюдении встречаются ошибки трех видов: грубые,
систематические и случайные.

Грубые ошибки, отличающиеся большим отклонением от центра группирования
выборки, отсеиваются на этапе первичного анализа материалов.

Точность измерений любой физической величины характеризуется, абсолютной 

и относительной 
 ошибками (здесь -истинное значение), которые,

в свою очередь, состоят из суммы систематических  и случайных  ошибок

Систематические ошибки  постоянны при определении каждого члена выборки и
зависят от технического уровня измерительной аппаратуры и техники эксперимента.
Эти ошибки можно свести к минимуму периодической тарировкой приборов с
помощью более совершенных и повышением точности метода определения
исследуемых переменных. Случайные ошибки обусловлены влиянием большого
количества факторов. Их появление неодинаково и случайно от измерения к
измерению и не может быть предварительно учтено из-за их зависимости от изменения
условий измерений и изменчивости самих измеряемых величин. Однако при
достаточно большом количестве экспериментов суммарное значение случайных
ошибок, изменяющихся примерно одинаково в положительную и отрицательную
сторону, приближается к нулю. Случайные ошибки в подавляющем большинстве
подчиняются нормальному закону распределения с математическим ожиданием,
равным “0”.

В практике исследований систематические и случайные ошибки близки друг к другу и
совместно определяют ошибку измерений. При оценке точности измерений
рекомендуется учитывать суммарную ошибку

9

(1.6)

где 
 — среднеквадратическое отклонение случайной величины при числе

измерений n.

Для величин, определяемых косвенно — методом расчета по другим измеренным
случайным величинам, оценка погрешностей осуществляется вычислением
статистических оценок по соответствующим функциональным зависимостям.

Выборочные характеристики
 определяемые на основе ограниченного числа

наблюдений, могут приближаться к истинным значениям характеристик генеральной
совокупности 
 лишь с определенной точностью:

(1.7)

Точность выборочного наблюдения (эксперимента) может задаваться в единицах
измерения исследуемой величины, в единицах выборочного значения 
 и в процентах

исследуемой величины или характеристики.

Систематическая ошибка, будучи постоянной, при этом может не учитываться.

Вероятность того, что истинное значение характеристик генеральной совокупности
находится в отмеченных пределах, равна

(1.8)

и называется надежностью данной оценки .

Так как математическое ожидание любой выборки само является случайной
величиной, то полезно установить такой интервал, в котором с заданной степенью
достоверности будет заключено значение оцениваемого параметра.

Интервал 
, в который в общем случае может быть произвольным 
,

называется доверительными границами, а соответствующая вероятность -
доверительной вероятностью или, как часто говорят, надежностью. Доверительную
вероятность для удобства обозначают как

(1.9)

Соответственно  есть вероятность ошибки, которая на кривой распределения
изображается в виде двух половинок 
.

Вероятность ошибки характеризует долю риска в оценке истинного значения
оцениваемой величины и часто называется уровнем значимости. Для удобства
величину доверительного интервала устанавливают в долях среднеквадратического
отклонения 
. Тогда доверительную вероятность определяют, как площадь,

ограниченную кривой нормального распределения на интервале 
. Используя

формулу стандартного нормального распределения (9)

10