Математическая статистика и анализ данных
Покупка
Тематика:
Математическая статистика
Издательство:
Издательский Дом НИТУ «МИСиС»
Автор:
Максимова Ольга Владимировна
Год издания: 2023
Кол-во страниц: 172
Дополнительно
Пособие представляет теоретический курс с охватом базовых тем математической статистики, необходимых для изучения дальнейших дисциплин по специальности. В нем рассматриваются современные методы сбора, систематизации и обработки результатов наблюдений со справочной информацией использования программного модуля Excel. Материал сопровождается практическими примерами и задачами, а также историческими
сведениями и списком источников. Пособие адаптировано для сжатого изложения. Предназначено для студентов специальностей 28.03.01 «Нанотехнологии и микросистемная техника», 28.03.03 «Наноматериалы», 03.03.02 «Физика», 11.03.04 «Электроника и наноэлектроника», 22.03.01 «Автоматизация технологических процессов и производств (в машиностроении)» Института новых материалов и нанотехнологий.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 03.03.02: Прикладная математика и информатика
- 11.03.04: Электроника и наноэлектроника
- 22.03.01: Материаловедение и технологии материалов
- 28.03.01: Нанотехнологии и микросистемная техника
- 28.03.03: Наноматериалы
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ РФ № 4442 УНИВЕРСИТЕТ НАУКИ И ТЕХНОЛОГИЙ МИСИС ИНСТИТУТ БАЗОВОГО ОБРАЗОВАНИЯ Кафедра математики О.В. Максимова МАТЕМАТИЧЕСКАЯ СТАТИСТИКА И АНАЛИЗ ДАННЫХ Учебное пособие Рекомендовано редакционно-издательским советом университета Москва 2023
УДК 519.22 М17 Р е ц е н з е н т д-р техн. наук, проф., советник генерального директора ФГБУ «Институт стандартизации», профессор МГИМО МИД России И.З. Аронов Максимова, Ольга Владимировна. М17 Математическая статистика и анализ данных : учеб. пособие / О.В. Максимова. – Москва : Издательский Дом НИТУ МИСИС, 2023. – 172 с. Пособие представляет теоретический курс с охватом базовых тем математической статистики, необходимых для изучения дальнейших дисциплин по специальности. В нем рассматриваются современные методы сбора, систематизации и обработки результатов наблюдений со справочной информацией использования программного модуля Excel. Материал сопровождается практическими примерами и задачами, а также историческими сведениями и списком источников. Пособие адаптировано для сжатого изложения. Предназначено для студентов специальностей 28.03.01 «Нанотехнологии и микросистемная техника», 28.03.03 «Наноматериалы», 03.03.02 «Физика», 11.03.04 «Электроника и наноэлектроника», 22.03.01 «Автоматизация технологических процессов и производств (в машиностроении)» Института новых материалов и нанотехнологий. УДК 519.22 Максимова О.В., 2023 НИТУ МИСИС, 2023
Содержание Обозначения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 РАЗДЕЛ 1.Случайные события и их вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.1. Предмет теории вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2. Случайные события . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 1.3. Вероятность случайных событий, их свойства . . . . . . . . . . . 14 1.4. Независимые и зависимые случайные события, условная вероятность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 РАЗДЕЛ 2. Случайные величины и их числовые характеристики . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.1. Понятие случайной величины . . . . . . . . . . . . . . . . . . . . . . . . 24 2.2. Системы случайных величин. Независимые случайные величины . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 2.3. Числовые характеристики случайных величин . . . . . . . . . . 34 РАЗДЕЛ 3. Законы распределения случайных величин . . . . . . . . 40 3.1. Законы распределения ДСВ . . . . . . . . . . . . . . . . . . . . . . . . . . 40 3.2. Законы распределения НСВ . . . . . . . . . . . . . . . . . . . . . . . . . . 47 РАЗДЕЛ 4. Предельные теоремы теории вероятностей . . . . . . . . 56 4.1. Законы распределения НСВ (продолжение) . . . . . . . . . . . . . 56 4.2. Предельные теоремы теории вероятностей . . . . . . . . . . . . . . 59 4.3. Законы распределения НСВ, часто применяемые в математической статистике . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64 РАЗДЕЛ 5. Выборочный метод . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.1. Задачи и терминология математической статистики . . . . . . 70 5.2. Точечные оценки параметров генеральной совокупности, их свойства. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 5.3. Понятие доверительного интервала . . . . . . . . . . . . . . . . . . . . 80 РАЗДЕЛ 6. Доверительные интервалы . . . . . . . . . . . . . . . . . . . . . 82 6.1. Доверительный интервал (продолжение раздела 5) . . . . . . . 82 6.2. Доверительный интервал для математического ожидания . . . 83 6.3. Доверительный интервал для дисперсии. . . . . . . . . . . . . . . . 90 6.4. Доверительный интервал для вероятности успеха в серии независимых испытаний . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 3
РАЗДЕЛ 7. Проверка параметрических гипотез для одной выборки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 7.1. Вводные формулы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 7.2. Основные понятия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98 7.3. Проверка параметрических гипотез. Случай одной выборки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 РАЗДЕЛ 8. Проверка параметрических гипотез для двух выборок. Критерий согласия Пирсона 2 (хи-квадрат) . . . . . . . . 111 8.1. Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 8.2. Параметрические гипотезы для двух выборок . . . . . . . . . . 112 8.3. Критерий согласия Пирсона 2 (хи-квадрат) . . . . . . . . . . . . 121 РАЗДЕЛ 9. Основы корреляционно-регрессионного анализа . . . 126 9.1. Что изучает корреляционно-регрессионный анализ . . . . . 126 9.2. Корреляционный анализ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 9.3. Регрессионный анализ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 Библиографический список . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142 Приложение 1. Формулы, связанные с теоремами сложения и умножения вероятностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 П1.1. Формула полной вероятности (ФПВ) . . . . . . . . . . . . . . . . 144 П1.2. Формула Байеса . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145 П1.3. Формула Бернулли . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146 Приложение 2. Зависимость случайных величин . . . . . . . . . . . . 148 П2.1. Функции от случайных величин. Нормальный закон для линейного преобразования случайной величины . . . . . . . . 148 П2.2. Ковариация. Свойства математического ожидания и дисперсии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 Приложение 3. Методы получения точечных оценок. Первичный анализ данных . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 П3.1. Метод моментов и метод максимального правдоподобия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 П3.2. Систематизация и начальная обработка данных . . . . . . . 152 Приложение 4. Статистики и значения функций некоторых распределений в Excel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157 Приложение 5. Основные законы распределения . . . . . . . . . . . . 158 Приложение 6. Табулированные таблицы распределений . . . . . 159 4
ОБОЗНАЧЕНИЯ k n C число сочетаний из n по k k n n C k n k ! ! ! достоверное событие (пространство элементарных исходов) A событие, противоположное событию A P(A) вероятность события A P | A B вероятность события A при условии, что произошло событие B F(x) функция распределения случайной величины (F(x) = P( < x)) f(x) функция плотности вероятности случайной величины M математическое ожидание случайной величины D дисперсия случайной величины Mo мода случайной величины xp квантиль уровня p: F(xp) = p Me медиана случайной величины (квантиль уровня 0,5, т.е. F(x0,5) = 0,5) среднеквадратическое (стандартное) отклонение cov(X, Y) ковариация случайных величин X, Y rXY коэффициент корреляции случайных величин X, Y B(p) закон распределения Бернулли с параметром p Bi(n, p) биномиальный закон распределения с параметрами n, p G(p) геометрический закон распределения с параметром p 5
П() закон распределения Пуассона с параметром Exp() показательный (экспоненциальный) закон распределения с параметром R[a, b] равномерный закон распределения с параметрами a, b N(m, 2) нормальный закон распределения с параметрами m, 2 (закон Гаусса) t(k) закон распределения Стьюдента с k степенями свободы 2(k) закон 2-распределения Пирсона с k степенями свободы F(k1, k2) закон распределения Фишера с k1 и k2 степенями свободы (x) функция Лапласа H0, H1 основная и альтернативная (конкурирующая) гипотезы соответственно уровень значимости (вероятность ошибки I рода) доверительная вероятность (уровень надежности, = 1 – ) вероятность ошибки II рода начало и конец доказательства (*) пример 6
ПРЕДИСЛОВИЕ Пора выбрать стратегию «МОЖЕТ БЫТЬ» и приступить… Я.И. Хургин. Да, нет или может быть… Каждый день мы принимаем решения, анализируя ситуацию вокруг нас. Иногда мы даже не замечаем, что приняли какое-то решение, основываясь на полученной извне информации. И если результат оказался не очень удачным, пеняем на плохую информацию или просто невезение. Ввиду этого не только в своей повседневной жизни, но и в профессиональной деятельности, мы стараемся придавать решениям бо\льшую надежность, хотя в некоторых ситуациях интуиция не срабатывает. Повысить точность принимаемых решений можно, применив иногда даже очень простую статистическую модель и статистические методы. Как только математика вступает в практическую область, она сразу воплощается в сборе, описании, моделировании и предсказании реальных процессов. Именно в статистике она обретает силу, выходя за пределы идеализированных и оторванных от жизни формул и расчетов. Знание основ курса «Математическая статистика и анализ данных» (МСиАД) способствует развитию у студентов навыков принятия решений на основе статистического мышления. Этот курс знакомит студентов с терминологией теории вероятностей и математической статистики, важными статистическими законами распределения и основами корреляционно-регрессионного анализа. Между тем потребность изучения МСиАД также продиктована необходимостью систематизации у студентов знаний, приобретения умений и формирования компетенций в области принятия решений на основе статистического мышления, при выборе лучшей альтернативы из нескольких возможных, а также при изучении в дальнейшем таких дисциплин, как «метрология», «статистическое управление 7
процессами» и др. Помимо этого, знания, полученные студентами при изучении курса, могут быть использованы ими в ходе выполнения дипломной работы, а также при формировании и дальнейшем развитии комплекса собственных профессиональных и научных интересов в рамках индивидуальной образовательной траектории. Настоящее учебное пособие содержит сжатое изложение базовых тем теории вероятностей с продвижением и углублением в разделы статистики, сопровождающимися помимо практических примеров и справочной информации использованием программного модуля Excel для обработки результатов наблюдений, исторической справкой и полезными ссылками на дополнительные литературные источники. Учебное пособие косвенно состоит из двух блоков, в первом блоке содержится три раздела, во втором – шесть. В первом блоке даются базовая терминология и необходимые в дальнейшем теоремы теории вероятностей. Второй блок пособия посвящен изложению стандартных приемов сбора и систематизации данных, а также подходам к их анализу, раскрывающим возможности изучения в дальнейшем современных математических методов в этой сфере. К некоторым разделам дополнительный материал можно найти в приложениях. Учебное пособие предназначено для студентов второго года обучения Института новых материалов и технологий (ИНМиН), изучающих дисциплину МСиАД. Кроме того, отдельные материалы пособия могут быть востребованы студентами других факультетов университета, осваивающих и применяющих основы математической статистики. Автор будет благодарен за критические замечания и выявление недочетов, которые можно направлять по следующему адресу: ov.maksimova@misis.ru. 8
РАЗДЕЛ 1 СЛУЧАЙНЫЕ СОБЫТИЯ И ИХ ВЕРОЯТНОСТЬ В мире господствует случай и одновременно действуют порядок и закономерность, которые формируются из массы случайностей согласно законам случайного. А. Реньи. Трилогия о математике 1. Случайное событие служит «качественной» оценкой эксперимента. 2. Изучение закономерностей в случайных экспериментах начинается с построения математической модели этих экспериментов. 3. Любая модель начинается с задания вероятностного пространства, и выясняется множество всех возможных результатов данного эксперимента. 4. Определяется подход к расчету вероятности интересующего нас события. Затем рассматриваются те подмножества этого множества, которые влекут наступление интересующих нас событий. 5. Если событие сложное (представляется суммой/произведением некоторых событий Ai), то его вероятность можно попытаться вычислить с помощью теорем сложения и умножения. Для применения этих теорем важно заранее определить и учитывать совместность и зависимость событий Ai. 1.1. Предмет теории вероятностей Часто в нашей повседневной жизни, произнося слова наподобие «Вероятно, завтра я пойду на лекцию по теории вероятностей», мы определенно, сознательно или бессознательно, приписываем, исходя из собственного опыта, некоторую вероятность событию «завтра я пойду на лекцию по теории вероятностей». Но эта веро9
ятность должна быть оценена с помощью совокупности сведений, благоприятствующих и не благоприятствующих этому событию, которые учитываются при подсчете вероятности. Ваше решение пойти на данную лекцию может зависеть отчасти от погодных условий именно в этот день, от того, успеете ли вы покормить вашего кота или вообще успеете ли проснуться к началу лекции, от пробок по пути на дороге и многого другого. Таким образом, ваше решение по отношению к этой конкретной лекции служит результатом взаимодействия многих факторов, иногда непредсказуемых. С таким типом неопределенных событий мы встречаемся, когда неизвестно, какой из законов случайных событий действует в данном конкретном случае. Другое дело, когда мы подбрасываем обычную игральную кость. Результат ее падения случаен и не может быть определен заранее. Но с равной уверенностью можно ожидать появления одного из шести очков. Иметь дело с такими событиями, вообще говоря, несложно. Результат такого эксперимента диктуется законом случайных событий, проявляющемся в этом частном случае. В первом примере мы встречаемся с событиями, которые нельзя повторить многократно в одних и тех же условиях, в отличие от второго. Во втором примере мы имеем возможность в одинаковых условиях не только многократно, а сколько угодно раз производить наблюдения. Но и их результат заранее (до совершения эксперимента) точно определить нельзя. Однако вполне правдоподобно, что с увеличением числа наблюдений частота наступления этого события будет мало и несистематически меняться. Установлено, что случайные события в массе своей подчиняются некоторым общим неслучайным закономерностям, главная из которых – свойство статистической устойчивости: если некоторое событие A может произойти в результате эксперимента, то доля экспериментов, в которых данное событие произошло, с ростом общего числа экспе10