Теория вероятностей и математическая статистика

  А.П. КОЛДАНОВ
  П.А. КОЛДАНОВ
ТЕОРИЯ
ВЕРОЯТНОСТЕЙ
И МАТЕМАТИЧЕСКАЯ
СТАТИСТИКА



  2-е издание, электронное





     ИЗДАТЕЛЬСКИЙ ДОМ
 ВЫСШЕЙ ШКОЛЫ ЭКОНОМИКИ

        МОСКВА, 2024

УДК 519.2(075.8)
ББК 22.17я7
    К60



                 Рукопись подготовлена в рамках грантового проекта НИУ ВШЭ
                               по изданию авторских учебников
                                Рецензенты:
           доктор физико-математических наук, профессор факультета экономических наук
     Национального исследовательского университета «Высшая школа экономики» А. С. Шведов;
              доктор физико-математических наук, профессор кафедры математической
          статистики Московского государственного университета имени М. В. Ломоносова
                               Ю. С. Хохлов



    Колданов, Александр Петрович.
К60    Теория вероятностей и математическая статистика / А. П. Колданов, П. А. Кол     данов ; Нац. исслед. ун-т «Высшая школа экономики». — 2-е изд., эл. — 1 файл
     pdf : 249 с. — Москва : Изд. дом Высшей школы экономики, 2024. — (Учебники
    Высшей школы экономики). — Систем. требования: Adobe Reader XI либо Adobe
     Digital Editions 4.5 ; экран 10". — Текст : электронный.
      ISBN 978-5-7598-2829-7
      В учебнике изложены основные разделы теории вероятностей и математической
     статистики, составляющие базовый курс этого предмета. Особенность учебника заклю     чается в равномерном распределении материала теории вероятностей и математической
     статистики. Сделан акцент на построении и анализе вероятностных моделей. При изло    жении математической статистики уделено внимание свойствам процедур статистиче     ского вывода. Излагается современный метод построения текстов, основанный на р-зна     чениях. Выделен круг задач, для которых возможно построение оптимальных процедур
     статистического анализа. Все основные понятия и результаты проиллюстрированы
     подробно рассмотренными примерами. В конце каждой главы приведены задачи для
     самостоятельного решения.
       Для студентов вузов и всех, кто хочет овладеть методами теории вероятностей и
     математической статистики.

                                            УДК 519.2(075.8)
                                              ББК 22.17я7

     Электронное издание на основе печатного издания: Теория вероятностей и математическая
      статистика / А. П. Колданов, П. А. Колданов ; Нац. исслед. ун-т «Высшая школа экономики». —
     Москва : Изд. дом Высшей школы экономики, 2023. — 245 с. — (Учебники Высшей школы эко      номики). — ISBN 978-5-7598-2544-9. — Текст : непосредственный.





В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений, установленных техническими средствами защиты авторских прав, правообладатель вправе требовать от нарушителя возмещения убытков или выплаты компенсации.

ISBN 978-5-7598-2829-7       © Национальный исследовательский
                                    университет «Высшая школа экономики»,
                                   2023

                ОГЛАВЛЕНИЕ




Предисловие .  .. . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .   9

Введение .  .. . . . . .  .. . . . .  .. . . .  .. . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  11

Глава 1. Случайные события. Вероятность .  .. . . .  ..  .. . . . .  .. . . . .  .. . . . . .  14
  1.1. Вероятностное пространство .  .. . . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  14
      1.1.1. Пространство элементарных исходов и случайные события  14
      1.1.2. Операции над событиями .  .. . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  16
      1.1.3. Алгебра. σ-алгебра  .  .. . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . .  .. . .  17
      1.1.4. Аксиоматика теории вероятностей .  .. . . . . . . .  .. . . . .  .. . . . . .  19
  1.2. Способы задания вероятности .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  20
      1.2.1. Классический способ задания вероятности .  .. . . . . .  .. . . . . .  20
      1.2.2. Дискретное вероятностное пространство .  .. . . . . . . .  .. . . . . .  23
      1.2.3. Геометрический способ задания вероятности.  .. . . . .  .. . . . . .  25
      1.2.4. Абсолютно непрерывное вероятностное пространство.  .. . . .  27
      1.2.5. Частота и вероятность.  .. . . . . . .  .. . . .  ..  .. . . . . .  .. . . . .  .. . . . . .  28
  1.3. Простейшие формулы теории вероятностей.  .. . . . . .  .. . . . .  .. . . . . .  29
      1.3.1. Простейшие следствия из аксиом .  .. . . . . . . . .  .. . . . .  .. . . . . .  29
      1.3.2. Теорема сложения .  .. . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  30
      1.3.3. Условная вероятность и ее свойства.  .. . . . . . .  .. . . . .  .. .  .. . . .  32
      1.3.4. Теорема умножения .  .. . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  34
      1.3.5. Формула полной вероятности и формула Байеса.  .. . . . . . . .  35
  1.4. Независимость случайных событий .  .. . . . . .  .. . . . . .  .. . . . .  .. . . . . .  37
      1.4.1. Независимые события и их свойства .  .. . . . . .  .. . . . .  .. . . . . .  37
      1.4.2. Типы связи между случайными событиями .  .. . . . . .  .. . . . . .  39
      1.4.3. Независимость в совокупности .  .. . . . .  ..  .. . . . .  .. . . . .  .. . . . . .  40
      1.4.4. Биномиальное распределение .  .. . . . . .  .. . . . . .  .. . . . .  .. . . . . .  41
      1.4.5. Схема Бернулли.  .. . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  42
  1.5. Задачи к главе 1 .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  ..  .. . . .  .. . . . . .  44

Глава 2. Случайные величины. Распределения .  .. . . . . . .  .. . . . .  .. . . . . .  47
  2.1. Случайные величины  .  .. . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  47
      2.1.1. Определение случайной величины на дискретном
          вероятностном пространстве .  .. . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . .  47
      2.1.2. Типичные дискретные случайные величины  .  .. . . . .  .. . . . . .  48
      2.1.3. Определение случайной величины на произвольном
          вероятностном пространстве .  .. .  .. .  .. . . . . .  .. . . . .  .. . . . .  .. . . .  51
  2.2. Функция распределения .  .. . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  54
      2.2.1. Свойства функции распределения  .  .. . . . . . . .  .. . . . .  .. . . . . .  54
      2.2.2. Разложение функции распределения и типы
          случайных величин  .  .. . . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . .  57

                                5

                                   Оглавление

  2.3. Дискретные случайные величины .  .. . . . . . .  .. . . . . .  .. . . . .  .. . . . . .  59
  2.4. Непрерывные случайные величины .  .. . . . . .  .. . . . . .  .. . . . .  .. . . . . .  60
      2.4.1. Свойства плотности распределения  .  .. . . . . . .  .. . . . .  .. . . . . .  60
      2.4.2. Типичные непрерывные случайные величины .  .. . . .  .. . . . . .  61
      2.4.3. Вывод распределения случайного времени работы
          сложной системы без учета эффекта усталости .  .. . . . .  .. . . .  62
  2.5. Многомерные распределения .  .. . . . . .  .. . . . .  .. . . .  .. .  .. . . . .  .. . . . . .  65
      2.5.1. Свойства многомерной функции распределения  .  .. . . . . . . .  66
      2.5.2. Типичные случайные векторы.  .. . . . . .  .. . . . . .  .. . . . .  .. . . . . .  69
  2.6. Типы связи случайных величин .  .. . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  71
      2.6.1. Маргинальное распределение .  .. . . . . .  .. . . . . .  .. . . . .  .. . . . . .  72
      2.6.2. Независимость случайных величин .  .. . . . . . .  .. . . . .  .. . . . . .  74
      2.6.3. Стохастическая связь  .  .. . . . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  75
      2.6.4. Функции случайной величины .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  78
  2.7. Функции случайного вектора.  .. . . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  80
       2.7.1. Распределение суммы. Формула свертки .  .. . . . . . . .  .. . . .  .. .  81
       2.7.2. Распределение отношения .  .. . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  82
  2.8. Задачи к главе 2 .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  85

Глава 3. Числовые характеристики  .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  87
  3.1. Математическое ожидание .  .. . . . . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  87
      3.1.1. Свойства математического ожидания .  .. . . . . .  .. . . . .  .. . . . . .  90
  3.2. Дисперсия .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  92
      3.2.1. Свойства дисперсии.  .. . . .  .. . . . .  .. . . . .  .. . . . .  ..  .. . . . .  .. . . . . .  93
  3.3. Неравенство Чебышева.  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  96
  3.4. Закон больших чисел .  .. . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . .  98
  3.5. Моменты распределения и другие характеристики.  .. . . . .  .. . . . . .  99
  3.6. Числовые характеристики случайного вектора .  .. . . . . . . .  .. . .  ..  .. . 101
      3.6.1. Свойства ковариации .  .. . . . . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 101
      3.6.2. Коэффициент корреляции и его свойства  .  .. . . . . . .  .. . . . . . 103
  3.7. Условное математическое ожидание.  .. . . . . .  .. . . . . .  .. . . . .  .. . . . . . 105
  3.8. Задачи к главе 3 .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 109

Глава 4. Предельные теоремы.  .. . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 112
  4.1. Предельные теоремы в схеме Бернулли.  .. . . . . . . . .  .. . . . .  .. . . . . . 112
      4.1.1. Предельный переход от гипергеометрической
         формулы к биномиальной формуле . . . . . .  .. . . . .  .. . . . .  .. . . . 112
      4.1.2. Теорема Пуассона  .  .. . . . .  .. . . . .  .. . . . .  .. . . . . .  .. .  .. . .  .. . . . . . 114
      4.1.3. Теоремы Муавра–Лапласа.  .. . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 115
  4.2. Характеристические функции  .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 116
  4.3. Центральная предельная теорема.  .. . . . . . . .  .. . . . . .  .. . . . .  .. . . . . . 120
  4.4. Задачи к главе 4 .  .. . . . .  .. . . . . .  .. . .  .. .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 123

                                6

                                   Оглавление


Глава 5. Выборка и ее характеристики  .  .. . . . . . .  .. . . . . .  .. . . . .  .. . . . . . 125
  5.1. Задачи математической статистики .  .. . . . . .  .. . . . . .  .. . . . .  .. . . . . . 125
  5.2. Статистическая структура и выборка  .  .. . . .  .. . . . . .  .. . . . .  .. . . . . . 127
  5.3. Выборочные аналоги функции распределения и моментов  .  .. . . . 131
  5.4. Частота и вероятность  .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  ..  .. . . . . 135
  5.5. Задачи к главе 5 .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 142

Глава 6. Оценивание .  .. . . . .  .. . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 144
  6.1. Задача оценивания параметров  .  .. . . .  .. . . . .  .. . . . . .  .. . . .  ..  .. . . . . . 144
  6.2. Метод моментов  .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 146
  6.3. Метод разделяющих разбиений .  .. . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 149
  6.4. Оценки максимального правдоподобия  .  .. . . . . . . . .  .. . . . .  .. . . . . . 151
  6.5. Байесовские оценки  .  ..  .. . . . . . .  .. .  .. . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 156
  6.6. Свойства оценок .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 157
      6.6.1. Несмещенность  .  .. . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 158
      6.6.2. Эффективность.  .. . . .  .. . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 160
      6.6.3. Состоятельность.  .. . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 165
      6.6.4. Асимптотическая нормальность .  .. . . .  .. . . . . .  .. . . . .  .. . . . . . 168
  6.7. Доверительные интервалы .  .. . . . . . . .  .. . . . .  .. .  .. .  .. .  .. . . . .  .. . . . . . 171
       6.7.1. Неравенство Чебышева и доверительные интервалы.  .. . . . . 171
       6.7.2. Доверительный интервал для математического ожидания
          нормального закона при известной дисперсии .  .. . . . . .  .. . . . 172
       6.7.3. Доверительный интервал для дисперсии
          нормального распределения .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . 175
       6.7.4. Асимптотические доверительные интервалы .  .. . . . .  .. . . . . . 175
  6.8. Асимптотические свойства эмпирической
     функции распределения  .  .. . . . . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . 176
  6.9. Задачи к главе 6 .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 177

Глава  7. Тесты значимости .  .. . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 181
  7.1. Гипотезы и тесты  . . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . .  .. .  .. . . . . . 181
  7.2. Доверительные интервалы и проверка гипотез .  .. . . . . . . .  .. . . . . . 182
  7.3. Тесты значимости и принцип выбора критической области .  .. . . . 183
  7.4. Критерий χ2. . . . .  .. . . .  .. . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 185
  7.5. Критерии Колмогорова и Смирнова .  .. . . . . .  .. . . . . .  .. . . . .  .. . . . . . 191
  7.6. Вероятностное интегральное преобразование .  .. . . .  .. . . . .  .. . . . . . 194
   7.7. Тесты λ Пирсона . . . . .  .. . . . . . .  .. . . . .  .. .  .. .  ..  .. . . . . .  .. . . . .  .. . . . . . 195
  7.8. Моделирование случайных величин  .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 200
  7.9. Задачи к главе 7 .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 201

Глава 8. Оптимальные тесты  .  .. . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 205
  8.1. Понятие оптимальности .  .. . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 205
  8.2. Фундаментальная лемма Неймана–Пирсона .  .. . . . .  .. . . . .  .. . . . . . 208

                                 7

                                   Оглавление

  8.3. Равномерно наиболее мощные тесты .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 215
  8.4. Функция мощности.  .. . . . . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 221
  8.5. Несмещенность .  .. . . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 223
  8.6. Тест максимального правдоподобия .  .. . .  .. . .  .. . . . . .  .. . . . .  .. . . . . . 231
  8.7. Достаточные статистики.  .. . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 234
  8.8. Задачи к главе 8 .  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 237

Список литературы.  .. . .  .. . . .  .. . . .  .. . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 239

Предметный указатель.  .. . . . .  .. . . . . .  .. . . . .  .. . . . .  .. . . . . .  .. . . . .  .. . . . . . 240

               ПРЕДИСЛОВИЕ




   Учебник содержит общий курс теории вероятностей и математической
статистики, предусмотренный образовательными программами «Прикладная математика и информатика» и «Бизнес-информатика» Национального
исследовательского университета «Высшая школа экономики». Отметим
ряд особенностей предлагаемого курса. Прежде всего, материал между теорией вероятностей и математической статистикой распределен равномерно,
в то время как в имеющихся учебниках теории вероятностей традиционно
уделяется большее внимание. Изучение математической статистики начинается с оценки числа наблюдений, необходимых для надежной оценки
вероятности частотой, что подчеркивает общую цель получения практически достоверных выводов. Предлагаются вероятностная и статистическая
трактовки неравенства Чебышева, что облегчает, на наш взгляд, понимание доверительных интервалов. Подчеркнуто значение универсального
преобразования к равномерному закону и его применение к построению
тестов проверки равномерности, которые позволяют лучше понять роль
альтернативы при построении тестов проверки гипотез.
   Подробно изучаются подход Неймана–Пирсона и экспоненциальные
семейства распределений. Приводятся условия, при которых применение
тестов приводит к надежным выводам при анализе реальных наблюдений.
В части, связанной с теорией вероятностей, подчеркивается отличие аксиоматического определения вероятности от способов ее задания. Обсуждаются различные варианты введения пространства элементарных исходов.
Делается акцент на построении и анализе вероятностных моделей. Выделяются условия, при которых типовые вероятностные модели адекватны
реальным задачам; в частности, приводится подробный вывод экспоненциального распределения как вероятностной модели времени безотказной
работы сложной системы без учета эффекта усталости. При изложении
предельных теорем подчеркивается связь типовых вероятностных моделей;
в частности, включен предельный переход от гипергеометрического к биномиальному распределению. Вместе с тем мы ограничились доказательством центральной предельной теоремы для независимых одинаково распределенных случайных величин, которого достаточно для статистического
анализа повторной выборки. В годовой курс, по понятным причинам, не
включены также «случайные процессы», «регрессионный анализ» и другие
важные направления теории вероятностей и математической статистики.
Доказательства основных теорем проводятся обычным образом, при необходимости даются соответствующие ссылки. При этом авторы опираются,
в основном, на учебники [6, 16] и монографии [9, 11].

                                  Предисловие

   Учебник состоит из восьми глав. После каждой главы приведены задачи,
которые служат для более детального изучения отдельных вопросов курса,
и в этом случае на них даны ссылки в тексте. Кроме того, включены задачи,
которые, на наш взгляд, обязательно должны быть детально разобраны
на практических занятиях. Разумеется, они не исчерпывают набор задач,
обычно решаемых на практических занятиях.
   Формулы, рисунки, таблицы и задачи имеют двухступенчатую нумерацию: номер главы; номер формулы, рисунка, таблицы или задачи. Определения, примеры, теоремы, следствия и свойства имеют трехступенчатую
нумерацию: номер главы; номер раздела; номер определения, примера,
теоремы, следствия или свойства.
   Предлагаемый учебник написан на основе лекционных и практических
занятий, проводимых авторами на протяжении последних 10 лет в НИУ
ВШЭ — Нижний Новгород. Он предназначен прежде всего студентам
второго курса образовательных программ «Прикладная математика и информатика», «Бизнес-информатика», «Программная инженерия». Учебник
может быть полезен студентам, обучающимся по другим образовательным
программам, предусматривающим изучение теории вероятностей и математической статистики на базе обычного курса математического анализа,
студентам магистерской программы «Интеллектуальный анализ данных»,
а также всем тем, кто хотел бы научиться грамотно применять методы
вероятностного и статистического анализа и оценивать степень надежности
результатов их применения.