Теория вероятностей и математическая статистика

В. П. Яковлев, Н. Е. Кошелева

Теория вероятностей 
и математическая 
статистика

Учебное пособие

5-е издание, пересмотренное

Москва
Издательско-торговая корпорация «Дашков и К°»
2022

Серия «Учебные издания для бакалавров»

УДК 519.2
ББК 22.17
Я47

Яковлев, Виталий Павлович. 
Теория вероятностей и математическая статистика : 
учебное пособие для бакалавров /  В. П. Яковлев, Н. Е. Кошелева. — 5-е изд., пересм. — Москва : Издательскоторговая корпорация «Дашков и К°», 2022. — 182 с.

ISBN 978-5-394-04978-1.

Дается логически последовательное изложение традиционного курса теории вероятностей и математической статистики, основанное на исследованиях А. Н. Колмогорова по теории сложности нерегулярных последовательностей. Рассмотрены информационные и физические обоснования понятия 
независимости, проблемы регрессионного подхода, оптимизации технического эксперимента, а также актуальные проблемы аналого-цифрового преобразования, распознавания образов и выделения сигнала на фоне шума.
Для студентов бакалавриата, обучающихся по направлениям подготовки, входящим в укрупненную группу «Экономика 
и управление», а также экономистов и инженеров, использующих математическое моделирование.
УДК 519.2
ББК 22.17

Я47

ISBN 978-5-394-04978-1
© Яковлев В. П., 2007
© Яковлев В. П., Кошелева Н. Е., 2022, 
    с изменениями

Рецензенты:
Б. И. Олейников — кандидат технических наук, доцент Российского 
университета кооперации;
Н. А. Веклич — кандидат физико-математических наук, доцент Российского государственного университета нефти и газа имени И. М. Губкина.

Предисловие ............................................................................................................................7

Часть I
ТЕОРИЯ ВЕРОЯТНОСТЕЙ

Глава 1. СЛУЧАЙНЫЕ СОБЫТИЯ .................................................................9
§ 1.1. Определение вероятности ...................................................................9
§ 1.2. Свойства вероятности события ....................................................12
§ 1.3. Свойства статистического ансамбля .......................................19
§ 1.4. Эпсилон-зависимость ...........................................................................25
§ 1.5. Формализация теории вероятностей .....................................29
§ 1.6. Примеры решения задач теории 
вероятностей событий ..........................................................................36
§ 1.7. Кодирование источника сообщений ........................................40
§ 1.8. Информация .................................................................................................46

Глава 2. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ .........................................................49
§ 2.1. Распределение вероятностей ........................................................49
§ 2.2. Непрерывные случайные величины .......................................52
§ 2.3. Классификация..........................................................................................55
§ 2.4. Примеры законов распределения .............................................58
§ 2.5. Критерий трех сигм и доверительный интервал .........61
§ 2.6. Совместное распределение вероятностей .........................63
§ 2.7. Взаимная информация случайных величин ....................65

Глава 3. ФУНКЦИИ ОТ СЛУЧАЙНЫХ ВЕЛИЧИН .....................71
§ 3.1. Расчет плотности вероятностей ..................................................71
§ 3.2. Линейные преобразования случайных величин ..........74
§ 3.3. Многомерное гауссовское распределение ..........................77
§ 3.4. Суммирование случайных величин .........................................80
§ 3.5. Центральная предельная теорема ............................................83

Глава 4. ТЕОРИЯ АНАЛОГО-ЦИФРОВОГО 
ПРЕОБРАЗОВАНИЯ ...........................................................................87
§ 4.1. Оптимизация ................................................................................................87
§ 4.2. Асимптотические соотношения 
при малых шагах равномерного квантования ................89
§ 4.3. Энтропийное кодирование квантованных величин ...91

Часть II
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Глава 5. CТАТИСТИЧЕСКИЕ ПРИЛОЖЕНИЯ ...............................97
§ 5.1. Предмет статистики ..............................................................................97
§ 5.2. Достоверность рейтингов и гистограмм ...............................99

Глава 6. ПРИНЯТИЕ РЕШЕНИЙ В УСЛОВИЯХ 
НЕОПРЕДЕЛЕННОСТИ ................................................................102
§ 6.1. Задача различения гипотез .........................................................102
§ 6.2. Функция правдоподобия ................................................................107
§ 6.3. Распознавание образов ....................................................................114

Глава 7. ВЫДЕЛЕНИЕ СИГНАЛА НА ФОНЕ ШУМА ............118
§ 7.1. Статистическое оценивание ........................................................118
§ 7.2. Максимально правдоподобное оценивание ....................121

Глава 8. РЕГРЕСИОННЫЙ АНАЛИЗ .....................................................127
§ 8.1. Регресионная модель .........................................................................127

§ 8.2. Статистический подход к регрессии ....................................132
§ 8.3. Оценка тенденции ................................................................................135

Глава 9. ПЛАНИРОВАНИЕ 
ТЕХНИЧЕСКОГО ЭКСПЕРИМЕНТА ..............................139
§ 9.1. Экстремальное регулирование .................................................139
§ 9.2. Модификация регрессии ................................................................143
§ 9.3. Статистический анализ регрессии ........................................148
§ 9.4. Алгоритм планирования эксперимента ............................151

Приложения:

1. Формула Стирлинга ............................................................................................154
2. Расчет эпсилон-энтропии случайной величины ........................155
3. Независимые последовательности с половинной 
вероятностью .............................................................................................................159
4. Оценка параметров 
двумерного нормального распределения..........................................162
5. Методические указания к выполнению 
домашних заданий курса “Теория вероятностей 
и математическая статистика” ..................................................................166
Задание 1. 
Расчет частот символов (букв) 
печатного текста .....................................................................166
Задание 2. 
Расчет вероятности ситуации при игре .............169
Задание 3. 
Транспортная задача .........................................................169
Задание 4.  Расчет среднего значения и дисперсии 
по заданной плотности вероятности .....................169
Задание 5. 
Расчет допусков на частоты букв 
с помощью закона Бернулли .......................................169
Задание 6. 
Оценка качества распознавания символов 
текста по частотам отрывков ......................................172
Задание 7. 
Расчет средних частот и их дисперсий 
по результатам для пяти отрывков .......................173

Задание 8. 
Расчет энтропии печатного текста .........................174
Задание 9. 
Повторный эксперимент 
при распознавании образов ..........................................174
Задание 10. Регрессия курса валют .....................................................174
Задание 11. Расчет параметров регрессии 
за период 10–60 дней ..........................................................175
Задание 12. Оценка достаточности 
линейной зависимости ......................................................176
Задание 13. Оценка корреляции 
курсов доллара и евро .......................................................176

ЛИТЕРАТУРА ................................................................................................................179

Предисловие

Все классические математические понятия имеют своими 
корнями физические аналоги. Так, интеграл — это площадь 
или объем, производная — это скорость, мера — результат 
измерения. И только вероятность не имеет физического аналога, поскольку однозначно не определен способ ее измерения. 
Нет четкого определения основного понятия теории вероятности — независимости. Удивительно, но из такого неформализованного понятия как независимость получается уникальное математическое свойство — представление функции двух 
“переменных” — совместной вероятности осуществления двух 
событий — произведением двух функций одной переменной — 
вероятностей каждого события. Отсутствие математического доказательства этого факта часто вводит в заблуждение 
классиков современной физики. Так, в учебнике Л. Д. Ландау, 
Е. М. Лифшица “Статистическая физика” утверждается, что 
“с математической точки зрения статистическая независимость означает, что вероятность составной системы разбивается на вероятности каждой подсистем”.
Вопрос о природе случайного интересует физиков и инженеров до сих пор. Известна дискуссия Эйнштейна и Гайзерберга по этому поводу. Гайзенберг утверждал, что случайность 
присуща природе, материи. Возражая, Эйнштейн говорил, 
что в природе нет ничего случайного, а есть неполное знание 
и шутливо замечал, что по Гайзенбергу “Бог играет в кости со 
Вселенной”. Точка Зрения Эйнштейна получила в последнее 
время подтверждение в рамках теории грубых, или робастных, 
систем. Считается, что при составлении моделей реальных объектов или явлений учитываются только существенные параметры, позволяющие описать реальную ситуацию с требуемой 
точностью. Остальные многочисленные факторы дают “фон”, 

который разумно учитывать с помощью теории вероятностей 
и математической статистики. Этот учет неизбежен, поскольку 
использование математической статистики дает уникальную 
возможность оценить достоверность, надежность выводов, сделанных на основании модели. Получается, что случайность — 
это неучтенная “определенность”, неопознанная детерминированность. В связи с этим возникает сомнение относительно 
общепринятого противопоставления случайного и детерминированного. Логичнее считать, что методы теории вероятности 
вполне применимы и к детерминированным объектам, но дают 
лишь частичное описание. Этот вывод весьма актуален в связи с тем, что практически повсеместно при моделировании на 
компьютере используются вполне детерминированные псевдослучайные последовательности.
Необходимость строгого математического обоснования те-
ории вероятностей и математической статистики стали очевидны для А. Н. Колмогорова уже после разработки аксиоматической теории вероятностей. С целью преодоления существующих 
парадоксов в течение 80-х гг. прошлого столетия учениками его 
школы была разработана соответствующая теория. Она позволила дать строгое определение понятия случайного и детерминированного, описать математически феномен независимости. 
В предлагаемом пособии предпринята попытка в максимально 
доступной форме изложить эти подходы и проиллюстрировать их пригодность для решения современных задач теории 
аналого-цифрового преобразования, передачи информации по 
каналам связи, распознавания образов, обработки данных измерений, регрессионного анализа и планирования технического эксперимента с целью оптимизации производственного процесса.

Часть I
ТЕОРИЯ ВЕРОЯТНОСТЕЙ

Глава 1. Случайные события

§ 1.1. Определение вероятности

Случайным называется событие, которому можно приписать вероятность. Известно, что определение физической величины сводится к описанию способа ее измерения. Это положение в полной мере относится к вероятности. Рассматриваются 
испытания, которые можно повторять многократно. Совсем необязательно самим проводить испытания, можно просто за 
ними наблюдать или даже воображать их проведение. Классическим примером являются азартные игры. При бросании монеты “орел” может выпасть или не выпасть; если на него сделана ставка, его выпадение — благоприятное событие. При игре 
“в кости” бросается кубик (он заменил употреблявшуюся ранее 
кость с явно выраженными шестью гранями). В результате может произойти одно из шести событий — выпадение помеченной цифрой грани. Здесь само испытание осуществляется при 
нашем непосредственном участии. Кубик может иметь неравнозначные грани. Если нас интересует наличие некоторой породы в керне, мы должны воспользоваться результатами испытаний, проведенных, возможно, с другими целями, а не для 
поиска нужной нам породы, то есть здесь мы практически не 
участвуем в проведении испытаний.
Вероятность определяется путем анализа результатов серии из N испытаний, результаты испытаний можно трактовать 

как выход некоторого генератора испытаний или источника событий. Результаты можно наблюдать в последовательные моменты времени на выходе одного источника. Кроме того, можно вообразить набор источников, расположенных в различных 
точках пространства, выходы которых фиксируются в один и 
тот же момент времени. Мыслимы также различные комбинации приведенных способов получения результатов испытаний, 
или проведения эксперимента.
Дадим определение вероятности события на основе анализа результатов испытаний, часто называемое классическим. 
Итак, в серии из N испытаний n раз фиксировался некоторый, 
скажем, благоприятный для нас исход. Рассмотрим частоту 
pn = n/N; если при безграничном увеличении N величина pn все 
ближе к некоторому значению р, то говорят, что событие, которое характеризует благоприятный исход, имеет вероятность, 
равную р.
Классическому определению можно придать строгую математическую формулировку. Рассматривается бесконечная 
бинарная последовательность a1, a2, … aN, …, члены которой могут принимать значения 0 или 1. Если ai = 1, будем говорить, что 
реализуется событие; с точки зрения математика событие — 
абстрактное понятие, не отражающее какой-либо практический смысл. Рассмотрим расходящийся ряд a1 + a2 + … + aN + … 
с частными суммами

Если существует предел последовательности

будем считать, что событие случайно, а p его вероятность. Разумеется, вообще говоря, один и тот же предел p имеют многие последовательности a1, a2, …. aN, их совокупность образует 
статистический ансамбль; всякая последовательность из этого 
ансамбля однозначно его определяет. Кроме того, конкретное 

значение ai нельзя отождествить с единственной последовательностью, оно принадлежит всему ансамблю, поэтому можно 
считать, что реализации ai получены от разных источников, в 
частности, при наличии достаточно большого числа последовательностей в ансамбле, величинам ai можно поставить в соответствие разные источники событий.
Из приведенного определения следуют выводы, существенные для теории вероятностей и математической статистики. Во-первых, к теории вероятностей следует отнести 
изучение свойств пределов случайных последовательностей, 
а математическая статистика рассматривает задачу аппроксимации, то есть возможность оценки статистических характеристик, в первую очередь вероятности p, по конечному числу N членов последовательности ансамбля a1, a2, … aN. 
Во-вторых, отнесение данного объекта к разряду случайных 
объектов и реализация “экспериментов” по определению конкретных значений вероятностей не относятся математике; ее 
задачи формулируются после аксиоматического определения 
исследуемых объектов и их свойств, так что последовательность a1, a2, …, aN считается заданной. Наконец, в третьих, в 
состав ансамбля по определению входят последовательности, 
члены которых определяются однозначно по заранее заданному правилу или алгоритму, в том числе периодические последовательности. В качестве примера для случая p = 0,5 приведем последовательность 101010…, полученную повторением 
набора 10, для которой вероятность получается не только для 
N → ∞, но уже при N = 2;4;6;…. Аналогичными свойствами 
обладают и другие периодические последовательности, например, последовательность 10011001… имеет период N0 = 4. 
Таким образом, детерминированные, или псевдослучайные 
последовательности относятся к случайным, и на вполне законных основаниях могут использоваться в качестве полноценных представителей ансамбля, определяющих все его 
характеристики. Разумеется, особенности псевдослучайных 
последовательностей как членов ансамбля определяются далеко не полностью, их отнесение к ансамблю дает лишь неко

торые их черты. Однако противопоставление на основе такого 
положения детерминированных и случайных объектов ничем 
не оправдано.

§ 1.2. Свойства вероятности события

Математика изучает взаимодействие математических 
объектов, в данном случае таковыми предстают случайные 
события, отождествляемые с бинарными последовательностями. Но операции над последовательностями возможны лишь в 
случае, если проведена их общая нумерация: при заданном номере i однозначно определены члены ai и bi разных последовательностей. В соответствие с аналогией нумерации и осуществления последовательных испытаний в эксперименте логично 
говорить о появлении двух событий в одном эксперименте, и 
соответствующих бинарных последовательностей ai и bi. Рассмотрим некоторые определения и результаты, характеризующие взаимодействие случайных событий.
Определение 1. Два события A и B равны, если ai = bi.
Определение 2. Сумма, или объединение двух событий есть 
событие C = A + B, происходящее тогда и только тогда, если 
реализуется событие A или B. Таким образом, последовательность ci получается из ai и bi по правилу: ci = 1, если ai = 1, bi = 0, 
или ai = 0, bi = 1, или ai = 1, bi = 1, однако ci = 0, если ai = bi = 0. Таким образом, сложение членов последовательностей осуществляется по правилам булевой алгебры.
Определение 3. События A и B несовместимы (ортогональны), если реализация A исключает реализацию B, а реализация B подразумевает невозможность реализации A; однако “не 
реализация” A не исключает “не реализацию” B. Этот означает, 
что при ai = 1 должно быть bi = 0, а при bi = 1 обязательно ai = 0. 
Bозможны несколько событий, несовместимых с A, поскольку 
при некоторых i могут быть ai = bi = 0.
Определение 4. Событие A считается достоверным, если 
оно реализуется в любом испытании. В этом случае ai = 1 при 
любом i.

Определение 5. Событие A считается невозможным, если 
оно не реализуется ни при каком испытании, то есть ai = 0 при 
любом i.
Определение 6. Событие C = A · B является произведением 
или пересечением событий A и B, если оно реализуется лишь в 
случае осуществления A и B. Таким образом, ci получается из ai 
и bi обычным умножением: сi = aibi.
Определение 7. Событие A следует из события B, если появление B означает и появление A. Таким образом, в последовательности для A содержатся все единицы последовательности события B, поэтому A “богаче” B, и может быть использован 
символ “>”:  A > B означает, что A следует из B.
Определение 8. Пусть A > B. Событие 
 считается дополнением B до A, если оно несовместимо с B, и 
. Таким 
образом, последовательность для 
 включает те единицы A, 
которые не вошли в B. Если A — достоверное событие, то 
 
обозначается без символа внизу — 
 и называется событием, 
противоположным B, поскольку единицам последовательности 
для B соответствуют нули последовательности для 
, а нули 
последовательности для B соответствуют единицам последовательности для .
Определение 9. Пусть A, B — два события, A · B — их произведение, 
 — дополнения соответственно до A и B произведения A · B. Событие 
 называется симметричной разностью событий A и B.
Определение 10. Набор событий A1, A2, ... An считается полным, если исходом эксперимента может быть одно из них, и 
никакое другое. При объединении таких событий получается 
последовательность, состоящая из одних единиц, то есть достоверное событие.
Рассмотрим некоторые факты теории вероятностей, характеризующие понятие вероятности как предела частоты при 
безграничном увеличении числа испытаний. Их предваряет 
фундаментальное понятие независимости, лежащее в основе 
практически всех исследований в теории вероятностей и математической статистике.

Определение 11. События A и B независимы, если вероятность их пересечения P(A · B), называемая совместной вероятностью событий A и B, равна произведению вероятностей P(A) 
и P(B) событий A и B:

P(A · B) = P(A)P(B).

Определение 12. Условной вероятностью события A при условии реализации события B с вероятностью P(B) называется 
отношение

Используя бинарные последовательности ai, bi, ci = aibi соответственно событий A, B, C = A · B, получим:

Согласно теореме о пределе отношения:

Сумма в знаменателе задает число единиц последовательности bi, реализованных за N испытаний. Очевидно, величина 
предела не изменится, если в числителе сумму единиц последовательности aibi заменить суммой единиц последовательности ai, приходящихся на единицы bi, т. е. отбросить те ai, которые 
приходятся на нули bi. Распространяя суммирование на единицы bi, можно записать соотношение: