Теория вероятностей и математическая статистика

В. П. Яковлев, Н. Е. Кошелева

Теория вероятностей 
и математическая 
статистика

Учебное пособие

5-е издание, пересмотренное

Москва
Издательско-торговая корпорация «Дашков и К°»
2022

Серия «Учебные издания для бакалавров»

УДК 519.2
ББК 22.17
Я47

Яковлев, Виталий Павлович. 
Теория вероятностей и математическая статистика : 
учебное пособие для бакалавров /  В. П. Яковлев, Н. Е. Кошелева. — 5-е изд., пересм. — Москва : Издательскоторговая корпорация «Дашков и К°», 2022. — 182 с.

ISBN 978-5-394-04978-1.

Дается логически последовательное изложение традиционного курса теории вероятностей и математической статистики, основанное на исследованиях А. Н. Колмогорова по теории сложности нерегулярных последовательностей. Рассмотрены информационные и физические обоснования понятия 
независимости, проблемы регрессионного подхода, оптимизации технического эксперимента, а также актуальные проблемы аналого-цифрового преобразования, распознавания образов и выделения сигнала на фоне шума.
Для студентов бакалавриата, обучающихся по направлениям подготовки, входящим в укрупненную группу «Экономика 
и управление», а также экономистов и инженеров, использующих математическое моделирование.
УДК 519.2
ББК 22.17

Я47

ISBN 978-5-394-04978-1
© Яковлев В. П., 2007
© Яковлев В. П., Кошелева Н. Е., 2022, 
    с изменениями

Рецензенты:
Б. И. Олейников — кандидат технических наук, доцент Российского 
университета кооперации;
Н. А. Веклич — кандидат физико-математических наук, доцент Российского государственного университета нефти и газа имени И. М. Губкина.

Предисловие ............................................................................................................................7

Часть I
ТЕОРИЯ ВЕРОЯТНОСТЕЙ

Глава 1. СЛУЧАЙНЫЕ СОБЫТИЯ .................................................................9
§ 1.1. Определение вероятности ...................................................................9
§ 1.2. Свойства вероятности события ....................................................12
§ 1.3. Свойства статистического ансамбля .......................................19
§ 1.4. Эпсилон-зависимость ...........................................................................25
§ 1.5. Формализация теории вероятностей .....................................29
§ 1.6. Примеры решения задач теории 
вероятностей событий ..........................................................................36
§ 1.7. Кодирование источника сообщений ........................................40
§ 1.8. Информация .................................................................................................46

Глава 2. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ .........................................................49
§ 2.1. Распределение вероятностей ........................................................49
§ 2.2. Непрерывные случайные величины .......................................52
§ 2.3. Классификация..........................................................................................55
§ 2.4. Примеры законов распределения .............................................58
§ 2.5. Критерий трех сигм и доверительный интервал .........61
§ 2.6. Совместное распределение вероятностей .........................63
§ 2.7. Взаимная информация случайных величин ....................65

Глава 3. ФУНКЦИИ ОТ СЛУЧАЙНЫХ ВЕЛИЧИН .....................71
§ 3.1. Расчет плотности вероятностей ..................................................71
§ 3.2. Линейные преобразования случайных величин ..........74
§ 3.3. Многомерное гауссовское распределение ..........................77
§ 3.4. Суммирование случайных величин .........................................80
§ 3.5. Центральная предельная теорема ............................................83

Глава 4. ТЕОРИЯ АНАЛОГО-ЦИФРОВОГО 
ПРЕОБРАЗОВАНИЯ ...........................................................................87
§ 4.1. Оптимизация ................................................................................................87
§ 4.2. Асимптотические соотношения 
при малых шагах равномерного квантования ................89
§ 4.3. Энтропийное кодирование квантованных величин ...91

Часть II
МАТЕМАТИЧЕСКАЯ СТАТИСТИКА

Глава 5. CТАТИСТИЧЕСКИЕ ПРИЛОЖЕНИЯ ...............................97
§ 5.1. Предмет статистики ..............................................................................97
§ 5.2. Достоверность рейтингов и гистограмм ...............................99

Глава 6. ПРИНЯТИЕ РЕШЕНИЙ В УСЛОВИЯХ 
НЕОПРЕДЕЛЕННОСТИ ................................................................102
§ 6.1. Задача различения гипотез .........................................................102
§ 6.2. Функция правдоподобия ................................................................107
§ 6.3. Распознавание образов ....................................................................114

Глава 7. ВЫДЕЛЕНИЕ СИГНАЛА НА ФОНЕ ШУМА ............118
§ 7.1. Статистическое оценивание ........................................................118
§ 7.2. Максимально правдоподобное оценивание ....................121

Глава 8. РЕГРЕСИОННЫЙ АНАЛИЗ .....................................................127
§ 8.1. Регресионная модель .........................................................................127

§ 8.2. Статистический подход к регрессии ....................................132
§ 8.3. Оценка тенденции ................................................................................135

Глава 9. ПЛАНИРОВАНИЕ 
ТЕХНИЧЕСКОГО ЭКСПЕРИМЕНТА ..............................139
§ 9.1. Экстремальное регулирование .................................................139
§ 9.2. Модификация регрессии ................................................................143
§ 9.3. Статистический анализ регрессии ........................................148
§ 9.4. Алгоритм планирования эксперимента ............................151

Приложения:

1. Формула Стирлинга ............................................................................................154
2. Расчет эпсилон-энтропии случайной величины ........................155
3. Независимые последовательности с половинной 
вероятностью .............................................................................................................159
4. Оценка параметров 
двумерного нормального распределения..........................................162
5. Методические указания к выполнению 
домашних заданий курса “Теория вероятностей 
и математическая статистика” ..................................................................166
Задание 1. 
Расчет частот символов (букв) 
печатного текста .....................................................................166
Задание 2. 
Расчет вероятности ситуации при игре .............169
Задание 3. 
Транспортная задача .........................................................169
Задание 4.  Расчет среднего значения и дисперсии 
по заданной плотности вероятности .....................169
Задание 5. 
Расчет допусков на частоты букв 
с помощью закона Бернулли .......................................169
Задание 6. 
Оценка качества распознавания символов 
текста по частотам отрывков ......................................172
Задание 7. 
Расчет средних частот и их дисперсий 
по результатам для пяти отрывков .......................173

Задание 8. 
Расчет энтропии печатного текста .........................174
Задание 9. 
Повторный эксперимент 
при распознавании образов ..........................................174
Задание 10. Регрессия курса валют .....................................................174
Задание 11. Расчет параметров регрессии 
за период 10–60 дней ..........................................................175
Задание 12. Оценка достаточности 
линейной зависимости ......................................................176
Задание 13. Оценка корреляции 
курсов доллара и евро .......................................................176

ЛИТЕРАТУРА ................................................................................................................179

Предисловие

Все классические математические понятия имеют своими 
корнями физические аналоги. Так, интеграл — это площадь 
или объем, производная — это скорость, мера — результат 
измерения. И только вероятность не имеет физического аналога, поскольку однозначно не определен способ ее измерения. 
Нет четкого определения основного понятия теории вероятности — независимости. Удивительно, но из такого неформализованного понятия как независимость получается уникальное математическое свойство — представление функции двух 
“переменных” — совместной вероятности осуществления двух 
событий — произведением двух функций одной переменной — 
вероятностей каждого события. Отсутствие математического доказательства этого факта часто вводит в заблуждение 
классиков современной физики. Так, в учебнике Л. Д. Ландау, 
Е. М. Лифшица “Статистическая физика” утверждается, что 
“с математической точки зрения статистическая независимость означает, что вероятность составной системы разбивается на вероятности каждой подсистем”.
Вопрос о природе случайного интересует физиков и инженеров до сих пор. Известна дискуссия Эйнштейна и Гайзерберга по этому поводу. Гайзенберг утверждал, что случайность 
присуща природе, материи. Возражая, Эйнштейн говорил, 
что в природе нет ничего случайного, а есть неполное знание 
и шутливо замечал, что по Гайзенбергу “Бог играет в кости со 
Вселенной”. Точка Зрения Эйнштейна получила в последнее 
время подтверждение в рамках теории грубых, или робастных, 
систем. Считается, что при составлении моделей реальных объектов или явлений учитываются только существенные параметры, позволяющие описать реальную ситуацию с требуемой 
точностью. Остальные многочисленные факторы дают “фон”, 

который разумно учитывать с помощью теории вероятностей 
и математической статистики. Этот учет неизбежен, поскольку 
использование математической статистики дает уникальную 
возможность оценить достоверность, надежность выводов, сделанных на основании модели. Получается, что случайность — 
это неучтенная “определенность”, неопознанная детерминированность. В связи с этим возникает сомнение относительно 
общепринятого противопоставления случайного и детерминированного. Логичнее считать, что методы теории вероятности 
вполне применимы и к детерминированным объектам, но дают 
лишь частичное описание. Этот вывод весьма актуален в связи с тем, что практически повсеместно при моделировании на 
компьютере используются вполне детерминированные псевдослучайные последовательности.
Необходимость строгого математического обоснования те-
ории вероятностей и математической статистики стали очевидны для А. Н. Колмогорова уже после разработки аксиоматической теории вероятностей. С целью преодоления существующих 
парадоксов в течение 80-х гг. прошлого столетия учениками его 
школы была разработана соответствующая теория. Она позволила дать строгое определение понятия случайного и детерминированного, описать математически феномен независимости. 
В предлагаемом пособии предпринята попытка в максимально 
доступной форме изложить эти подходы и проиллюстрировать их пригодность для решения современных задач теории 
аналого-цифрового преобразования, передачи информации по 
каналам связи, распознавания образов, обработки данных измерений, регрессионного анализа и планирования технического эксперимента с целью оптимизации производственного процесса.

Часть I
ТЕОРИЯ ВЕРОЯТНОСТЕЙ

Глава 1. Случайные события

§ 1.1. Определение вероятности

Случайным называется событие, которому можно приписать вероятность. Известно, что определение физической величины сводится к описанию способа ее измерения. Это положение в полной мере относится к вероятности. Рассматриваются 
испытания, которые можно повторять многократно. Совсем необязательно самим проводить испытания, можно просто за 
ними наблюдать или даже воображать их проведение. Классическим примером являются азартные игры. При бросании монеты “орел” может выпасть или не выпасть; если на него сделана ставка, его выпадение — благоприятное событие. При игре 
“в кости” бросается кубик (он заменил употреблявшуюся ранее 
кость с явно выраженными шестью гранями). В результате может произойти одно из шести событий — выпадение помеченной цифрой грани. Здесь само испытание осуществляется при 
нашем непосредственном участии. Кубик может иметь неравнозначные грани. Если нас интересует наличие некоторой породы в керне, мы должны воспользоваться результатами испытаний, проведенных, возможно, с другими целями, а не для 
поиска нужной нам породы, то есть здесь мы практически не 
участвуем в проведении испытаний.
Вероятность определяется путем анализа результатов серии из N испытаний, результаты испытаний можно трактовать 

как выход некоторого генератора испытаний или источника событий. Результаты можно наблюдать в последовательные моменты времени на выходе одного источника. Кроме того, можно вообразить набор источников, расположенных в различных 
точках пространства, выходы которых фиксируются в один и 
тот же момент времени. Мыслимы также различные комбинации приведенных способов получения результатов испытаний, 
или проведения эксперимента.
Дадим определение вероятности события на основе анализа результатов испытаний, часто называемое классическим. 
Итак, в серии из N испытаний n раз фиксировался некоторый, 
скажем, благоприятный для нас исход. Рассмотрим частоту 
pn = n/N; если при безграничном увеличении N величина pn все 
ближе к некоторому значению р, то говорят, что событие, которое характеризует благоприятный исход, имеет вероятность, 
равную р.
Классическому определению можно придать строгую математическую формулировку. Рассматривается бесконечная 
бинарная последовательность a1, a2, … aN, …, члены которой могут принимать значения 0 или 1. Если ai = 1, будем говорить, что 
реализуется событие; с точки зрения математика событие — 
абстрактное понятие, не отражающее какой-либо практический смысл. Рассмотрим расходящийся ряд a1 + a2 + … + aN + … 
с частными суммами

Если существует предел последовательности

будем считать, что событие случайно, а p его вероятность. Разумеется, вообще говоря, один и тот же предел p имеют многие последовательности a1, a2, …. aN, их совокупность образует 
статистический ансамбль; всякая последовательность из этого 
ансамбля однозначно его определяет. Кроме того, конкретное