Теория случайных процессов : марковские цепи

№ 2331          МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РФ
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ
     «НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ «МИСиС»

   Кафедра инженерной кибернетики

   В.В. Шихеева






                Теория случайных процессов




            Марковские цепи


  Учебное пособие



  Допущено УМО по образованию в области прикладной математики и управления качеством в качестве учебного пособия для студентов высших учебных заведений, обучающихся по направлению 231300 - Прикладная математика





ИЗДАТЕЛЬСКИЙ ДОМ

Москва 2013

УДК 519.216 Ш65



Рецензент
д-р физ.-мат. наук, проф. И.В. Артамкин (НИУ ВШЭ)




     Шихеева, В.В.
Ш65    Теория случайных процессов : марковские цепи : учеб. по     собие / В.В. Шихеева. - М. : Изд. Дом МИСиС, 2013. - 70 с.
        ISBN 978-5-87623-736-1




          В учебном пособии рассмотрены решения некоторых интересных задач из раздела «Марковские цепи» курса «Теория случайных процессов». Перед условием каждой задачи приведены краткие определения. Дополнительно прилагается список условий задач по всему курсу «Теория случайных процессов».
          Содержание пособия соответствует программе курса «Теория случайных процессов».
          Предназначено для студентов специальности 230401 «Прикладная математика».

УДК 519.216

ISBN 978-5-87623-736-1

© В.В. Шихеева, 2013

ОГЛАВЛЕНИЕ

1. Марковское свойство случайного процесса.............. 5
2. Свойства состояний марковской цепи.................. 13
3. Пуассоновский поток событий......................... 31
4. Процессы рождения и гибели и их инифинитезимальные параметры.............................................. 37
5. Уравнения Колмогорова для процессов рождения и гибели..
6. Задачи по курсу «Теория случайных процессов»......... 52
Литература ............................................ 69

3

Предисловие


     Пособие представляет собой разбор решений ряда интересных задач по теории случайных процессов, возникших при изложении курса «Теория случайных процессов» студентам третьего года обучения НИТУ «МИСиС» специальности «Прикладная математика». Условия некоторых задач заимствованы из монографии известного ученого С. Карлина «Основы теории случайных процессов» (М. : Мир, 1971), некоторые условия принадлежат автору.
     Задачи касаются темы «Дискретные и непрерывные марковские цепи», решения составлены автором и публикуются впервые. Кратко приведены теоретические посылки, необходимые для решения этих задач. Дополнительно к пособию прилагается список условий несложных задач по курсу, умение решать которые позволяет говорить о владении материалом курса.
     Пособие будет полезно студентам для лучшего понимания и усвоения курса «Теория случайных процессов».

4

        1. МАРКОВСКОЕ СВОЙСТВО СЛУЧАЙНОГО ПРОЦЕССА

   Определение
Марковский процесс - это случайный процесс, обладающий тем свойством, что если известно его значение в момент времени t, то значения в моменты времени после t не зависят от его значений в моменты времени to t.
   Формально процесс является марковским, если при любых значениях времени t₁ < t₂ < ■ ■ ■ <tₙ < t выполнено

    P{a <Xt 6 b\Xₜ 1 = xi,Xt₂ = x2,...,Xtₙ = xₙ} =

= P{a < Xt 6 b\Xtn = xₙ}.
   Дискретной марковской цепью называется марковский процесс, пространство состояний которого конечно или счетно, а врем,я представляет собой множество неотрицательных целых чисел, {0,1,2,... }.
   Пространство состояний марковской цепи удобно отождествить с множеством неотрицательных целых чисел (или его подмножеством в случае конечной марковской цепи) и говорить, что процесс находится, в состоянии i в момент времени и, если выполнено Xₙ = i.
   Вероятность процесса, попасть в состояние j в момент времени и +1 при условии, что в момент времени n он находился в состоянии i обозначается,

Pj⁺¹ = P {Xn +1 = j\Xn = i}.


5

Вероятности P™’ⁿ ⁺¹ можно объединить в матрицу

                      / rfn,++1 pn,++1   n,n+1 n,n+1 . . . ^^
                      / P 00    P01      P02   P 03     . . .
                      рп,п +1   pn,++1   n,n+1 n,n+1         
                      P10       P11      P12   P13           
                      рп,п +1   r,n,n +1 n,n+1 n,n+1         
Р( п) = ||P“'“+1 \\ = P 20      P21      P22   P23      . . .
                      . . .     . . .    . . . . . .         
                      pn,++1    n,n+1    n,n+1 n,n+1         
                      Pi0       Pi1      Pi2   Pi3      . . .

>>>        >>>        >>>        >>>        >>> у

которая зависит от времени перехода п. Если вероятности P™’ⁿ ⁺¹ не зависят от впемени перехода п, то говорят, что марковский процесс обладает стационарными, переходными вероятностями. Матрица Р(п) = \\Pij|| в этом случае не зависит от времени перехода и называется матрицей одношаговых переходных вероятностей марковской цепи.
   Каждая строка матрицы одношаговых вероятностей Р(п) представляет собой распределение вероятностей действительной слп+айной величины Xₙ ₊₁ при условии, что в момент времени п процесс находился в состоянии на единицу меньшем, чем номер этой строки.
   В том, случае, когда состояний конечное число, их бывает удобно нумеровать не с нуля, а с единицы. Тогда, каждая строка ратрицы одношаговых вероятностей Р(п) представляет собой распределение вероятностей действи-хельной случайной величины Xₙ ₊₁ при условии, что в момент времени п процесс находился в состоянии, равном номеру этой строки.
   Матричные элементы матрицы одношаговых переходных вероятностей удовлетворяют двум, следующим, условиям: они неотрицательны и сумма матричных элементов по каждой строке равна единице

Pij > 0, i,j = 0,1,2, 3,...,


6

               ж
              X Pij = 1, i = 1,2, 3,.... j=0
   Марковская цепь co стационарными переходными вероятностями полностью определена, если заданы, распределение вероятностей в начальным мо=ент времени pi = = P (X0 = i), i = 1,2,... и ма трица P = \\Pij || одношаговых переходных вероятностей марковской цепи.
   Действительно, по определению условной вероятности и учитывая определение марковской цепи, легко вывести формулу

P {X0 = i 0 ,X 1 = i 1 ,...,Xₙ = in} = Ргп_ 1 in Pin-2 in- 1 . . . Pi 0 i 1 Pi 0 .




   Задача 1.1
Определить, марковский ли процесс
Много раз кидаем игральную кость. Значением процесса является максимальное выпавшее число за все броски. Объясните, является ли этот процесс марковским, и если да, выпишите матрицу одношаговых переходных вероятностей. Считаем, что выпадение любого числа от 1 до 6 равновероятно.

   Решение
Изменение значения процесса может произойти только тогда, когда вновь выпавшее число больше всех, выпавших перед ним, при этом последовательность выпадения чисел перед последним броском на результат не влияет. Поэтому вероятности перехода в новое состояние зависят только последнего значения процесса, следовательно, процесс марковский. Рассмотрим условные вероятности

   Pij = P{X(n +1) = j |X(n) = i}, i,j = 1, 2,..., 6.


7