Управляемые цепи Маркова в экономике (дискретные цепи Маркова с доходами)

УПРАВЛЯЕМЫЕ
ЦЕПИ МАРКОВА
В ЭКОНОМИКЕ

(дискретные цепи

Маркова с доходами)

Москва

ИНФРА-М

2020

Г.А. СОКОЛОВ

Рекомендовано УМО по образованию в области

прикладной информатики, статистики, антикризисного управления

и математических методов в качестве учебника для студентов,

обучающихся по направлению подготовки бакалавров 

38.03.01 «Экономика»

УЧЕБНИК

Второе издание

УДК 519.217(075.8)
ББК 22.172я73
       С59

Р е ц е н з е н т ы : 

О.А. Косоруков, доктор технических наук, профессор, Российский эко
номический университет им. Г.В. Плеханова;

Н.Г. Назаров, доктор технических наук, профессор, Московский госу
дарственный технический университет им. Н.Э. Баумана

А в т о р

Григорий Андреевич Соколов, доктор технических наук, профессор, 

преподаватель Российского экономического университета им. Г.В. Плеханова

Соколов Г.А.

С59 
  Управляемые цепи Маркова в экономике (дискретные цепи Маркова 
с доходами): Учебник. — 2-е изд. — Москва : ИНФРА-М, 2020. — 158 с. — 
(Высшее образование: Бакалавриат). — www.dx.doi.org/10.12737/6650.

ISBN 978-5-16-009657-5 (print)
ISBN 978-5-16-100968-0 (online)
Семестровый курс лекций и практических занятий состоит из двух 

частей. В первой (теоретической) изложены определение дискретной цепи 
Маркова и ее основные свойства, анализ структуры цепи по ее графу 
состояний, классификация, предельные теоремы. Во второй (прикладной) 
части рассматриваются девять типов цепей Маркова с доходами. Строятся 
оптимальные управления на конечном и бесконечном горизонтах, с учетом 
и без учета приведения будущих доходов к текущему времени, по критериям 
полного ожидаемого дохода, прибыли и предельного дохода.

Для студентов, аспирантов и научных работников экономико-мате ма
тических специальностей.

УДК 519.217(075.8)
ББК 22.172я73 

  
© Соколов Г.А., 2015
ISBN 978-5-16-009657-5 (print)
ISBN 978-5-16-100968-0 (online)

ФЗ 

№ 436-ФЗ

Издание не подлежит маркировке 
в соответствии с п. 1 ч. 4 ст. 11

Оригинал-макет подготовлен в НИЦ ИНФРА-М

Подписано в печать 25.12.2014. 

Формат 6090/16. Бумага офсетная. Гарнитура Newton. 

Печать офсетная. Усл. печ. л. 9,875. Уч.-изд. л. 10,5.

ПТ10. 

ТК 270700-452269-251214

ООО «Научно-издательский центр ИНФРА-М»

127282, Москва, ул. Полярная, д. 31В, стр. 1

Тел.: (495) 280-15-96, 280-33-86. Факс: (495) 280-36-29

E-mail: books@infra-m.ru        http://www.infra-m.ru

СПИСОК СОКРАЩЕНИЙ

БВВ — блок выбора весов,
БВД — блок выбора предельных доходов,
БВУ — блок выбора управления,
БИД — блок исходных данных,
БОУ — блок оценки управления,
БОЦ — блок организации цикла,
БУУ — блок улучшения управления,
ВНВ — вектор начальных вероятностей,
ВВС — вектор вероятностей состояний,
ВЦ — вычислительный центр,
ГС — граф состояний,
ДСВ — дискретная случайная величина,
ДП — динамическое программирование,
ЗР — закон распределения,
КЭ — класс эквивалентности,
МВП — матрица вероятностей перехода,
МО — математическое ожидание,
МОД — матрица одношаговых доходов,
МПЦ — моноэргодическая поглощающая цепь,
МРЦ — моноэргодическая регулярная цепь,
МС — матрица смежности,
МЦ — моноэргодическая цепь,
МЦЦ — моноэргодическая циклическая цепь,
НВ — несущественная вершина,
НС — несущественное состояние,
НРЦ — неприводимая регулярная цепь,
НЦЦ — неприводимая циклическая цепь,
НЦ — неприводимая цепь,
ОД — одношаговый доход,
ПД — предельный доход,
ПОД — полный ожидаемый доход,
ППЦ — полиэргодическая поглощающая цепь,
ПРС — пространство состояний,
ПРЦ — полиэргодическая регулярная цепь,
ПС — поглощающее состояние,
ПСЦ — полиэргодическая смешанная цепь,
ПЦ — полиэргодическая цепь,
ПЦЦ — полиэргодическая циклическая цепь,
РКЭ — регулярный класс эквивалентности,
РФ — руководитель фирмы,

РЦ — разложимая цепь,
СВ — случайная величина,
СОД — средний одношаговый доход,
СС — существенное состояние,
ССН — система снабжения,
СУ — стратегия управления,
ЦКЭ — циклический класс эквивалентности,
ЦМ — цепь Маркова,
ЦП — циклический подкласс,
ЭВМ — электронная вычислительная машина.

ПРЕДИСЛОВИЕ

Около 10 лет тому назад сотрудники кафедры высшей матема
тики РЭУ им. Г.В. Плеханова Г.А. Соколов и Н.А. Чистякова по 
материалам лекций и практических занятий подготовили учебное 
пособие «Теория вероятностей. Управляемые цепи Маркова в экономике». С тех пор произошли значительные изменения не только
в тематике изучаемых на факультете дисциплин, но и в характере 
подготовки студентов — будущих экономистов-математиков 
с высшим образованием (бакалавров). Можно надеяться, что новые 
требования в полной мере учтены в настоящем учебнике. Он в значительной степени ориентирован на самостоятельное изучение дисциплины, поэтому многие трудные для восприятия вопросы изложены проще и подробнее (например, свойства дискретных цепей, 
построение марковских цепей как математических моделей реальных 
экономических процессов), увеличено число примеров с полным 
решением, а также число задач с экономическим содержанием, имеющих характер курсовых проектов и ориентированных на самостоятельное построение оптимального управления как на конечном, так 
и бесконечном горизонтах, как с приведением, так и без приведения 
будущих доходов к текущему времени. Тем не менее книга по-прежнему остается достаточно серьезным учебником, требующим для 
своего чтения карандаша в руке и хороших знаний по математическому анализу, линейной алгебре и теории вероятностей. Книга содержит материал, достаточный для чтения лекций, проведения практических занятий и организации самостоятельной работы студентов 
в рамках одного семестра. Автор считает своим долгом выразить 
искреннюю признательность рецензентам настоящей книги профессорам Н.Г. Назарову (МГТУ им. Н.Э. Баумана) и О.А. Косорукову 
(РЭУ им. Г.В. Плеханова) за их доброжелательную критику и полезные рекомендации; коллеге по кафедре — Н.А. Чистяковой за ее помощь при создании электронной версии книги, коллеге по университету — Ю.В. Митрофанову за помощь в оформлении книги, другу 
и ученику — В.Б. Соломоденко, который всегда рядом и всегда готов 
помочь, наконец, моим родственникам и друзьям — постоянным 
консультантам по компьютерным проблемам.

ВВЕДЕНИЕ

Все экономические процессы производства, снабжения, экс
плуатации, потребления и т.д. протекают во времени и пространстве 
и носят случайный характер, поэтому естественно в качестве их математических моделей рассматривать случайные функции (процессы).

Случайным процессом (СП) называют семейство случайных ве
личин (СВ), зависящих от параметра t, пробегающего произвольное 
множество Т. Параметр t называют аргументом СП, Т-областью или 
множеством значений аргумента t. Понятие СП представляет собой 
обобщение понятия СВ x и обозначается xt чаще x(t) или в более полном виде x(t, w), где w ∈ W — элементарное событие из пространства 
элементарных событий W. Если зафиксировать ЭС w = w0, то мы 
получим неслучайную функцию x(t) = x(t, w0), которая называется 
реализацией или траекторией СП. При фиксированном значении 
аргумента t = t0 ∈ T получаем СВ x(t0) = x(t0, w), называемую сечением СП. Множество возможных значений СП называется пространством состояний и обозначается S.

Основными признаками, по которым классифицируются случай
ные процессы, являются структура пространства состояний S, структура множества значений аргумента T, характер зависимости между 
СВ-сечениями СП.

Если S конечно или счетно, т.е. сечение СП есть дискретная СВ, 

то СП называют процессом с дискретными состояниями. Если любое сечение СП есть непрерывная СВ, то говорят о процессе 
с непрерывными состояниями. Если T = {t0, t1, …} — дискретное множество, т.е. СП меняет свои состояния только в фиксированные моменты времени, то речь идет о процессе с дискретным временем. 
Моменты времени tn в этом случае обозначают просто n и называют 
шагами, СП обозначают xn, n = 0, 1, … . Если T = [0, ∞), т.е. СП меняет свои состояния в любой момент времени t > 0, то говорят о СП 
с непрерывным временем.

В нашей книге основное внимание уделяется СП с дискретным 

временем и конечным пространством состояний. Важнейшей характеристикой СП является характер зависимости сечений x(t0), x(t1), 
…, x(tn), … между собой, который определяется заданием сов местных 
законов распределения для любых моментов 0 ≤ t0 < t1 < … .

Приведем несколько примеров. Если совместный ЗР для любых 

ti и n является нормальным, то СП называют гауссовским. Если СВ 
x(t0), x(ti) – x(ti–1), i = 1, 2, …, n независимы, то говорят о СП с неза

висимыми приращениями. В частности если для любых i приращение x(ti) – x(ti–1) ∈ N(0, a(ti – ti–1)), a > 0 — константа, то СП называют винеровским, если же x(ti) – x(ti–1) ∈ Пуас(l(ti – ti–1)), l > 0 — 
константа, то СП называют пуассоновским. Особое практическое 
значение имеют марковские СП (МСП), называемые так по имени 
нашего выдающегося соотечественника академика Андрея Андреевича Маркова (1856–1922).

Марковским называют СП, для которого выполняется так назы
ваемое свойство марковости:

P a
t
b
t
x
t
x
s
x

P a
t
b
s

<
( ) <
( ) =
( ) =
( ) =
{
} =

=
<
( ) <
(

x
x
x
x

x
x

|
,
, ...,

|

0
0
1
1
 
 
 

) =
{
}
x ,
(В.1)

для любых 0 ≤ t0 < t1 < … < s < t и любых a < b.

Если считать: 

• состояния x(t) в момент t > s «будущим» СП,
• состояния x(t) в момент t = s «настоящим» CП,
• состояния x(t) в момент t < s «прошлым» СП,
то свойство марковости означает, что будущее МСП зависит 
от прошлого через настоящее. Другими словами, марковский процесс — случайный процесс без последействия (без памяти), наконец, марковский процесс — случайный процесс, для которого 
события, происходящие на непересекающихся интервалах времени, 
независимы.

МСП с дискретным временем и дискретными состояниями на
зывают дискретной цепью Маркова (ДЦМ). МСП с непрерывным 
временем и дискретными состояниями называют непрерывной цепью Маркова (НЦМ).

Исчерпывающей характеристикой СП является совместный ЗР 

сечений

x
x
x
t
t
t
F t
t
t
x
x
x
n
n
n
0
1
0
1
0
1
( )
( )
( )
,
, ...,
:
,
, ...,
,
,
, ...,
 
 
 
 
 
 
 
 
 
 
(
) =

=
( ) <
=
{
}
P
t
x
i
n
i
i
x
,
, , ...,
,
 
  
 
0 1
  (В.2)

определенный для любых n < ∞ и любых ti. Простейшим из них является одномерный ЗР в форме функции распределения (ФР)

F t x
P
t
x
, 
(
) =
( ) <
{
}
x

или в форме плотности распределения (распределения)

p t x
x
S
,
,
.
 
 
(
)
∈

На практике более чем двумерные ЗР, как правило, не использу
ются. Знание одномерных ЗР позволяет определить математическое 
ожидание и дисперсию СП:

m t
x t p t x

t
M
t

x S

( ) =
( ) (
)

( ) =
( )



∈∑
,
,

,

 

σ
x
2
2
где x
x
t
t
m t
( ) = ( )−
( ).

Свойства этих характеристик полностью совпадают со свой
ствами их аналогов для СВ.

Знание двумерных ЗР p
t t
x x
x
,
,
,
 
 
 
′
′
(
)  позволяет найти характерис
тики стохастической связи двух сечений одного СП

K
t t
M
t
t
r
t t
K
t t

t
t

x
x
x

x
x
x
x
σ
σ
,
;
,
,
,
 
 
 
′
(
) =
( )
′
( )
′
(
) =
′
(
)

( )
′
( )

2
2

которые по аналогии с ковариацией и коэффициентом корреляции 
называются ковариационной (КВФ) и корреляционной (КРФ) функциями 
соответственно. Наряду со скалярными рассматриваются и векторные 
СП. Знание двумерного ЗР двух СП x(t) и h(t′) в точках t и t′ позволяет 
найти характеристики стохастической связи сечений двух СП 

K
t t
M
t
t
r
t t
K
t t

t
t

xh
xh
xh

x
h
x
x
σ
σ
,
( )
;
,
,
 
 
 
′
(
) =
′
( )
′
(
) =

′
(
)

( )
′
( )

2
2
,

которые называются взаимной ковариационной (ВКВФ) и взаимной
корреляционной (ВКРФ) функциями соответственно.

Покажем, что исчерпывающей характеристикой МСП является 

двумерный ЗР, другими словами, любой n-мерный ЗР можно выразить через двухмерные.

Пусть пространство состояний S является дискретным, тогда со
гласно (В.1) 

p t
t
t
x
x
x
P
t
x
t
n
n
n
0
1
0
1
0
0
,
, ...,
,
,
, ...,
, ...,
 
 
 
 
 
 
(
) =
( ) =
( ) =
x
x
x

P
t
x
t
x

P
t
x
t
x

n

n
n

n
n
i
i

{
} =

=
( ) =
(
) =
{
} ×

×
( ) =
( ) =

−
−
x
x

x
x

0
0
1
1
, ...,

|
,

 
 

 
  
 

 
 

i
n

P
t
x
t
x

P
t

n
n

n

=
−
{
} =

=
( ) =
(
) =
{
} ×

×

−
−

0 1
1

0
0
1
1

, , ...,

, ...,
x
x

x( ) =
(
) =
{
} =
−
−
x
t
x
n
n
n
| x
1
1

=
( ) =
(
) =
{
} ×

×

−
−
P
t
x
t
x

P
t

n
n
, ...,
x
x

x

0
0
2
2
 
 

n
n
n
n

n
n
n
n

x
t
x

P
t
x
t
x

−
−
−
−

−
−

(
) =
(
) =
{
} ×

×
=
(
) =
{
} =
=

=

1
1
2
2

1
1

|

( )
|
...

x

x
x

P
t
x
P
t
x
t
x
i
i
i
i
i

n
x
x
x
0
0
1
1
0

1
( ) =
{
}
(
) =
( ) =
{
}
+
+
=

−
∏
|
.

Подставим в полученное выражение формулу

P
t
x
t
x
P
t
x
t
x

P
t
x
i
i
i
i
i
i
i
i

i
x
x
x
x

x
+
+

+
+
(
) =
( ) =
{
} =
( ) =
(
) =
{
}

( ) =
1
1

1
1
|
, 

i
{
}

и продолжим цепочку равенств

p t
t
t
x
x
x
P
t
x

P
t
x

n
n

i
i

0
1
0
1
0
0
,
, ...,
|
,
, ...,
|
 
 
 
 
 
 

 

(
) =
( )
{
} ×

×
( ) =

x

x
,

,

 x

x

x
x

t
x

P
t
x

P
t
x
t
x

i
i

i
i
i

n

i
i
i
i

+
+
=

−

+
+

(
) =
{
}

( ) =
{
}
=

=
( ) =
(
) =

∏
1
1
0

1

1
1
0

1

1

1

{
}

( ) =
{
}

=

−

=

−
∏
∏

i

n

i
i
i

n
P
t
x
x
.

Таким образом, исчерпывающей характеристикой МСП является 

распределение p(s, t, x, y), где 0 ≤ s < t; x, y ∈ S, x ≠ y.

Отсюда, в свою очередь, следует, что исчерпывающей характеристи
кой ЦМ является пара функций: безусловное распределение одной из 
них (начальное распределение состояний) P
s
x
s
s
x
S
x( ) =
{
}
=
∈
,
,
 
 
0

и условное распределение другой (вероятность перехода из состояния х 
в состояние у)

P
t
y
s
x
t
s y
S
x
x
( ) =
( ) =
{
}
>
∈
|
,
,
.
(B.3)

ГЛАВА 1

СВОЙСТВА ДИСКРЕТНЫХ ЦЕПЕЙ 
МАРКОВА

1.1. 
ОСНОВНЫЕ ПОНЯТИЯ

Во введении было дано общее определение марковских слу
чайных процессов и их частных случаев — дискретных цепей. Тем не 
менее, настоящий параграф мы начнем с определения конечной цепи 
Маркова.

Рассмотрим экономическую или техническую систему, которая 

может находиться в одном из несовместных состояний i пространства состояний. В процессе своего функционирования система 
в дискретные моменты времени, называемые шагами и обозначаемые 
n = 0, 1, 2, …, переходит из состояния xn = i в состояние xn+1 = j
с условной вероятностью pij, i, j ∈ S = {1, 2, …, N}, N < ∞. Эта вероятность не зависит ни от состояний системы в предшествующие моменты времени (свойство марковости), ни от текущего времени 
(свойство однородности).

Предполагается, что в нулевой момент времени (n = 0) система 

находится в одном из состояний пространства S с распределением 

p
p
p
1
0
2
0
0
( )
( )
( )
(
)
,
, ...,
.
 
 
 
N

Итак, СП x0, x1, …, xn, … смены состояний называется простой 

однородной дискретной (конечной) цепью Маркова, если для всех 
n ≥ 1 и i, j, i0, i1, … ∈ S выполняется марковское свойство

P
j
i
x
i

P
j
i
p

n
n

n
n
ij

x
x
x
x

x
x

=
=
=
=
{
} =

=
=
=
{
} =

−

−

|
,
, ...,

|
.

0
0
1
1
1

1

 
 
 

Вероятности p
p
p
1
0
2
0
0
( )
( )
(
)
,
, ...,
 
 
 
N
 и p
p
p
i
i
i
iN
1
2
,
, ...,
 
 
 
(
)∀  образуют 

так называемые стохастические вектора, то есть вектора с неотрицательными элементами, удовлетворяющими условию нормированно
сти 
pi
i

N
0

1
1
( )

=∑
=
 и 
pij
j

N

=∑
=

1
1.

Матрица P = (pij), состоящая из стохастических векторов-строк, 

сама является стохастической и называется матрицей вероятностей 
перехода (МВП).