Динамические игры и их приложения в менеджменте

Санкт-Петербург

Высшая школа менеджмента

Н. А. Зенкевич, Л. А. Петросян, Д. В. К. Янг

ДИНАМИЧЕСКИЕ ИГРЫ

И ИХ ПРИЛОЖЕНИЯ

В МЕНЕДЖМЕНТЕ

Учебное пособие

Санкт-Петербург

Издательство «Высшая школа менеджмента»

2009

ББК 65.050.2
УДК 518.9,517.9,681.3.07
356

Рецензенты:

д-р техн. наук, проф. Д.А.Новиков
Институт проблем управления РАН

д-р физ.-мат. наук, проф. В.В. Мазалов

Директор Института прикладных математических проблем КарНЦ РАН

Печатается по решению Ученого Совета

Высшей школы менеджмента

Санкт-Петербургского государственного университета

Зенкевич Н.А., Петросян Л.А., Янг Д.В.К.
Динамические игры и их приоложения в менеджменте: учеб. пособие /
Н.А.Зенкевич, Л.А. Петросян, Д.В.К. Янг; Высшая школа менеджмента
СПбГУ. — СПб.: Изд-во «Высшая школа менеджмента», 2009.— 417 с.
ISBN 978-5-9924-0026-7

Предлагаемое учебное пособие впервые в мировой и отечественной практике рассматривает наиболее актуальные теоретико-игровые модели конфликтно-управляемых
процессов в менеджменте, развивающихся во времени. Пособие знакомит читателя с
основами теории динамических и дифференциальных игр и их приложениями к проблемам менеджмента. Основанной упор делается на изложении наиболее современныхрезультатов и методов, которые на сегодняшний день не могут быть найдены в учебной и монографической литература, а опубликованы лишь в специальных научных
журналах.

Учебное пособите адресовано в первую очередь студентам и аспирантам школ бизнеса и факультетов прикладной математики, изучающим курс «Теория отраслевой организации», а также научным работникам, специализирующимся в направлении приложений теории игр в менеджменте и социально-экономической сфере.

c⃝Зенкевич Н.В., Петросян Л.А., Янг Д.В.К., 2009
c⃝Высшая школа менеджмента СПбГУ, 2009
ISBN 978-5-9924-0026-7

Оглавление

Введение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Глава 1. Статические игры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

§ 1.1. Игры в нормальной форме . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
§ 1.2. Классификация игр. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .18
§ 1.3. Стратегии и некооперативное поведение . . . . . . . . . . . . . . . . . . . . 21
§ 1.4. Коалиции и кооперативное поведение . . . . . . . . . . . . . . . . . . . . . . . 23
§ 1.5. Равновесие по Нэшу . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
§ 1.6. Решение, оптимальное по Парето . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
§ 1.7. Множество наилучших ответов. Функция реакции . . . . . . . . 31
§ 1.8. Линейная модель дуополии по Курно . . . . . . . . . . . . . . . . . . . . . . . 33
§ 1.9. Недоминируемые и доминирующие стратегии. . . . . . . . . . . . . . .36
§ 1.10. Принцип единогласия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
§ 1.11. Сложное равновесие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
§ 1.12. Осторожное поведение. Антагонистические игры . . . . . . . . . . 44
§ 1.13. Кооперативные игры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
§ 1.14. C-ядро кооперативной игры. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55
§ 1.15. Условия не пустоты C-ядра . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
§ 1.16. Вектор Шепли. N-ядро. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60

Глава 2. Модели поведения в условиях конкуренции. . . . . . . .65

§ 2.1. Оптимальная схема стимулирования менеджера . . . . . . . . . . . . 65
§ 2.2. Двухставочный тариф . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
§ 2.3. Игры с зависимыми множествами стратегий. . . . . . . . . . . . . . . .74
§ 2.4. Модель устойчивых межрегиональных соглашений . . . . . . . . . 78
§ 2.5. Игры при ограничениях на множество стратегий . . . . . . . . . . . 80
§ 2.6. Многокритериальная игра двух лиц. . . . . . . . . . . . . . . . . . . . . . . . .84
§ 2.7. Кооперативная модель страхования . . . . . . . . . . . . . . . . . . . . . . . . . 93

Глава 3. Динамические игры с полной информацией . . . . . . 111

§ 3.1. Определение динамической игры с полной информацией . . 111
§ 3.2. Равновесие по Нэшу . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
§ 3.3. Основные функциональные уравнения . . . . . . . . . . . . . . . . . . . . . 119
§ 3.4. Построение единственного равновесия по Нэшу. . . . . . . . . . . .122
§ 3.5. Структура множества абсолютных равновесий по Нэшу. . .128

3

§ 3.6. Индифферентное равновесие в позиционных играх . . . . . . . . 136
§ 3.7. Стратегии наказания и «народные теоремы» . . . . . . . . . . . . . . 141
§ 3.8. Кооперация в многошаговых играх . . . . . . . . . . . . . . . . . . . . . . . . 145
§ 3.9. Кооперативные стохастические игры. . . . . . . . . . . . . . . . . . . . . . .158
§ 3.10. Марковские игры. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .171
§ 3.11. Динамические игры с переменным коалиционным
разбиением . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
§ 3.12. Алгоритм построения решения. . . . . . . . . . . . . . . . . . . . . . . . . . . .195
§ 3.13. Характеристические функции вспомогательных игр. . . . . .200
§ 3.14. Многошаговая игра выбора правления. . . . . . . . . . . . . . . . . . . .206
§ 3.15. Игра распределения по корзинам . . . . . . . . . . . . . . . . . . . . . . . . . 215

Глава 4. Линейно-квадратичные дифференциальные игры225

§ 4.1. Принцип динамического программирования . . . . . . . . . . . . . . . 225
§ 4.2. Принцип максимума Понтрягина . . . . . . . . . . . . . . . . . . . . . . . . . . 231
§ 4.3. Стохастическое управление. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .235
§ 4.4. Равновесие по Нэшу в программных стратегиях . . . . . . . . . . . 241
§ 4.5. Равновесие по Нэшу в позиционных стратегиях . . . . . . . . . . . 245
§ 4.6. Конкурентная реклама с двумя участниками . . . . . . . . . . . . . . 249
§ 4.7. Игры с бесконечной продолжительностью . . . . . . . . . . . . . . . . . 252
§ 4.8. Модель конкуренции с бесконечной продолжительностью . 255
§ 4.9. Стохастические дифференциальные игры. . . . . . . . . . . . . . . . . .257
§ 4.10. Задача добычи ограниченного ресурса . . . . . . . . . . . . . . . . . . . . 259
§ 4.11. Стохастические дифференциальные игры с бесконечной
продолжительностью. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .263

Глава 5. Кооперативные дифференциальные игры в форме
характеристической функции. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .269

§ 5.1. Определение кооперативной игры. . . . . . . . . . . . . . . . . . . . . . . . . .269
§ 5.2. Дележи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
§ 5.3. Дележи в динамике . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
§ 5.4. Принцип динамической устойчивости . . . . . . . . . . . . . . . . . . . . . . 275
§ 5.5. Динамически устойчивые решения . . . . . . . . . . . . . . . . . . . . . . . . . 276
§ 5.6. Процедура распределения дележа. . . . . . . . . . . . . . . . . . . . . . . . . .278
§ 5.7. Управление загрязнением окружающей среды . . . . . . . . . . . . . 280
§ 5.8. Построение коалиционного решения . . . . . . . . . . . . . . . . . . . . . . . 292

Глава 6. Кооперативные дифференциальные игры двух
лиц с дисконтированием . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299

§ 6.1. Постановка задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
§ 6.2. Интерпретация процедуры распределения дележа . . . . . . . . . 316
§ 6.3. Кооперативные игры с бесконечной продолжительностью. 319
§ 6.4. Игры с нетрансферабельными выигрышами . . . . . . . . . . . . . . . 327

4

Глава 7. Кооперативные стохастические
дифференциальные игры двух лиц . . . . . . . . . . . . . . . . . . . . . . . . . . . 343

§ 7.1. Определение игры с некооперативными исходами . . . . . . . . . 343
§ 7.2. Кооперация при неопределенности . . . . . . . . . . . . . . . . . . . . . . . . . 348
§ 7.3. Динамически устойчивая кооперация . . . . . . . . . . . . . . . . . . . . . . 356
§ 7.4. Процедура распределения дележа. . . . . . . . . . . . . . . . . . . . . . . . . .358
§ 7.5. Позиционно-состоятельное решение . . . . . . . . . . . . . . . . . . . . . . . . 361
§ 7.6. Кооперация в задаче добычи ограниченного ресурса . . . . . . 364
§ 7.7. Кооперативные стохастические игры с бесконечной
продолжительностью. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .366

Глава 8. Кооперативные стохастические
дифференциальные игры со многими участниками . . . . . . . . 377

§ 8.1. Кооперативные модели освоения технологий. . . . . . . . . . . . . . .377
§ 8.2. Детерминированный случай. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .378
§ 8.3. Модель совместного предприятия . . . . . . . . . . . . . . . . . . . . . . . . . . 386
§ 8.4. Численные примеры. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .394

Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401

5

Введение

Для оценки качества менеджмента и разработки методологии его оптимизации используются методы математического и компьютерного моделирования. В том случае, когда управленческие решения принимаются
одним лицом и их результат не зависит от действий других сторон, в качестве аппарата математического моделирования может быть с успехом
использована теория оптимального управления и оптимизации. В то же
время, в подавляющем большинстве случаев даже когда можно условно
предположить, что решение принимается одним лицом, нельзя гарантировать, что его результат не будет зависеть от действий других сторон или
лиц так или иначе в нем заинтересованных. В этом случае необходимо
учитывать наличие несовпадающих, а в ряде случаев и конфликтующих
интересов у сторон, заинтересованных в результатах менеджмента. Игнорирование этого обстоятельства может привести, и в действительности
приводит, к невозможности полной реализации управленческих решений,
а, следовательно, и к недостижению результатов, на которые эти решения
были направлены.

При попытках моделирования подобных ситуаций пользуются методами и подходами теории игр. Однако подавляющее большинство исследований в области теории игр касается, так называемых однократных или
мгновенных игр, в которых конфликт между сторонами происходит мгновенно, и таким образом совершенно не учитывается временной фактор. В
то же время понятно, что реальные процессы принятия решений (реальный менеджмент) происходят на достаточно большом временном интервале, когда в каждый текущий момент времени приходится учитывать
результаты предыдущих решений и только на этой основе вырабатывать
соответствующее управление. Именно поэтому подходящими математическими моделями подобных процессов могут быть динамические и дифференциальные игры, которые с одной стороны учитывают конфликтность
процесса принятия решений, а с другой — необходимость его моделирования на достаточно продолжительном временном промежутке.

На практике долгосрочные управленческие решения вырабатываются
на основе потребностей, выявляемых на всех уровнях системы управле

Введение

ния. В результате из большого числа возможных вариантов, на основе
некоторого трудно формализуемого алгоритма, выбирается одно решение, подлежащее дальнейшей реализации. Этот плохо формализуемый и
трудно улавливаемый алгоритм выбора по существу является реализацией установившегося в данной системе менеджмента принципа оптимальности. Здесь мы сталкиваемся с такой интересной проблемой как восстановление принципа оптимальности, лежащего в основе принятия решений
по наборам реализованных решений. Независимо от того, в какой степени
мы сумеем продвинуться в решении этой проблемы, сам факт наличия
такого принципа оптимальности не вызывает сомнения. В то же время
свойства этого принципа оптимальности мы можем наблюдать и без проведения глубокого исследования. Отметим два, на наш взгляд, наиболее
важных свойства, присутствующих и довлеющих на принятие долгосрочных решений. Первое — необходимость оценки качества принимаемого
решения по нескольким критериям. Второе — различная оценка исхода
решения разными сторонами, участвующими в выработке решения. Это
наводит нас на мысль о том, что принцип оптимальности, лежащий в
основе выбора решения, имеет теоретико-игровой, конфликтный характер. Здесь так же как и в теоретико-игровых моделях несколько сторон
влияют на принятие решения в соответствии со своими, не обязательно
совпадающими интересами.

Прогресс в технологиях, коммуникациях, промышленной организации,
международной торговле, экономической интеграции и политических реформах способствовал созданию быстро развивающихся социально-экономических связей, включающих межрегиональную и межгосударственную
деятельность, а также взаимодействие участвующих объектов и субъектов. С точки зрения современного менеджмента, исключительно важно
осознать и реально использовать взаимосвязь и взаимозависимость принимаемых решений в подобных обстоятельствах. Стратегический аспект
принятия решений особенно важен в таких областях как торговые переговоры, иностранные и национальные инвестиции, международный контроль состояния окружающей среды, интеграция и развитие рынков, технологические и продуктовые инновации, маркетинг, региональная кооперация, политика в области обороны и контроль над вооружениями.

Теория игр существенно подняла наш уровень понимания процессов
принятия решений. Однако усложнение социально-экономических и политических проблем требует нахождения новых аналитических методов
и методологических подходов как в самой теории, так и при исследовании
отдельных задач в приложениях. Менеджмент, социальные науки, экономика и финансы и есть те области, в которых использование методологии

8

Введение

теории игр может дать значительную отдачу именно из-за конфликтного характера возникающих здесь проблем. Исследования следует направить на более реалистический и релевантный анализ процессов принятия
решений в социально-экономической сфере, при этом теоретико-игровой
подход поможет особенно эффективно исследовать и решать задачи и проблемы управления.

Как мы уже отмечали, при моделировании конфликтно-управляемых
процессов в социально-экономической сфере и менеджменте наиболее реалистичными являются математические модели, базирующиеся на теории динамических и дифференциальных игр. Теория дифференциальных
(динамических) игр возникла в пятидесятые годы прошлого века. Основополагающей работой в этой области считается монография Р. Айзекса «Дифференциальные игры», вышедшая в свет в 1965 г. [Isaacs, 1965].
Первые отечественные работы появились в 1965 г. [Красовский, 1966; Петросян, 1965; Понтрягин, 1967]. Однако до середины шестидесятых годов
исследовались лишь антагонистические дифференциальные игры, моделирующие конфликт между двумя сторонами, имеющими прямо противоположные интересы. Понятно, что антагонистические дифференциальные игры могли иметь приложения лишь в ограниченном классе задач,
возникающих при военном столкновении сторон (перехват летательных
аппаратов, обнаружение и уничтожение подводных подвижных объектов,
оптимизация распределения ресурсов при локальных военных столкновениях и т. п.).

Для моделирования социально-экономических процессов необходимо
было разработать теорию неантагонистических дифференциальных игр.
Первые работы в этой области появились в конце шестидесятых годов
[Петросян, Мурзов, 1967; Case 1967; Starr, Ho, 1969a, 1969b]. В этих работах исследовались некооперативные дифференциальные игры со многими
участниками, и поэтому в качестве принципа оптимальности использовалось равновесие по Нэшу. Основополагающие результаты, касающиеся существования и построения решений в неантагонистических дифференциальных играх, получены в работах отечественных авторов [Жуковский,
Чикрий, 1994; Клейменов, 1993; Захаров, 1988; Малафеев, 1982; Чистяков, 1992]. В последующих работах полученные результаты применялись
для исследования различных задач социально-экономического характера
[Haurie, Krawczyk, Roche, 1976; Jorgensen, 1985; Jorgensen, Sorger, 1990;
Jorgensen, Zaccour, 2002; Kaitala, 1993; Sorger, 1989; Yeung, 1992, 1994].

На ранней стадии развития теории динамических игр не рассматривалась возможность кооперации участников конфликтно-управляемого процесса с целью достижения более высоких показателей. И хотя статическая

9

Введение

теория таких игр была хорошо развита, динамическому аспекту кооперативного поведения не было уделено должного внимания. Теория кооперативных игр дает возможность выработки социально-оптимальных
коалиционно-эффективных решений в задачах со стратегически обусловленными действиями. Формализация условий кооперации и связанного с
этим оптимального поведения участников конфликтно-управляемого процесса (игроков) является фундаментальным основанием этой теории. Однако для сохранения кооперации и принятых соглашений требуется выполнение более жесткого условия: в процессе реализации решения принцип оптимальности, на основе которого вырабатывалось первоначальное
решение, должен оставаться состоятельным в течение всего процесса реализации (генерировать в определенном смысле адекватные решения в
текущих подзадачах, т. е. в каждый момент времени вдоль определенной
заранее оптимальной траектории процесса). Это условие носит название
«динамической устойчивости» или «состоятельности во времени». Иными
словами, свойство динамической устойчивости решения (состоятельности
во времени или временной состоятельности) кооперативной динамической
игры означает, что при развитии игры вдоль кооперативной траектории,
игроки следуют одному и тому же принципу оптимальности в каждый
момент времени (в каждой подзадаче с начальными условиями на этой
оптимальной траектории) и поэтому не имеют побуждения отклониться
от первоначально выбранного оптимального решения в течение всей игры.

При исследовании
кооперативных
дифференциальных игр в конце 70-х годов нами было обнаружено и доказано, что если специальным
образом не производить регуляризацию принципа оптимальности, то выбранное в начале процесса «оптимальное решение» в ходе его реализации
почти всегда теряет свою «оптимальность» и поэтому не может оставаться основополагающим принципом дальнейшего развития. Данное явление
имеет место даже без каких-либо внешних воздействий или изменения
интереса участников. Это и есть нарушение динамической устойчивости
или временной состоятельности. Нами впоследствии были разработаны
методы регуляризации кооперативного решения, приводящие к состоятельному во времени принципу оптимальности. Несколько позже нарушение динамической устойчивости было обнаружено при решении одной
специальной задачи зарубежными авторами Ф. Кидландом и Е. Прескоттом [Kydland, Prescott, 1977], получившими Нобелевскую премию в области экономики в 2004 г.

Динамическая устойчивость (временная состоятельность) принципов
оптимальности в дифференциальных играх подробно исследовалась в работах специалистов по теории игр. А.Ори [Haurie, 1976] заметил времен
10