Информационно-статистические методы решения эконометрических, социологических и психометрических задач
Покупка
Основная коллекция
Тематика:
Общая теория статистики
Издательство:
НИЦ ИНФРА-М
Год издания: 2022
Кол-во страниц: 199
Дополнительно
Вид издания:
Монография
Уровень образования:
Дополнительное профессиональное образование
ISBN: 978-5-16-013475-8
ISBN-онлайн: 978-5-16-106395-8
Артикул: 670210.04.01
Монография содержит ряд новых авторских теоретических и методических разработок, основанных на методах математической теории информации.
Она может быть полезна студентам, аспирантам и ученым-исследователям при анализе данных и построении моделей экономических, социологических и психометрических процессов. Возможно использование ее в качестве учебного пособия при изучении соответствующих разделов курсов «Математика», «Построение моделей и обработка данных», «Эконометрика» и других.
Тематика:
ББК:
УДК:
ОКСО:
- ВО - Бакалавриат
- 38.03.02: Менеджмент
- 38.03.05: Бизнес-информатика
- ВО - Магистратура
- 38.04.01: Экономика
- 38.04.05: Бизнес-информатика
ГРНТИ:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
ИНФОРМАЦИОННОСТАТИСТИЧЕСКИЕ МЕТОДЫ РЕШЕНИЯ ЭКОНОМЕТРИЧЕСКИХ, СОЦИОЛОГИЧЕСКИХ И ПСИХОМЕТРИЧЕСКИХ ЗАДАЧ Ñ.Â. ÞÄÈÍ À.Ñ. ÞÄÈÍ Москва ИНФРА-М 2022 МОНОГРАФИЯ
ISBN 978-5-16-013475-8 (print) ISBN 978-5-16-106395-8 (online) © Юдин С.В., Юдин А.С., 2018 УДК 519.86(075.4) ББК 65в6 Ю16 Юдин С.В. Ю16 Информационно-статистические методы решения эконометриче ских, социологических и психометрических задач : монография / С.В. Юдин, А.С. Юдин. — Москва : ИНФРА-М, 2022. — 199 с. — (Научная мысль). — DOI 10.12737/monography_5b065d81e98aa3.24037041. ISBN 978-5-16-013475-8 (print) ISBN 978-5-16-106395-8 (online) Монография содержит ряд новых авторских теоретических и методи ческих разработок, основанных на методах математической теории информации. Она может быть полезна студентам, аспирантам и ученым-исследова телям при анализе данных и построении моделей экономических, социологических и психометрических процессов. Возможно использование ее в качестве учебного пособия при изучении соответствующих разделов курсов «Математика», «Построение моделей и обработка данных», «Эконометрика» и других. УДК 519.86(075.4) ББК 65в6 Р е ц е н з е н т ы: Арсеньев Юрий Николаевич, доктор технических наук, профессор, заведующий кафедрой экономических и правовых основ управления образованием Института повышения квалификации и профессиональной переподготовки работников образования Тульской области; Васин Леонид Александрович, доктор технических наук, профессор, заведующий ка федрой экономики и управления Тульского государственного уни верситета
Предисловие Жене и матери Соколовой Марине Владимировне посвящается Авторы предлагаемой вашему вниманию книги — доктор технических наук, член-корреспондент Академии проблем качества РФ, профессор кафедры общих математических и естественнонаучных дисциплин Тульского филиала Российского государственного торгово-экономического университета С.В. Юдин и кандидат технических наук, преподаватель Тульского филиала Российского государственного юридического университета А.С. Юдин — имеют богатый опыт научной и педагогической работы. Ими был накоплен богатый материал, касающийся как методики преподавания, так и особенностей восприятия его студентами, разработан новый метод расчетов, основанный на использовании нетрадиционной статистики (энтропии распределения). Практически все методы, применяемые в отмеченных выше курсах, основываются на использовании теории вероятностей и математической статистики. Почему именно эти разделы математики являются наиболее востребованными в экономике, социологии, психологии, машиностроении и других прикладных науках? Это объясняется несколькими факторами. Во-первых, мы, как правило, не имеем достаточного количества информации о характеристиках объектов любого типа, будь то молекулы газа, люди в большом коллективе, детали в массовом и крупносерийном производстве, предприятия и организации. Их невозможно описать настолько точно, чтобы можно было предсказать поведение каждого отдельного объекта. Во-вторых, из психологических исследований известно, что никогда реакция живого объекта на одинаковые раздражители не бывает абсолютно идентичной. Что касается сложных социальных и экономических объектов, таких как партии, трудовые коллективы, неформальные объединения (к ним можно отнести разные домовые организации, молодежные банды, спортивные секции, объединения по интересам и т.п.), то здесь сразу два фактора не позволяют делать точные прогнозы: неопределенность поведения отдельных личностей и недостаток информации о коллективе в целом. Вместе с тем, оказалось, что теория вероятностей позволяет находить определенные закономерности в поведении больших групп
похожих объектов, а также делать очень надежные прогнозы на будущее. Как оказалось, случайности имеют свои закономерности, которые и изучает теория вероятностей. На основе методов теории вероятностей были получены важные результаты в экономике, технике, социологии, психологии; они лежат в основе теории обработки экспериментальных данных; квантовая механика — базис современной физики — может рассматриваться как синтез теории вероятностей и теории групп. Все методы изучения сложных социальных, экономических, технологических и других процессов, которые позволяют получить надежные и адекватные результаты, основываются на теории вероятностей и ее развитии — математической статистике. Именно поэтому, авторы уделяют им основное внимание. Для облегчения работы с книгой первый раздел содержит основные сведения из теории вероятностей и математической статистики. Связанной с математической статистикой наукой является теория информации. Рассмотрим вкратце ее суть. Еще в начале ХХ века была выдвинута гипотеза о том, что «вся материя обладает свойством, по существу родственным с ощущением, свойством отражения» [16]. Развивая эту гипотезу, ученые обратили внимание на связь понятий информации и отражения. Так, в [23] отмечается, что «информация по отношению к отражению занимает такое же место, как энергия по отношению к движению». Подобно этому, информация представляет собой качественную и количественную характеристики организованности отражения. Основные отличия информации от отражения заключаются в том, что информация возникает на определенном уровне организации материи и передается посредством сигнала — знака отражения, физического и физиологического ее заместителя. По определению академика В.Н. Глушкова [6] «информация — это мера неоднородности распределения материи и энергии в пространстве и во времени». Первые попытки измерения информации имели место 80 лет назад. Так, в 1928 г. Р. Хартли [27] предложил ряд идей, вошедших в качестве основополагающих как в комбинаторный, так и вероятностный подходы в теории информации. Информация в точно определенном смысле впервые была введена в статистике Р. Фишером [45]. К. Шеннон [30] и Н. Винер [3] независимо друг от друга опубликовали в 1948 г. работы, в которых были описаны логарифмические меры информации для использования их в теории связи. Их труды стимулировали огромное количество исследований в технических кругах на темы теории информации.
Математическая теория энтропии, в основу которой легли фундаментальные работы К. Шеннона, была создана трудами таких выдающихся математиков, как А.Н. Колмогоров [13, 14], А.Я. Хинчин [28, 29], И.М. Гельфанд [4, 5] и другие. Эта теория явилась примером плодотворного воздействия прикладных задач на развитие фундаментальных направлений математики. В целом сформировался новый подход в разных областях науки и техники, который можно назвать энтропийным подходом. Теорию информации можно рассматривать как ветвь математической теории вероятностей и математической статистики. В этом качестве она применяется в целом ряде областей, таких как неравновесная статистическая механика, информационная теория систем, физика, теория управления и другие. В настоящее время активно развивается новая ветвь математики — математическая теория энтропии [17]. Теория информации позволяет унифицировать известные результаты теории статистических выводов, что наглядно показано в монографии С. Кульбака [16]. Что касается идей теории информации, то они вырастают из понятия беспорядка или энтропии в термодинамике и статистической физике [16]. Р.В.Л. Хартли [27] определил меру информации как логарифм числа возможных последовательностей символов для использования в технике связи. Информация всегда выступает как методологическая основа для обобщения и упрощения. Хотя существует много трактовок понятия информации, нет единого определения этого понятия. Наиболее общее и непротиворечивое определение информации можно дать, исходя из другого важного системного понятия — организованности. «Организованность — это понятие относительное, рассматриваемое в отношении какого-либо базиса (эталон, порядок, цель)» [32]. Ю.М. Горский [7] определяет информацию как атрибут материи, выступающий, с одной стороны, как характеристика организованности материи, а с другой — как средство ее организации. В современной статистической теории информации формула количества информации выражает то разнообразие, которое один объект содержит о другом. Исходным понятием в теории информации считается понятие условной энтропии объекта X при заданном Y — H (X/Y), которое можно интерпретировать как количество информации, необходимое для задания объекта X в обстановке, когда объект Y уже задан [16, 31]. Р.Л. Стратонович [24] отмечает, что в настоящее время в теории информации слились три дисциплины: • статистическая термодинамика как математическая теория; • шенноновская теория информации; • теория оптимальных статистических решений.
Можно утверждать, что в настоящее время происходит становление не только понятия информации, но и связанного с ним общенаучного метода исследования — теоретико-информационного. Работы У. Эшби [32] о возможности разнообразного построения кибернетики можно считать отправной точкой теории управления и моделирования. Он показал, что процесс связи можно интерпретировать как передачу информации, а управление — как ограничение разнообразия. К. Шеннон [30] подчеркивал, что с информацией можно обращаться почти так же, как и с физическими величинами — массой, энергией. В работе В.И. Рабиновича [20] для оценки степени изоморфности модели реальному объекту введена информационная мера изоморфности, равная количеству информации, содержащейся во входной величине X о выходной величине Y. Особый интерес представляет статья Б.Н. Петрова и др. [19]. В этой работе на основе введенного И.Д. Кочубиевским [15] порога различимости состояний объекта управления проводится анализ общих условий управления технологическими процессами с использованием представлений теории информации. Информационный подход, базирующийся на принципах дискретизации и разнообразия, дает возможность выделить главное, существенное в сложных технических системах. Информационная теория моделирования как составная часть теории управления определяет условия подобия целей, информационных структур, информационных потоков (по качеству и ценности информации), а также подобия информационных функций преобразователей информации в узлах управления. Основная цель построения информационной теории моделирования — анализ и синтез сложных систем [31], построение информационно-оптимальных машинных систем. Анализ литературы, посвященной информационной теории управления, приводит к выводу, что «информационный подход дает единую точку зрения на все виды управления, независимо от его цели и типа управления системы» [18]. Теория информации, как и статистическая физика, благодаря своим методам и обобщениям позволяет исследовать объекты сложной природы на относительно простых и наглядных математических моделях [18, 19]. Простота и универсальность методов теории информации дали сильный толчок к использованию их в различных областях техники. Универсальность понятия «информация» и «энтропия», являющиеся мерами организованности и взаимной связи, жесткая необходимость квантования, представленная в работе Х. Хармута [26], связь с классической термодинамикой, приведенная в работах [22, 33], дают основания полагать, что методы математической теории
информации являются не просто полезными абстрактными моделями, но и адекватным описанием объективной реальности. Сложившееся состояние теории информации, ее прикладные возможности дали основание определить теорию информации как базис нового подхода к анализу и управлению сложными системами. Тем не менее, до недавнего времени не было единого теоретического подхода к методологии использования результатов теории информации на практике для анализа и управления сложными системами. Единый теоретический подход был создан в Тульском государственном университете трудами В.Г. Григоровича, С.В. Юдина, А.С. Юдина, А.С. Горелова и других. За 20 лет теоретических и практических исследований были созданы теоретические основы управления сложными процессами на базе методов теории информации, получены важные результаты в теории управления качеством, решении ряда прикладных задач математической статистики. По итогам исследований опубликовано более 40 статей и 6 монографий, 2 учебных пособия [см., например, 9–11, 33–39]. До сих пор все публикации, посвященные использованию информационного подхода, относились к техническим наукам в области управления качеством и сложных процессов в машиностроении, пищевой и радиоэлектронной промышленности. Однако эти методы носят настолько универсальный характер, что их можно использовать и в экономических науках. Учитывая, что для специалистов экономического профиля информационно-статистические методы являются совершенно новыми, их применение будет описано параллельно со стандартными. Авторы надеются, что студенты, аспиранты и исследователи экономических процессов найдут много нового и полезного в этих методах. В книге рассмотрены также основные методы решения задач из стандартных институтских курсов «Эконометрика», «Экономико-математические методы и прикладные модели», «Оценка и анализ рисков».
1. ЭЛЕМЕНТЫ ТЕОРИИ ВЕРОЯТНОСТЕЙ 1.1. ОСНОВНЫЕ ПОНЯТИЯ И ОПРЕдЕЛЕНИЯ Теория вероятностей — это математическая наука, позволяющая по вероятностям одних случайных событий находить вероятности других случайных событий, связанных каким-либо образом с первыми. Здесь сразу же возникает вопрос, что такое случайное событие и что такое вероятность? Как правило, мы имеем дело с детерминированными событиями, т.е. такими, наступление или ненаступление которых определяется известными факторами. Например, если электрическая лампа подключается к источнику тока, то ее рабочий элемент нагревается и начинает испускать свет. Отсюда можно дать определение. Определение 1. Событие, которое вызывается точно определенными факторами, с одной стороны, и не происходит, если эти факторы отсутствуют, называется детерминированным (предопределенным). Отрицание этого определения дает нам определение случайного события. Определение 2. Событие, которое может происходить при наличии некоторых факторов, а может и не происходить, причем заранее невозможно предсказать исход опыта, называется случайным событием. Часто сразу и не удается определить, является ли какое-то событие случайным или детерминированным. Например, включая и выключая лампочку сотни и тысячи раз, мы наблюдаем появление света при включении и его исчезновение при выключении. Наступает, однако, какой-то момент времени, когда при включении лампы в сеть свет не появляется. Таким образом происходит нарушение предполагаемой нами детерминированной связи между событиями «выключатель включен» и «лампа светит». Сразу же появляется ответ: лампа должна быть исправна. Тогда появляется более сложная детерминированная связь: если «выключатель включен» и «лампа исправна», то «лампа светит». Если событие «выключатель включен» вполне однозначно, т.е. мы его либо включили, либо нет, то событие «лампа исправна» не может быть нами установлено однозначно до включения лампы и проверки всей цепи. Более того, заранее невозможно предсказать ни момент выхода лампы из строя, ни того, какая лампа из любого набора выйдет из строя первой. Таким образом, событие «лампа исправна» является случайным со
бытием, поскольку невозможно установить факторы, приводящие к его наступлению или не наступлению (т.е. появлению события «Лампа неисправна»). Два последних события являются не только случайными, но и взаимно дополняющими друг друга. Определение 3. Пусть в результате проведения некоторого эксперимента, состоящего из последовательности опытов, производится наблюдение за исходами этих опытов. Пусть в результате каждого опыта может произойти одно и только одно событие из некоторого множества событий Ω. Тогда множество Ω называется полным множеством событий (данного опыта), а события ω1, ω2, …, ωn называются элементарными событиями (данного опыта). Очевидно, что ω1∪ω2∪ … ∪ωn = Ω. Определение 4. Если в результате опыта возможно лишь два исхода: A и B, A∪B = A + B = Ω, то такие события называются взаимно дополняющими друг друга. Обратим теперь внимание на то, что некоторые события появляются очень редко, а другие, напротив, почти всегда. Так, лампа почти всегда загорается, когда мы включаем ее, а, скажем, незагорание лампы происходит крайне редко. Рассмотрим еще один пример. Пусть у нас имеется игральная кость: равносторонний куб, на каждой грани которого нанесено одно из чисел от единицы до шести. Когда мы бросаем кость, она вращается и при падении на стол ложится некоторой гранью вверх. Ясно, что угадать цифру, которая будет вверху, невозможно. Даже если мы сумеем описать начальные условия и дать им численные значения с абсолютной точностью (что невозможно), то случайные флуктуации плотности воздуха, движения воздушных масс приведут к тому, что при достаточно длительном полете кости невозможно будет предсказать, какая грань окажется наверху. Но не только невозможность описания всех действующих факторов приводит нас к понятию случайного события. Еще в начале века была создана наука квантовая механика, одним из основных постулатов которой была невозможность предсказания поведения любого достаточно малого объекта, в частности, элементарных частиц. Их поведение можно рассматривать только в массе и говорить только о возможности того или иного события. Для численного описания возможности появления того или иного события служит понятие «вероятность». Оно определяется разными способами, но всегда выполняются следующие требования: 1) вероятность p достоверного события равна единице; 2) вероятность p невозможного события равна нулю; 3) вероятность любого события не меньше нуля и не больше единицы; 4) чем больше вероятность некоторого события, тем чаще оно наблюдается.
Определение 5. Вероятностью называется численная мера, определяющая частоту появления события. Алгебра событий и комбинаторика. Выборки. Пусть Ω — полное множество событий некоторого опыта. Пусть Ω = ω1∪ω2∪ … ∪ωn. Сопоставим каждому элементарному событию ωi число pi, такое, что 1 1 0 n i i i p p i = = ≥ ∀ ∑ , . Пусть выполнены следующие условия. Для любого сложного события-множества A ⊂ Ω ( i A = ω ∪ ) вероятность этого события равна ( ) i p A p = ω ∑ ( ) . Если то 1 B A p B p A ⊂ ⊂ Ω ≤ ≤ , ( ) ( ) . 1 p Ω = ( ) . 0 p ∅ = ( ) , где ∅ — пустое множество. Тогда говорят, что множество всех подмножеств Ω вместе с присвоенными им вероятностями образует вероятностное пространство. Тогда эти числа назовем вероятностями соответствующих событий. Вопрос о том, как определяются конкретные значения величин pi в данной конкретной задаче, лежит за пределами теории вероятностей как чисто математической задачи. Информация о вероятности того или иного события должна быть получена из других источников. Наиболее распространенный подход, согласующийся со сказанным выше, заключается в следующем. Пусть в одинаковых условиях повторяется один и тот же опыт, заключающийся в наблюдении за появлением некоторого события A. Пусть N — число проведенных опытов, n — число появлений события A. Тогда вероятность события A есть число p(A), определяемое следующим образом: N n p A N →∞ = ( ) . lim (1.1) Иногда вероятность событий может быть определена следующим образом. Пусть с точки зрения наблюдателя нет возможности дать предпочтение тому или иному событию. Тогда каждому из таких событий приписывается одинаковая вероятность. Если эти события образуют полное множество событий, то вероятность каждого из них равна p = 1/N, (1.2) где N — количество событий, называемых элементарными. Например, рассмотрим игральную кость. Пусть событие ωi заключается в том, что выпадает i очков. Очевидно, что события ω1,