Статистическая классификация и кластерный анализ

М Г Г У 

МОСКОВСКИЙ 
ГОСУДАРСТВЕННЫЙ 
ГОРНЫЙ УНИВЕРСИТЕТ 

Председатель 

Л.А. 
ПУЧКОВ 

Зам. председателя 

Л.Х. 
ГИТИС 

Члены редсовета 

И.В. ДЕМЕНТЬЕВ 

A. П. ДМИТРИЕВ 

Б.А. 
КАРТОЗИЯ 

В.В. КУРЕХИН 

М.В. КУРЛЕНЯ 

В.И. ОСИПОВ 

Э.М. СОКОЛОВ 

К.Н. 
ТРУБЕЦКОЙ 

В.В. ХРОНИН 

B. А. 
ЧАНТУРИЯ 

Е.И. ШЕМЯКИН 

ИЗДАТЕЛЬСТВО 

МОСКОВСКОГО 

ГОСУДАРСТВЕННОГО 

ГОРНОГО 
УНИВЕРСИТЕТА 

ректор 
МГГУ, 
чл.-корр. 
РАН 

директор 
Издательства 
МГГУ 

академик 
РАЕН 

академик 
РАЕН 

академик 
РАЕН 

академик 
РАЕН 

академик 
РАН 

академик 
РАН 

академик 
МАН 
ВШ 

академик 
РАН 

профессор 

академик 
РАН 

академик 
РАН 

т 

« «ПРАКТИЧЕСКАЯ 

я 
СТАТИСТИКА 
ы д л я ГОРНЫХ 
U ИНЖЕНЕРОВ» 

Л.Х. Гитис 

СТПТИСТИЧЕСКПЯ 
КЛАССИФИКАЦИЯ 
И 
К П П С Т Е Р Н Ы Й 

АНАЛИЗ 

М О С К В А 

И З Д А Т Е Л Ь С Т В О 
М О С К О В С К О Г О 
Г О С У Д А Р С Т В Е Н Н О Г О Г О Р Н О Г О 
У Н И В Е Р С И Т Е Т А 

2 0 0 
3 

J 

УДК 519.251:622 
ББК 22.172 
Г 46 

Гитис Л.Х. 

Г 46 
Статистическая классификация и кластерный анализ. — М.: Издательство Московского государственного горного университета, 2003.— 157 с : ил. 

ISBN 5-7418-0010-6 
Посвящена теории распознавания образов и одному из методов ее 
"реализации — кластерному анализу. В сжатом виде представлены основные идеи кластерного анализа и показаны сферы его приложения в горных, 
экономических, социологических и других исследованиях. Описанные методы кластеризации могут быть использованы в реальных задачах. В алгоритмах достаточно подробно рассмотрена вычислительная часть. 

Несмотря на то, что кластерный анализ является эффективным и 
удобным инструментом классификации, а также весьма распространен в 
практических исследованиях, публикаций на эту тему на русском языке 
очень мало, а существующие малоинформативны. Предлагаемая Вашему 
вниманию книга освещает некоторые основополагающие вопросы кластерного анализа. 

Для научных сотрудников, диссертантов и специалистов, работающих в области многомерного статистического анализа. 

Табл. 3, ил. 30, список лит. — 29 назв., глоссарий. 

УДК 519.251:622 
ББК 22.172 

ISBN 5-7418-0010-6 
© Л.Х. Гитис, 2003 
© Издательство МГГУ, 2003 
© Дизайн книги. Издательство 
МГГУ, 2003 

ВВЕДЕНИЕ 

СТА ТИСТИЧЕСКИЕ 
МЕТОДЫ 
В 
УПРАВЛЕНИИ. 
КЛАССИФИКАЦИЯ 
И КЛАСТЕРНЫЙ 
АНАЛИЗ 

Рыночная экономика, несмотря на внешнюю простоту, требует высокой концентрации знаний, интеллекта, умения предвидеть последствия управленческих действий, инициативы и других качеств специалистов, принимающих участие в управлении. 

Казалось бы знания экономических и математических теорий здесь необязательны, а сложные статистические методы 
распознавания образов вообще ни к чему. Но практика свидетельствует, что менеджер, владеющий сложными теориями, более эффективен, чем необразованный управленец. 

Для того, чтобы построить систематизированную схему 
использования различных методов в процессе принятия решений, сформулируем основные содержательные задачи, которые 
естественным образом возникают в практике управления предприятием, территориальной общностью, отраслью, торговокоммерческой деятельностью. Поскольку предметом нашего 
изучения будут статистические теории, им посвятим основное 
внимание. 

Чем же отличается эффективный менеджер от простого 
управленца? В основном объемом, детализацией и уровнем 
синтетической обработки используемой информации: если второй тип руководителя использует только личный опыт, да и тот 
не в полном объеме, то эффективный менеджер перед принятием решения анализирует сходные ситуации, рассчитывает возможные последствия, ищет оптимальные выходы из сложившихся ситуаций. И здесь нельзя обойтись без знания статистических методов. Широко распространено мнение о том, что 
опытному управленцу для принятия эффективных 
решений 
вполне достаточно личного опыта или информации, полученной вербальным путем (на совещаниях, в беседах и т. п.). В 
простейших условиях это утверждение может быть и справедливым. Но сложная конкурентная среда требует иных знаний и 
подходов, здесь необходимо умение работать с обобщенной 
эмпирической, аналитической и синтезированной информацией 
об управляемых объектах, их аналогах и т. д. 

5 

Таким образом эффективность управления производственными, социальными и экономическими процессами в широком масштабе во многом зависит от умения пользоваться всем спектром 
аналитических и статистических методов. На рис. 1 представлена 
схема последовательного использования числовых и нечисловых 
аналитико-статистических методов изучения разнообразной многопараметрической информации. Корректное их использование 
позволяет глубже понимать сущность происходящих процессов, а 
также вести осознанный поиск оптимальных решений локальных 
и условно глобальных задач. 

И все-таки, несмотря на разнообразие поставленных задач 
и методов их решения, основная нагрузка приходится на статистические методы изучения информации. Как видно из приведенной схемы, статистические методы применимы для анализа 
экономического состояния предприятия, его конкурентоспособности на рынке, социально-производственной 
привлекательности территориальной общности и производства, а также 
для решения множества других задач, стоящих перед управленцами всех направлений и рангов. 

Для управления немаловажное значение имеет, в каком виде 
будет представлена информация: необработанном и хаотичном 
или в классифицированном ранжированном и структурированном. Причем речь идет не только об информации, полученной в 
результате наблюдений, но и о таких данных, которые являются 
паспортными для исходных объектов. Объектами изучения могут быть предприятия и их подразделения, производственные 
мощности и инфраструктура, люди - работники предприятий и 
члены их семей. И в каждом случае они будут характеризоваться 
набором показателей: обобщенных и детальных, описывающих 
сходные явления и специфические черты объектов. 

Очевидно, неклассифицированная и неструктурированная 
информация для управления бесполезна, да и обилие характеристик (многомерность пространства размещения 
объектов) 
мешает анализу. Поэтому на первом этапе изучения информацию приходится классифицировать и структурировать. Наиболее удобной формой 
классификации 
информации 
является 
представление ее в виде неких однородных образов, которые 
объединяют объекты по принципу близости 
характеристик. 
Создание достаточно полной системы образов исходного массива информации позволяет дифференцированно подходить к 
управлению. Кроме того, однородность образов дает возможность прогнозировать их реакцию (обратную связь) на управляющие воздействия. 

6 

Блоки числовой и нечисловой информации 
для принятия коммерческих решений 

/ 
Количественны! 
\ 
\ . 
анализ 
/ 

Объем содержательной 
информации в документе 

Время функционирования 
документа в структурах 
управления и маркетинга 

Трудоэа граты 
на подготовку 
информационных 
массивов, отдельных 
документов, числовых 
матриц 

Количество обращений к 

документу, матрице, 
другой информационной 
единице 

Количество ссылок на 
документ 

Структурный 
анализ 

Создание методической 
базы структурного 
анализа 

Изучение предложенных 
концепций и планов 
развития предприятия 

Анализ метрической 
близости объектов, 
векторов, матриц, 
неформальных данных 

Изучение конъюнктурной 
информации 
отечественного и 
зарубежного рынка 
продукции 

Анализ эффективности 
алгоритмов формирования 
информационных 
массивов, документов 

Анализ интенсивности 
использования числовых и 
нечисловых данных 

Изучение возможных 
путей использования 
собранной информации 

Изучение каналов 
получения и передачи 
информации 

Систематизация 
матричной информации, 
фактов, гипотез 

Прогноз 

Анализ трансформации и 

функциональных 
изменений информации 
во времени, при 
перемещениях и 
геометрических 
отображениях 

Сценарии развития 

Ситуационный анализ 

Классификация информации и ее использование в прогнозировании и управлении 

Рис. 1. Укрупненная схема анализа и синтеза информационных массивов, используемых для принятия коммерческих решений 

7 

Специалисты, работающие в сфере изучения закономерностей и управления минерально-сырьевым комплексом, решают 
задачи анализа конъюнктуры внутреннего и мирового рынков 
полезных ископаемых, которые, в свою очередь, подразделяются на задачи ранжирования, оценивания, поиска связей и т. д. 
Далее возникают задачи многокритериального сравнительного 
анализа добычных и обогатительных горных 
предприятий, 
предлагаемого на рынок продукта, его качества и цены, транспортных технологий и т. д. 

Еще один блок задач математической статистики возникает 
в результате потребности в изучении внутрифирменных связей. 
Горно-промышленное предприятие расчленяется на десятки 
основных производств и инфраструктурных 
подразделений, 
которые 
являются объектами управления. Между этими объектами 
существуют корреляционные 
зависимости, 
которые 
кроме количественных характеристик (коэффициенты корреляции) описываются уравнениями регрессии. Все это позволяет 
интерполировать и экстраполировать имеющиеся в результате 
вычислений статистические ряды. 

При составлении планов ведения горных работ также используются разнообразные статистические методы. Для подсчета и анализа запасов полезных ископаемых, обобщения разнообразных природных ресурсов применяются методы интерполяции, построения дискриминантных линий, статистические 
подсчеты содержания массы полезных ископаемых в геометрических блоках горных пород. На основе полученных данных 
рассчитываются показатели качества рудой массы, решаются 
задачи усреднения, формируются временные ряды, а затем разрабатываются календарные планы добычи, усреднения и обогащения. В этих задачах важную роль играют методы распознавания незрительных образов. 

По какому плану ни проводилось бы исследование информации, первым этапом должны стать ее классификация, фильтрация и представление в упорядоченном и компактном виде. 
Для решения этих задач и были разработаны методы кластерного анализа. Этап классификации во многом определяет результаты всего исследования. От того, насколько удачно разделены объекты, удалось ли на первом этапе отфильтровать недостоверную информацию, не потеряна ли объективность при 
группировке детализированных характеристик, зависят точность принимаемых решений и управление, образно говоря, с 
открытыми глазами. 

8 

В то же время нельзя слепо полагаться только на результативность формальных процедур кластерного анализа. Статистические методы классификации требуют осмысления каждого логического этапа вычислений. Для этого на ключевых этапах бывает полезно интерпретировать результаты и к их оценке привлекать экспертов, специализирующихся на содержании исследования, вникающих в суть выполняемых преобразований. 

Для понимания общих принципов формулировки и решения широкого класса задач классификации методами кластерного анализа обозначим укрупненно основные стадии обработки информации (рис. 2). 

Содержательная 
формулировка 

задач 
классификации 

Определение и 
формализация 
параметров 

Выбор шкалы 
и единиц 
измерения 

Наблюдение, 
измерение, 
введение 

в компьютер 

Интерпретация 
результатов 

Анализ 
кластеров 

Выработка 
решений 

Классификация 
Систематизация 

Рис. 2 

Глава 1 

КЛПССИФИКПЦИЯ, 
ТЕОРИЯ распознавания 
НЕЗРИТЕПЬНЫН образов 
и ЕЕ РЕааизация МЕТОЦРНИ 
КПОСТЕРНОГО анааизп 

1.1. Классификация объектов 
как необходимое условие 
деятельности человека 

1.2. Логическая модель 
распознавания 
незрительных образов, 
основанная на принципах 
обучения живых организмов 
условным рефлексам 

1.3. Объективная классификация 

1.4. Гипотеза о компактности 
образов 

Т