Книжная полка Сохранить
Размер шрифта:
А
А
А
|  Шрифт:
Arial
Times
|  Интервал:
Стандартный
Средний
Большой
|  Цвет сайта:
Ц
Ц
Ц
Ц
Ц

Методы и модели решения задачи классификации данных. Методы классификации

Покупка
Основная коллекция
Артикул: 874961.01.99
Доступ онлайн
500 ₽
В корзину
В пособии рассмотрены базовые методы, применяемые для решения задачи классификации данных, а именно: логистическая регрессия, линейный дискриминантный анализ, опорные векторы, деревья решений. Алгоритмы методов классификации реализованы средствами языка и среды статистических вычислений R. В теоретическом разделе учебного пособия приведено краткое описание методов классификации, позволяющее понять их суть и особенности применения. Основное внимание в пособии уделено рассмотрению технологии (методики) решения задачи классификации в среде R. Приведено описание основных функций языка R, реализующих алгоритмы методов классификации. На сквозном примере рассматриваются вопросы идентификации, анализа точности и адекватности, сравнения и окончательного выбора модели классификатора. Предназначено для будущих бакалавров IV курса АВТФ, обучающихся по направлениям 09.03.01 «Информатика и вычислительная техника», 09.03.04 «Программная инженерия», и для магистрантов первого и второго года обучения - по направлениям 09.04.01 «Информатика и вычислительная техника», 09.04.04 «Программная инженерия».
Альсова, О. К. Методы и модели решения задачи классификации данных. Методы классификации : учебное пособие / О. К. Альсова, Н. А. Зеленчук. - Новосибирск : Изд-во НГТУ, 2025. - 108 с. - ISBN 978-5-7782-5449-7. - Текст : электронный. - URL: https://znanium.ru/catalog/product/2244236 (дата обращения: 19.11.2026). – Режим доступа: по подписке.
Фрагмент текстового слоя документа размещен для индексирующих роботов
Министерство науки и высшего образования Российской Федерации 
Федеральное государственное бюджетное образовательное учреждение высшего образования 
НОВОСИБИРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ 
__________________________________________________________________________ 
 
 
 
 
О. К. АЛЬСОВА, Н. А. ЗЕЛЕНЧУК 
 
 
 
МЕТОДЫ И МОДЕЛИ  
РЕШЕНИЯ ЗАДАЧИ 
КЛАССИФИКАЦИИ ДАННЫХ 
 
МЕТОДЫ КЛАССИФИКАЦИИ 
 
 
Утверждено Редакционно-издательским советом университета  
в качестве учебного пособия 
 
 
 
 
 
 
 
 
 
 
 
НОВОСИБИРСК 
2025 


УДК 004.655(075.8) 
А579 
Рецензенты: 
д-р техн. наук, доцент С. П. Ильиных 
канд. физ.-мат. наук Д. А. Мигов 
 
Работа подготовлена на кафедре вычислительной техники  
для студентов и магистрантов АВТФ по дисциплинам  
«Методы анализа данных», «Компьютерные технологии анализа  
и обработки данных», «Анализ и интерпретация данных» 
 
Альсова О. К. 
А579  
Методы и модели решения задачи классификации данных. 
Методы классификации: учебное пособие / О. К. Альсова, Н. А. Зеленчук. – Новосибирск: Изд-во НГТУ, 2025. – 108 с. 
ISBN 978-5-7782-5449-7 
В пособии рассмотрены базовые методы, применяемые для решения задачи классификации данных, а именно: логистическая регрессия, 
линейный дискриминантный анализ, опорные векторы, деревья решений. Алгоритмы методов классификации реализованы средствами 
языка и среды статистических вычислений R.  
В теоретическом разделе учебного пособия приведено краткое описание методов классификации, позволяющее понять их суть и особенности применения. Основное внимание в пособии уделено рассмотрению технологии (методики) решения задачи классификации в среде R. 
Приведено описание основных функций языка R, реализующих алгоритмы методов классификации. На сквозном примере рассматриваются 
вопросы идентификации, анализа точности и адекватности, сравнения 
и окончательного выбора модели классификатора. 
Предназначено для будущих бакалавров IV курса АВТФ, обучающихся по направлениям 09.03.01 «Информатика и вычислительная техника», 09.03.04 «Программная инженерия», и для магистрантов первого и второго года обучения – по направлениям 09.04.01 «Информатика и вычислительная техника», 09.04.04 «Программная инженерия». 
 
УДК 004.655(075.8) 
ISBN 978-5-7782-5449-7 
 © Альсова О. К., Зеленчук Н. А., 2025 
 
 © Новосибирский государственный  
 
 технический университет, 2025


 
 
 
 
 
 
ОГЛАВЛЕНИЕ 
 
Введение .................................................................................................................. 4 
1. Задача классификации .................................................................................... 6 
1.1. Постановка задачи классификации ............................................................ 6 
1.2. Этапы решения задачи классификации...................................................... 8 
1.3. Методы и модели классификации ............................................................ 11 
1.3.1. Линейный дискриминантный анализ ............................................. 11 
1.3.2. Логистическая регрессия ................................................................ 22 
1.3.3. Деревья классификации .................................................................. 29 
1.3.4. Опорные векторы ............................................................................. 43 
Контрольные вопросы к разделу 1 .................................................................. 61 
2. Решение задачи классификации в среде R ................................................. 64 
2.1. Применение линейного дискриминантного анализа .............................. 65 
2.2. Применение логистической регрессии .................................................... 76 
2.3. Применение деревьев классификации ..................................................... 83 
2.4. Применение опорных векторов ................................................................ 94 
2.5. Сравнение моделей классификации по точности ................................. 102 
Контрольные вопросы к разделу 2 ................................................................ 104 
Библиографический список ............................................................................... 106 
 
 
 
 


 
 
 
 
 
 
ВВЕДЕНИЕ 
 
Задача классификации данных – одна из основных задач, решаемых 
в рамках динамично развивающегося направления Data Mining (эквивалент русскоязычного понятия «интеллектуальный анализ данных»). Задача классификации «с учителем» заключается в разработке правил отнесения объектов к одному из априорно выделенных классов на основе 
обучающей выборки, в которой каждый из объектов отнесен к одному 
из классов.  
За несколько последних десятилетий разработано огромное множество математических методов и моделей разных семейств и типов, позволяющих решать задачу классификации. Сюда относятся как классические 
методы математической статистики (логистическая регрессия, дискриминантный анализ, наивный классификатор Байеса, опорные векторы),  
так и методы построения деревьев решений, нейросетевые методы и многие другие. Отдельный класс методов составляют ансамблевые алгоритмы, которые комбинируют одиночные модели одного или разных типов для получения окончательного классификационного решения. 
Попытки ранжирования статистических методов классификации  
по эффективности предпринимались неоднократно, но сразу стоит подчеркнуть, что идеального метода, который одинаково хорошо покажет 
себя для решения любой задачи и на любом наборе данных, не существует [25]. Поэтому при решении прикладной задачи классификации 
нельзя игнорировать принцип множественности моделей В.В. Налимова 
(1971): для объяснения и предсказания структуры и (или) поведения 
сложной системы возможно построение нескольких моделей, имеющих 
одинаковое право на существование. 
Поэтому целесообразным подходом к решению задачи классификации представляется использование в процессе решения набора разных моделей и алгоритмов с последующим их сравнением и апостериорным выбором оптимального классификатора для каждого конкретного случая.   
 


В настоящем учебном пособии рассматриваются базовые, наиболее известные модели классификации, основанные на разных идеях  
и подходах к построению классификатора: логистическая регрессия; 
дискриминантный анализ; опорные векторы; деревья решений. В пособии [18] приведены описание и пример применения наивного байесовского классификатора. Изложение не претендует на полноту; 
например, за рамками пособия остались нейросетевые методы и ансамблевые алгоритмы. При выборе методов для включения в учебное пособие прежде всего учитывалась возможность построения интерпретируемой модели классификации, объясняющей вклад каждого предикторного признака в модель. Возможность четкой содержательной 
интерпретации модели особенно важна при решении прикладных задач анализа данных в разных предметных областях, таких как медицина, экономика, социология, промышленное производство и др. 
Учебное пособие является логическим продолжением учебного пособия «Методы и модели решения задачи классификации данных. Основные этапы» [18], в котором описаны этапы решения задачи классификации данных и методы, применяемые на каждом из этапов.  
Настоящее учебное пособие посвящено рассмотрению методов  
и моделей, которые применяются непосредственно на этапе классификации данных, включая этап сравнения и выбора оптимальной модели 
по совокупности показателей точности. 
В рамках теоретического раздела учебного пособия представлено 
описание методов и моделей, используемых для построения классификатора. Для каждого метода даны его краткое теоретическое описание, 
идея метода, математическая модель, лежащая в основе метода, условия 
использования и область его применения.  
В практическом разделе учебного пособия рассматривается сквозной пример решения прикладной задачи классификации сотрудников 
IT-компании на основе рассмотрения их показателей эффективности 
KPI (Key Performance Indicators) с помощью методов классификации, 
описанных в теоретическом разделе. В заключение проведен сравнительный анализ точности моделей классификации и выбрана оптимальная модель.  
В качестве программного инструмента реализации алгоритмов методов классификации используется язык R и среда RStudio [16, 17, 20, 
22, 25]. Приведены скрипты реализации всех рассмотренных алгоритмов методов классификации данных, что позволяет их использовать для 
решения собственных задач. 
 
 


 
 
 
 
 
 
1. ЗАДАЧА КЛАССИФИКАЦИИ 
1.1. ПОСТАНОВКА ЗАДАЧИ КЛАССИФИКАЦИИ  
В математической статистике задача классификации является базовой и предполагает разделение исследуемых объектов на классы по выделенным, наиболее существенным признакам, присущим объектам 
данного типа (рода) и отличающим их от объектов других типов (родов) [12]. Выделяют два типа задач классификации, которые носят 
название соответственно: «классификация без учителя» и «классификация с учителем» [9, 11, 21, 24]. В первом случае отсутствует априорная 
информация о разделении объектов на классы, и задача заключается в 
разбиении объектов на однородные (в смысле принятой метрики) 
группы на основании рассмотрения совокупности значений признаков, 
описывающих исследуемые объекты. Задачу «классификации без учителя» еще называют в литературе задачей кластеризации или численной 
таксономии. Во втором случае присутствует обучающая выборка, в которой каждый из объектов отнесен к одному из априорно выделенных 
классов, и необходимо построить правило отнесения объекта к классу. 
В настоящем учебном пособии рассматривается задача классификации 
во второй постановке. 
Математическая постановка задачи классификации 
Пусть имеется Х – множество описаний объектов; Y – множество номеров (наименований, меток) классов. Существует неизвестная целевая 
зависимость – отображение 
* :
,
y
X
Y

 значения которой известны 
только на объектах конечной обучающей выборки: 
,
,
1
{
, }n p
n
ij
i i j
X
x
y


, 
где ij
x  – значение j-го признака (атрибута), измеренного на i-м объекте; 
iy  – номер (метка) класса, к которому принадлежит i-й объект; n – количество объектов; p – количество признаков. 


Необходимо построить алгоритм (правило), позволяющий классифицировать произвольный объект 
.
x
X

 
Под объектом понимается элемент множества X. Под признаком, 
или атрибутом, понимается независимая (предикторная) переменная, 
описывающая свойство объекта. Классом называется зависимая  
переменная, которая принимает любое значение из множества 
1
2
{
, 
,  , 
}
K
Y
C
C
C


, K – количество классов. 
В частном случае выделяют только два класса, и соответственно решается задача бинарной классификации с двумя непересекающимися 
классами. 
В области машинного обучения классификация относится к типу 
задач обучения по прецедентам (supervised learning, обучение с учителем). В обучении с учителем набор данных организован как коллекция размеченных образцов 

,
,
1
(
, )n p
ij
i i j
x
y

. Каждый из n элементов коллекции называется вектором признаков, обозначим его для простоты 
1
2
(
, 
, 
, 
).
p
x
x
x
x


 Каждое измерение вектора признака описывает 
некоторую характеристику образца (объекта): 
1
2
, 
,  , 
p
X
X
X

.  
В дальнейшем X
x

 – компактная запись для 
1
1
2
2
(
, 
,
X
x
X
x


 
, 
).
p
p
X
x


 Под меткой 
iy  подразумевается элемент конечного 
множества классов 
1
2
{
, 
, 
, 
}.
K
Y
C
C
C


 
Основная цель алгоритма обучения с учителем заключается в создании модели на основе предоставленного набора данных. Эта модель 
принимает векторы признаков в качестве входных данных и предоставляет информацию, позволяющую определить соответствующую метку 
(класс) для данного вектора признаков. 
Задача классификации в машинном обучении состоит в автоматическом определении метки для неразмеченного образца. Для решения 
этой задачи применяется алгоритм обучения классификатора, в котором 
используется набор размеченных данных для создания модели. 
При построении классификатора исходная выборка разбивается  
на две части – обучающую и тестовую. Модель классификатора строится на обучающей выборке, а точность классификации проверяется  
на объектах тестовой выборки. 
Все признаки, описывающие объект, подразделяются на количественные (числовые) и качественные (категориальные). При этом качественные признаки разделяются, в свою очередь, на порядковые  


и классификационные. Значения признаков измеряются в соответствующих шкалах, на каждой из которых допустимы определенные математические операции. 
Количественные признаки – признаки, которые регистрируются  
с помощью чисел, имеющих содержательный смысл. Количественные 
признаки измеряются в количественной шкале, на которой допустимы 
все арифметические операции и операции сравнения. К количественным признакам относятся, например, возраст, доход, стаж работы, рост, 
вес и т. п. 
Порядковые (ранговые, ординальные) признаки – признаки, измеряемые в порядковой шкале, на которой допустимы только операции сравнения. К ранговым признакам относятся, например, уровень сертификации (1 – низкий; 2 – средний, 3 – высокий), воинские звания, сорта продуктов и т. п. 
Классификационные (номинальные) признаки – признаки, принимающие значения из некоторого ограниченного набора неисчисляемых категорий. Измеряются в категориальной шкале, для которой недопустимы арифметические операции, а из операций сравнения допустимы 
только «равно» и «не равно» (например, пол, цвет и т. п.). 
Разработано множество статистических методов разных классов, 
позволяющих решать задачу классификации. Выбор методов зависит  
от ряда факторов, среди которых можно выделить следующие: свойства 
исходных данных; типы признаков; наличие и структура взаимосвязей 
между признаками; требования к результатам классификации; возможность обрабатывать данные большого объема и заданные временные 
ограничения на реализацию процедуры классификации. Однако окончательный выбор метода классификации выполняется после проведения 
экспериментальных исследований (апостериори) и построения модели 
классификатора. Выбор опирается на оценку точности классификации, 
сравнительный анализ точности разных классификаторов, анализ и интерпретацию полученных результатов. 
1.2. ЭТАПЫ РЕШЕНИЯ ЗАДАЧИ КЛАССИФИКАЦИИ 
Процесс решения задачи классификации можно представить в виде 
укрупненного алгоритма, состоящего из последовательности взаимосвязанных этапов. Этапы алгоритма итерационно взаимодействуют 
друг с другом, на каждом шаге возможен возврат на предыдущие этапы 
для их уточнения и корректировки с учетом анализа промежуточных  


результатов. В рамках каждого этапа применяется комплекс методов 
статистического анализа данных и машинного обучения с целью построения наиболее точных моделей классификации и достижения конечных прикладных целей исследования. 
Укрупненно алгоритм решения задачи классификации состоит  
из следующих этапов (рис. 1), которые были подробно рассмотрены  
в учебном пособии [18]. 
Этап 1. Постановка задачи. Выполняется постановка задачи классификации на предметно-содержательном уровне, описываются предмет и объекты статистического исследования, научные и практические 
выводы, которые должны быть получены в результате решения задачи, 
формулируются требования к представлению результатов. Выполняется формализация задачи классификации, определяются исходные данные, осуществляется предварительный (априорный) выбор методов  
и алгоритмов решения задачи классификации и программные средства 
их реализации.  
Этап 2. Подготовка данных для обработки. Этап начинается с загрузки исходных данных в программную среду. В рамках этапа выполняется подготовка исходных данных для автоматизированной обработки (очистка данных, обработка пропущенных значений) и их разметка: определение зависимой и независимых переменных (признаков), 
задание типов признаков. Выборка исходных данных разбивается  
на обучающую и тестовую подвыборку. 
Этап 3. Анализ и устранение дисбаланса классов. Анализируется 
структура распределения объектов по классам на основе информации, 
полученной на предыдущем этапе. В случае наличия в исходной БД явного дисбаланса классов, т. е. преобладания объектов определенного 
(мажоритарного) класса, делается вывод о необходимости применения 
методов семплирования данных.  
Этап 4. Первичный (разведочный) анализ данных. На этом этапе применяются различные статистические методы первичной обработки  
и графического анализа данных с целью статистического описания распределения данных и выявления структуры взаимосвязей признаков.  
В результате выполнения этапа уточняется совокупность предикторных 
признаков и математических моделей классификации, которые будут 
использоваться в ходе решения задачи. 
Этап 5. Классификация. Проводится вычислительная реализация  
и оценка точности выбранных математических моделей классификации, 
выполняется сравнительный анализ точности разных моделей классификации с целью выбора оптимальной модели. 


 
 
 
 
Этап 1 
Постановка  
задачи 
Этап 6  
Анализ  
и интерпретация  
результатов 
Этап 2 
Подготовка  
данных  
для обработки 
Этап 5  
Классификация 
 
Этап 3 
Анализ  
и устранение 
дисбаланса классов 
Этап 4 
Первичный  
анализ 
 
 Цели и задачи 
 Предмет и объекты 
статистического 
исследования 
 Исходные данные  
и их описание 
 Требования  
к представлению 
результатов 
 Формальная 
постановка задачи 
 Методы и модели 
 Программные 
средства анализа 
данных 
 Очистка данных 
 Обработка 
пропущенных 
значений 
 Задание типов 
признаков 
 Определение 
целевой переменной 
(«Класс») и предикторных признаков 
 Расчет 
статистических 
характеристик 
 Деление исходных 
данных на обучающую и тестовую 
выборку 
 Анализ структуры 
распределения 
объектов по классам 
 Выявление 
дисбаланса классов 
 Выбор и применение метода семплирования 
 
 Графический  
анализ данных 
 Расчет 
статистических 
характеристик 
 Исследование 
законов распределения данных 
 Исследование 
корреляционных 
взаимосвязей  
в данных 
 Проверка различных статистических 
гипотез (предположений) о структуре  
и свойствах данных 
 Построение 
моделей классификации с помощью 
программных  
средств 
 Оценка точности 
моделей классификации на обучающей 
и тестовой выборке 
 Сравнение  
точности моделей 
 Выбор оптимальной модели по совокупности показателей 
точности 
 
 Анализ  
и интерпретация 
полученных 
результатов  
в терминах 
прикладной задачи 
 Оценка степени 
достоверности 
результатов 
 Оценка степени 
достижения  
конечных целей 
исследования 
  
 
Рис. 1. Этапы решения задачи классификации данных 
10 


Доступ онлайн
500 ₽
В корзину