Известия Тульского государственного университета. Технические науки, 2016, № 9

Министерство образования и науки Российской Федерации 
 
Федеральное государственное бюджетное  
образовательное учреждение высшего образования  
«Тульский государственный университет» 
 

 
 
 
16+ 
ISSN 2071-6168 
 
 
 
ИЗВЕСТИЯ  
ТУЛЬСКОГО ГОСУДАРСТВЕННОГО 
УНИВЕРСИТЕТА 
 
 
 
 
ТЕХНИЧЕСКИЕ НАУКИ 
 
 
Выпуск 9 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
Тула 
Издательство ТулГУ 
2016 

УДК 621.86/87                                                                             ISSN 2071-6168 
 
 
Известия Тульского государственного университета. Технические науки.  
Вып. 9. Тула: Изд-во ТулГУ, 2016. 309 с.
 
Рассматриваются научно-технические проблемы информатики, вычислительной техники, обработки и защиты информации, машиностроения 
и машиноведения, организации контроля качества продукции, когнитивных технологий в методике преподавания технических наук. 
Материалы предназначены для научных работников, преподавателей вузов, студентов и аспирантов, специализирующихся в проблематике 
технических наук. 
 
 
 
Редакционный совет 
 
М.В. ГРЯЗЕВ – председатель, В.Д. КУХАРЬ – зам. председателя, 
В.В. ПРЕЙС – главный редактор, А.А. МАЛИКОВ – отв. секретарь, 
И.А. БАТАНИНА, О.И. БОРИСКИН, М.А. БЕРЕСТНЕВ, В.Н. ЕГОРОВ, 
О.Н. ПОНАМОРЕВА, Н.М. КАЧУРИН, В.М. ПЕТРОВИЧЕВ 
 
 
 
Редакционная коллегия 
 
О.И. Борискин (отв. редактор), С.Н. Ларин (зам. отв. редактора), 
Б.С. 
Яковлев 
(отв. 
секретарь), 
И.Л. 
Волчкевич, 
Р.А. 
Ковалев,  
М.Г. Кристаль, А.Д. Маляренко (Республика Беларусь), А.А. Сычугов,  
Б.С. Баласанян (Республика Армения), А.Н. Чуков  
 
 
Подписной индекс 27851 
по Объединённому каталогу «Пресса России» 
 

Сборник 
зарегистрирован 
в 
Федеральной 
службе по надзору в сфере связи, информационных 
технологий и массовых коммуникаций (Роскомнадзор).  
ПИ № ФС77-61104 от 19 марта 2015 г.  
«Известия ТулГУ» входят в Перечень ведущих 
научных 
журналов 
и 
изданий, 
выпускаемых 
в 
Российской Федерации, в которых должны быть 
опубликованы научные результаты диссертаций на 
соискание учёной степени доктора наук 
 
 
© Авторы научных статей, 2016 
© Издательство ТулГУ, 2016 

ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА,  
ОБРАБОТКА И ЗАЩИТА ИНФОРМАЦИИ 
 
 
 
 
УДК 004.852; 004.855.5 
 
АВТОЭНКОДЕР: ПОДХОД К ПОНИЖЕНИЮ РАЗМЕРНОСТИ 
ВЕКТОРНОГО ПРОСТРАНСТВА С КОНТРОЛИРУЕМОЙ 
ПОТЕРЕЙ ИНФОРМАЦИИ 
 
Н.В. Акинина, М.В. Акинин, А.В. Соколова,  
М.Б. Никифоров, А.И. Таганов 
 
Рассмотрены различные способы описания характеристик изображений, а 
также применение автоэнкодера для классификации изображений. Приведены результаты эксперимента, показывающие эффективность использования автоэнкодера для 
решения задач классификации образов. 
Ключевые слова: нейронная сеть, анализ главных компонент, анализ независимых компонент, автоэнкодер. 
 
Введение 
Задача классификации – формализованная задача, в которой имеется множество объектов, разделенных некоторым образом на классы. Задано конечное множество объектов, для которых известно, к каким классам 
они относятся, т.е. задана выборка. Классовая принадлежность элементов 
выборки неизвестна. Следовательно, задача классификации сводится к построению алгоритма, способного отнести произвольный элемент выборки 
к одному из заранее определенных классов. Для решения поставленной  
задачи применяются  искусственные нейронные сети, обученные с учителем [1, 2]. 
Распознавание образов – это отнесение исходных данных к определенному классу с помощью выделения существенных признаков, характеризующих эти данные из общей массы несущественных данных. Таким 
образом, задача распознавания образов сводится к их классификации [3]. 
Чтобы было возможно произвести классификацию исследуемая выборка 
образов должна быть описана одним из известных способов. 

Известия ТулГУ. Технические науки. 2016. Вып. 9 
 

 
4

Проблема 
Существенный интерес представляет описание пикселей изображе
ния (описание образа) посредством описания покрывающих их текстур 
(текстурные признаки), поскольку такие признаки учитывают не только 
спектральные яркости пикселя в каждом из каналов, но также спектральные яркости пикселей в окрестностях рассматриваемого пикселя и взаимосвязь между данными спектральными яркостями. 

Существуют следующие способы описания текстур: 
- описание текстур с помощью признаков, рассчитываемых по гис
тограмме изображения; 

- спектральные текстурные характеристики; 
- энергетические характеристики Лавса; 
- текстурные признаки Харалика;  
- прочие способы. 
Описание текстур посредством использования энергетических ха
рактеристик Лавса обладает следующими достоинствами: 

- возможно компактно описывать большинство характерных пат
тернов структуры текстуры (периодическое повторение элементов текстуры, множество несвязанных мелких элементов, отдельные относительные 
большие пятна и др.); 

- возможно компактно описывать уровень яркости текстуры, мас
штабированного к одинаковому уровню освещения по всему снимку; 

Недостатком такого подхода являются существенные временные 

затраты на расчет описания текстуры. 

По сравнению с характеристиками Лавса достоинством признаков 

Харалика является их большая информативность и большая гибкость характера описания, а недостатком — их меньшая компактность, что можно 
объяснить необходимостью расчета одних и тех же характеристик для нескольких матриц вхождений; 

Из перечисленных подходов к описанию текстур наиболее эффек
тивны в задачах обработки изображений энергетические характеристики 
Лавса и текстурные признаки Харалика [4, 5]. 

Следующим после описания обрабатываемого изображения шагом 

является классификация пикселей изображения. 

Пусть имеется некоторая выборка образов T известного размера 

K(1). 
}.
,...,
,
{
2
1
k
T
T
T
T =
 
(1)

Классификация сводится к отнесению каждого из образов Т к од
ному из классов множества C [6]. Классификация выполняется при помощи классификатора c (2) 

M
m
C
c
m
T
c
c
T
c
c
C
m
m
m
,1.
;
];
,
[
];
[
]
[
=
∈
=
=
=
 
(2)

Информатика, вычислительная техника, обработка и защита информации 
 

 
5

В (2) множество 
Q
q
c
C
q
,1
};
{
=
=
 -  множество индексов q классов, 

к которым может быть отнесен образ. Каждый из индексов маркирует отдельный класс. 

Классификация образов Т происходит посредством применения 

классификатора classification, который по своей сути есть функция 

))
(
(
T
n
descriptio
tion
classifica
 где 
)
(T
n
descriptio
  - функция описания образа Т. 

Так как каждый из образов Т описывается при помощи некоторого набора 
признаков, то функция описания образов принимает вид (3). 

),
(
)
(
T
v
n
descriptio
T
n
descriptio
=
 
(3)

где T
v  - вектор признаков образа Т. В свою очередь совокупность векторов 

признаков всех образов составляет множество 
],
1,1
[
,
,1
;
−
∈
=
∈
T
i

T
i
v
I
i
V
v
 где 

I – размерность пространства признаков. 

При использовании текстурных признаков для решения приклад
ных задач возникает проблема катастрофически больших размерностей 
векторных пространств, образуемых текстурными характеристиками [7]. 
Следовательно, необходимо предусмотреть способ понижения размерно
сти пространства признаков, то есть способ преобразования 
*,
V
V →
где будет выполняться условие 
I
I <
*

Понижение размерности пространства признаков влечет за собой 

проблему потери практически важной информации при выполнении преобразования. Чтобы контролировать данный процесс, необходимо определить некоторую функцию 
*)
,
(
inf
V
V
o
 как инструмент для оценки потери 

информации при преобразовании. Такая функция позволяет контролировать процесс предварительной обработки информации перед проведением 
непосредственно классификации образов, так как классифицировать разумней уже уменьшенные по размеру вектора признаков образов,  
и при необходимости корректировать процесс понижения размерности, 
чтобы избежать потери важной для решаемой прикладной задачи информации. Конкретный вариант функции зависит от способа понижения размерности. 
Алгоритм 
Анализ главных компонент (principal component analysis, PCA) — 
один из основных способов уменьшить размерность данных, потеряв наименьшее количество информации. Иногда PCA называют преобразованием 
Карунена — Лоева или преобразованием Хотеллинга [8]. PCA состоит в 
линейном ортогональном преобразовании входного вектора X размерности 
n в выходной вектор Y размерности p (рис. 1), где 
n
p <
  При этом компоненты вектора Y являются некоррелированными и общая дисперсия после 
преобразования остается неизменной. Совокупность входных последовательностей можно представить в виде матрицы (4) 

Информатика, вычислительная техника, обработка и защита информации 
 

 
7

n
np
p
p
p

n
n

n
n

x
w
x
w
x
w
y

x
w
x
w
x
w
y

x
w
x
w
x
w
y

+
+
+
=

+
+
+
=

+
+
+
=

...

...

...

...

2
2
1
1

2
2
22
1
12
2

1
2
21
1
11
1

 
(8)

что справедливы следующие выражения (9) 

∑
∑σ
=
σ

σ
≥
≥
σ
≥
σ

=
=
=
σ

n

i

n

i

i
ii

p

j
i

y

y
y
y

n
j
n
i
y
y

).
(

),
(
...
)
(
)
(

,
,1
,
,1
;0
)
,
(

2
1
 
(9)

По представленным выше выражениям видно, что переменные  
yi некоррелированы, упорядочены по возрастанию дисперсии и сумма  
дисперсий входных образов остается без изменений. Следовательно,  
подмножество первых p переменных y характеризует большую часть общей дисперсии. В результате получается представление входной информации. 
Переменные 
p
i
yi
,1
, =
  называются главными компонентами. В 
матричной форме преобразование главных компонент представляется  в 
виде (10), где строки матрицы WT должны удовлетворять условию ортогональности (11), при этом вектор Wi определяется по формуле (12) 

,
X
W
Y
t
=
 
(10)

,
,0

,
,1

j
i
W
W

j
i
W
W

T
j
i

T
j
i

≠
∀
=

=
∀
=
 
(11)

).
,....,
,
(
2
1
ni
i
i
i
w
w
w
W =
 
(12)

Для определения главных компонент необходимо определить весовые коэффициенты Wij = 1, …, p. 
Другой,   более   инновационный,   способ   понижения   размерности анализируемого векторного пространства — это применение  
автоэнкодера. 
Автоэнкодер (автоассоциатор) [9]— специальная архитектура нейронных сетей, позволяющая применять обучение без учителя при использовании метода обратного распространения ошибки. Простейшая архитектура автоэнкодера приведена на рис. 2 — сеть прямого распространения, 
без обратных связей, наиболее схожая с перцептроном и содержащая 
входной слой, промежуточный слой и выходной слой. 

Известия ТулГУ. Технические науки. 2016. Вып. 9 
 

 
8

 
 
Рис. 2. Архитектура автоэнкодера 
 
Главная цель обучения автоэнкодера — добиться того, чтобы входной вектор признаков вызывал отклик сети, равный входному вектору.  
То есть задача функционирования автоэнкодера сводится к нахождению 
аппроксимации такой функции, чтобы отклик нейронной сети равнялся 
значению входных признаков с точностью до заданного значения  
ошибки. Чтобы решение поставленной задачи было нетривиальным, топология нейронной сети должна удовлетворять одному из следующих условий [10]: 
- количество нейронов скрытого слоя должно быть меньше, чем 
размерность входных данных (как показано на рис. 2). Такое ограничение 
позволяет получить сжатие данных при передаче входного сигнала на выход сети. В таком виде функционирование автоэнкодера напоминает метод 
анализа главных компонент (PCA); 
- активация нейронов скрытого слоя должна быть разреженной. 
Данное требование позволяет получить нетривиальные результаты, даже 
когда количество нейронов скрытого слоя превышает размерность входных данных. 
Автоэнкодер как способ понижения размерности пространства признаков может быть использован c применением архитектуры, представленной на рис. 2, функционирование автоэнкодера схоже с нейронной сетью, реализующей метод PCA. Подобный подход обладает следующими 
достоинствами: 
- высокая точность результатов; 
- уменьшение количества используемых ресурсов; 
- высокий уровень параллелизма; 
- высокая производительность.