Особенности использования многослойного персептрона при автоматизированном контроле знаний в электронных учебных курсах
Бесплатно
Основная коллекция
Тематика:
Высшее образование
Издательство:
Науковедение
Год издания: 2014
Кол-во страниц: 13
Дополнительно
Тематика:
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 2, март – апрель 2014 Опубликовать статью в журнале - http://publ.naukovedenie.ru Институт Государственного управления, права и инновационных технологий (ИГУПИТ) Связаться с редакцией: publishing@naukovedenie.ru 1 http://naukovedenie.ru 94TVN214 УДК 004.588 Леванов Дмитрий Николаевич ООО «Центр разработки мультимедийных материалов» Россия, Москва1 Тестировщик Интернет-проектов E-Mail: felis_pardus@mail.ru Феоктистов Николай Алексеевич ФГБОУ ВПО «Московский государственный университет дизайна и технологии» Россия, Москва Профессор, доктор технических наук E-Mail: nikolay.a.feoktistov@gmail.com Особенности использования многослойного персептрона при автоматизированном контроле знаний в электронных учебных курсах Аннотация: В статье приведено моделирование многослойного персептрона для решения задачи классификации тестируемых пользователей. Выбрана структура сети, подготовлена обучающая последовательность и проведена настройка (обучение) нейросети. Построена математическая модель и проведен ее анализ. Исследовано поведение персептрона при выставлении оценки за тест, состоящий из десяти вопросов, на примере четырёхбалльного контроля знаний. Подтверждена адекватность реакции на выходе персептрона при подаче на вход данных, не использовавшиеся при настройке сети. В результате сложились основания полагать возможным использование нейронных сетей в решении задач классификации пользователей. В ходе обсуждения поставлен вопрос о целесообразности применения технологии нейронных сетей в задачах многокритериальной классификации пользователей по множеству характеристик. С постоянно расширяющимся множеством характеристик пользователя, которые могут быть отслежены компьютерной системой, также, возникает вопрос о внедрении новых, альтернативных существующим, методов обработки информации. С этой позиции нейронные сети, с учетом сложности обоснования выбора архитектуры и трудоемкости формирования репрезентативной обучающей выборки, имеют место быть рассмотрены в качестве одного из возможных направлений на пути разрешения данной проблемы. Модель может быть использована на этапах тестирования в электронных учебных курсах для дистанционного обучения с целью индивидуализации процесса обучения и повышения объективности оценки знаний. Ключевые слова: Образование; дистанционное обучение; система управления обучением; электронный учебный курс; нейронные сети; компьютерное тестирование знаний; классификация пользователей. Идентификационный номер статьи в журнале 94TVN214 1 ул. Маршала Савицкого, д.26, Москва, Россия, 117148
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 2, март – апрель 2014 Опубликовать статью в журнале - http://publ.naukovedenie.ru Институт Государственного управления, права и инновационных технологий (ИГУПИТ) Связаться с редакцией: publishing@naukovedenie.ru 2 http://naukovedenie.ru 94TVN214 Введение Проблема объективности оценки знаний, умений и навыков пользователя компьютерной системой заставляет разработчиков прибегать к анализу дополнительных критериев (характеристик пользователя), с учетом которых выставляется результирующая оценка. С возрастанием числа факторов, которые могут быть отслежены/учтены при тестировании пользователя компьютерной системой, трудоемкостью реализации такого подхода, а также ориентацией дистанционного тестирования на массовую аудиторию, очевидна необходимость оптимизации процессов обработки результатов тестирования как в системах управления обучением, так и на уровне электронных учебных курсов. По существу, ставится задача преобразования m-мерного массива входных данных (результатов взаимодействия с пользователем во время тестирования) в n-мерный выходной массив данных (результатов за тест, выраженных в баллах или как процент успеваемости). Процессу разработки системы выставления оценки по множеству критериев, пороговые значения или интервалы которых требуется обрабатывать посредством нетривиальных программных модулей, может быть альтернативой нейронная сеть, действующая по принципу модели «черного ящика». В статье проведено исследование возможности многокритериальной классификации тестируемых пользователей многослойным персептроном [1-4]. Исходные данные и моделирование персептрона Предположим, что пользователь завершил изучение какой-либо главы учебного курса, после чего ему предлагается ответить на 10 вопросов по пройденной теме. Пользователь отвечает на все вопросы, и система генерирует двоичный вектор результатов из десяти элементов соответственно, где 1 – означает, что студент ответил на вопрос правильно, а 0 – означает, что студент ошибся. Сгенерированный вектор ответов студента подается на входы обученной нейросети, которая вычисляет результат (выставляет оценку). Оценки могут быть четырех типов: «отлично» (1 0 0 0 – соответствующий оценке выходной сигнал); «хорошо» (0 1 0 0); «удовлетворительно» (0 0 1 0); «неудовлетворительно» (0 0 0 1). Таким образом, необходимо спроектировать нейронную сеть, способную анализировать ответы студента и правильно выставлять оценку. Используем пакет прикладных программ Neural Network Toolbox (Нейронные сети) мощной среды математического моделирования MATLAB. Следует обратить внимание на структуру сети, проектирование которой будет проводиться. Для решения задачи компьютерного контроля знаний может быть использована сеть прямого распространения информации – многослойный персептрон. Многослойный персептрон непосредственно подходит для решаемой задачи, так как имеет достаточно гибкую структуру и для его обучения имеется широкий диапазон алгоритмов. Начальная конфигурация нейронной сети прямого распространения выбрана на основе следующего эвристического правила: количество нейронов скрытого слоя равно половине суммарного количества входных и выходных нейронов. Тогда, если входных нейронов 10 (число вопросов), выходных нейронов 4 (число оценок), то скрытых нейронов 7. Архитектура многослойного персептрона, которую необходимо построить, представлена на рис. 1.
Интернет-журнал «НАУКОВЕДЕНИЕ»
Выпуск 2, март – апрель 2014
Опубликовать статью в журнале - http://publ.naukovedenie.ru
Институт Государственного управления,
права и инновационных технологий (ИГУПИТ)
Связаться с редакцией: publishing@naukovedenie.ru
3
http://naukovedenie.ru 94TVN214
Рис. 1. Двухслойный персептрон
(разработано автором)
Важно заметить, что для каждого слоя (скрытого и выходного) изображенной на
рисунке нейронной сети имеется вектор смещений (на рис. 1 векторы смещений не показаны).
Для нейронов скрытого слоя обозначим вектор смещений b1 (состоит из 7 элементов), а для
нейронов выходного слоя b2 (состоит из 4 элементов). Смещение каждого нейрона
суммируется со взвешенным входом и результат этой суммы является аргументом функции
активации нейрона.
Далее сформируем обучающий набор наблюдений. Известен ряд эвристических
правил. Воспользуемся одним из таких правил: количество наблюдений должно примерно
составлять 3/5 от максимально возможного числа наблюдений. Входной вектор состоит из 10
бинарных элементов. Таким образом, число всевозможных его комбинаций составляет
210 = 1024. Значит, обучающая последовательность должна быть представлена примерно 600
входными образами и таким же числом ожидаемых оценок {inputs; targets}, где inputs –
векторы входов, targets – векторы целей.
Векторов входа, соответствующих оценке «отлично» всего 11, соответствующих
оценке «хорошо» – 165, «удовлетворительно» – 462, «неудовлетворительно» – 386. Входной
вектор из 10 двоичных элементов соответствует оценке «отлично», если все его компоненты
равны 1, либо хотя бы одна компонента равна 0, то есть тестируемый пользователь получает
оценку 5 тогда, когда отвечает на все вопросы верно, или тогда, когда ошибается только на
один какой-либо вопрос. Таким образом, векторы входа, соответствующие оценке «отлично»
имеют вид:
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 2, март – апрель 2014 Опубликовать статью в журнале - http://publ.naukovedenie.ru Институт Государственного управления, права и инновационных технологий (ИГУПИТ) Связаться с редакцией: publishing@naukovedenie.ru 4 http://naukovedenie.ru 94TVN214 Рис. 2. Векторы входа, соответствующие оценке «отлично» (разработано автором) Векторы входа, соответствующие оценке «хорошо» формируются исходя из того, что студент ошибся на 2 или 3 вопроса из 10, то есть нулевых компонент в векторах входа, соответствующих ожидаемому выходу нейросети , будет 2 или 3. Векторы входа для оценки «удовлетворительно» будут иметь 4 или 5 нулей, а для оценки «неудовлетворительно» – 6 и более нулей. Сформируем обучающую последовательность, которая будет состоять из 600 прототипов (всего имеется 1024 прототипа). Из оставшихся 424 прототипов 44 будут использованы при проверке нейросети на адекватность. Тестирование с помощью образов, не использованных при обучении, продемонстрирует способность нейросети к обобщению, т.е. корректному отклику на новую информацию. Для определения значений весов и смещений, которые минимизируют ошибку обучения следует обучить нейросеть. Все алгоритмы обучения функционируют пошагово и эти шаги принято называть эпохами (циклами). На каждом цикле на вход сети последовательно подаются все элементы обучающей последовательности, затем вычисляется выходные значения сети, сравниваются с целевыми и вычисляется функционал ошибки. Значения функционала, а также его градиента используются для корректировки весов и смещений, после чего все действия повторяются. Начальные значения весов и смещений выбираются случайным образом, а процесс обучения прекращается, когда выполнено определенное количество циклов, либо когда ошибка достигнет некоторого малого значения или перестанет уменьшаться. При такой формализации задачи обучения предполагаются известными желаемые (целевые) реакции сети на выходные сигналы, что ассоциируется с присутствием учителя, а поэтому такой процесс обучения называют обучением с учителем. Именно такая парадигма будет использована при обучении в нашем случае. Иногда алгоритмы обучения с учителем называют также алгоритмами с поощрением [2, 5, 6]. Настройка персептрона и разработка математической модели Для обучения сети был выбран градиентный алгоритм обучения под названием Rprop (Resilient propagation. Выбор данного алгоритма для обучения нейронный сети, решающей задачу компьютерного контроля знаний, обусловлен тем, что алгоритм Rprop является самым быстрым из всех градиентных алгоритмов обучения, имеющихся в арсенале MATLAB [6-8]. 0 0 1 0
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 2, март – апрель 2014 Опубликовать статью в журнале - http://publ.naukovedenie.ru Институт Государственного управления, права и инновационных технологий (ИГУПИТ) Связаться с редакцией: publishing@naukovedenie.ru 5 http://naukovedenie.ru 94TVN214 Для нейронов скрытого и выходного слоев выберем логарифмические сигмоидальные функции активации. Такого типа функция активации выбрана потому, что диапазон выходных сигналов для этой функции определен от 0 до 1, и этого достаточно, чтобы сформировать значения выходного вектора. Создадим двухслойную нейронную сеть прямой передачи сигнала с сигмоидальными функциями активации для обучения по методу обратного распространения ошибки: Сеть использует 1 вектор входа с десятью элементами, имеющими одинаковые допустимые границы значений [0 1]; использует 2 слоя с семью нейронами в первом (скрытом) слое и четырьмя нейронами во втором (выходном) слое; используемые функции активации: logsig – в первом слое, logsig – во втором слое; используемая функция обучения – trainrp. Теперь следует настроить некоторые параметры алгоритма обучения: Здесь goal – предельное значение критерия обучения (ошибка сети), show – интервал вывода информации, epochs – максимальное количество циклов обучения. Обучающая последовательность представляет собой 600 векторов входа из 10 элементов каждый и столько же соответствующих им векторов ожидаемых целей из 4 элементов каждый. Итак, сеть построена, сформирована обучающая последовательность, выбран алгоритм обучения и настроены его параметры. Приступим к процессу обучения: После ввода данного выражения в командную строку системы MATLAB, открылось окно процесса обучения, показанное на рис. 3. В этом окне видно, что процесс обучения завершился по достижении заданной точности за 547 эпох. Время, затраченное на обучение сети – 14 секунд. График зависимости ошибки сети от числа циклов представлен на рис. 4.
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 2, март – апрель 2014 Опубликовать статью в журнале - http://publ.naukovedenie.ru Институт Государственного управления, права и инновационных технологий (ИГУПИТ) Связаться с редакцией: publishing@naukovedenie.ru 6 http://naukovedenie.ru 94TVN214 Рис. 3. Окно процесса обучения (разработано автором с помощью системы MATLAB) Рис. 4. График ошибки обучения (разработано автором с помощью системы MATLAB)
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 2, март – апрель 2014 Опубликовать статью в журнале - http://publ.naukovedenie.ru Институт Государственного управления, права и инновационных технологий (ИГУПИТ) Связаться с редакцией: publishing@naukovedenie.ru 7 http://naukovedenie.ru 94TVN214 Перейдем к этапу тестирования сети. Из имеющихся 1024 вариантов вектора входа в процессе обучения не использовались 424. Из этого числа были специально отобраны для контроля 44 вектора (рис. 5). Рис. 5. Данные для тестирования (разработано автором) Проверка реакции нейросети на тестовые образы (входные векторы):
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 2, март – апрель 2014 Опубликовать статью в журнале - http://publ.naukovedenie.ru Институт Государственного управления, права и инновационных технологий (ИГУПИТ) Связаться с редакцией: publishing@naukovedenie.ru 8 http://naukovedenie.ru 94TVN214 В результате нейросеть не совершила ни одной ошибки, все 44 поданных на вход образа были классифицированы верно. Построим математическую модель смоделированной двухслойной нейронной сети прямого распространения. Для этого воспользуемся математической системой автоматизированного проектирования MathCAD [9].
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 2, март – апрель 2014 Опубликовать статью в журнале - http://publ.naukovedenie.ru Институт Государственного управления, права и инновационных технологий (ИГУПИТ) Связаться с редакцией: publishing@naukovedenie.ru 9 http://naukovedenie.ru 94TVN214
Интернет-журнал «НАУКОВЕДЕНИЕ» Выпуск 2, март – апрель 2014 Опубликовать статью в журнале - http://publ.naukovedenie.ru Институт Государственного управления, права и инновационных технологий (ИГУПИТ) Связаться с редакцией: publishing@naukovedenie.ru 10 http://naukovedenie.ru 94TVN214 По итогам проведенного анализа, математическую модель двухслойной нейронной сети прямого распространения можно записать в следующем виде: Здесь P – вектор входа из 10 элементов, IW – матрица весовых коэффициентов связей (синапсов) нейронов первого (скрытого) слоя со входами, b1 – вектор смещений нейронов первого слоя, LW – матрица весовых коэффициентов связей нейронов второго (выходного) слоя с нейронами первого слоя, b2 – вектор смещений нейронов выходного слоя, f(x) – логарифмическая сигмоидальная функция активации для всех нейронов сети, Y – выходной вектор сигналов нейросети (включает 4 элемента). Выводы и рекомендации Проведенный анализ показал, что задача классификации тестируемых пользователей по множеству входных параметров может быть адекватно решена нейронной сетью прямого распространения информации (персептроном). Однако сложности при использовании такого подхода могут быть в выборе архитектуры нейросети и подготовке репрезентативной обучающей выборки для настройки нейросети. Таким образом, использование нейронных сетей в качестве альтернативы существующим алгоритмам выставления оценки за тест, значительно усложняющимся с возрастанием числа анализируемых входных данных, вполне возможно.