Введение в нейронные сети

А. Б. Барский






Введение в нейронные сети













^ИНТУИТ
  / НАЦИОНАЛЬНЫЙ ОТКРЫТЫЙ УНИВЕРСИТЕТ

С.ИНТУ ИТ

    У НАЦИОНАЛЬНЫЙ ОТКРЫТЫЙ УНИВЕРСИТЕТ


Введение в нейронные сети
2-е издание, исправленное
Барский А.Б.



Национальный Открытый Университет “ИНТУИТ”
2016


2

Введение в нейронные сети/ А.Б. Барский - М.: Национальный Открытый Университет “ИНТУИТ”, 2016
На основе положений математической логики событий исследуются нейронные сети, имитирующие механизмы работы мозга. Эти механизмы реализуют операции вывода по “нечеткой” логике в составе систем искусственного интеллекта - распознавания, управления и принятия решений - во всех областях человеческой деятельности. Рассмотрение многих примеров демонстрирует простейший подход к построению и развитию обученных нейронных сетей “под задачу”, а также трассировку - обучение при заданной структуре сети.
Главной целью данного курса является демонстрация и внедрение универсального подхода, способного вывести проблему нейронных сетей с уровня частного применения на уровень массового использования практически во всех областях знаний, где требуется логически обосновать принимаемое решение. Утверждается, что самый простой подход к построению нейронных сетей на основе реализуемой нейроном «нечёткой» логики (логических нейронных сетей), продиктован практикой ясного мышления человека. Этот подход приводит к построению всего лишь однослойных нейронных сетей с простейшей функцией активации нейрона, при необходимости дополненных обратными связями.
(c) ООО “ИНТУИТ.РУ”, 2011-2016
(c) Барский А.Б., 2011-2016

3

Модель нейронной сети


Лекция носит вводный и ознакомительный характер и скорее ориентирована на того исследователя, что пытается, более точно абстрагируя природные процессы, познать и воссоздать реальные мозговые функции. Его интересует: как формируется исходная информация на рецепторах, как осуществляется простейшее распознавание, как при переходе в пространство признаков объекта увеличить эффективность распознавания, как реализовать устойчивое, четкое выделение сигнала, необходимое при построении длинных цепочек вывода, зачем нужна кора головного мозга. Из этих проблем особое внимание читателю следует обратить на задание информации на рецепторах. Даны действенные рекомендации для разработчика системы управления или принятия решений на основе технологии логических нейронных сетей.

Модель мозга

...письмоводитель градоначальника, вошедши утром с докладом в его кабинет, увидел такое зрелище: градоначальниково тело, облеченное в вицмундир, сидело за письменным столом, а перед ним, на кипе недоимочных реестров, лежала, в виде щегольского пресс-папье, совершенно пустая градоначальникова голова.

М.Е. Салтыков-Щедрин, “История одного города.”

Мозг представляет собой нейронную сеть содержащую узлы — нейроны (рис.1.1) и их соединения — синапсические связи.


           Дендриты


 Аксоны




                                    Аксон

                    Тело нейоона

Синапсы

Движение импульса

Рис. 1.1. Нейрон

Тело нейрона является средством выполнения пороговой функции активации над сигналами, пришедшими по входам нейрона - дендритам. (Нейрон мозга содержит до 10 тыс. дендритов.) Для того чтобы перейти в возбужденное состояние, в теле нейрона выполняются около 240 химических реакций. Величина возбуждения нейрона с помощью ветвящегося аксона передается на дендриты других нейронов.

Важными управляющими элементами связей нейронов являются синапсы. Синапс аналогичен переменному сопротивлению, определяющему вес связи (вес дендрита).


4

Этот вес является коэффициентом, с которым дендрит принимает возбуждение нейрона, связанного с данным. Поэтому связи между нейронами называются синапсическими.

Изменение весов синапсических связей позволяет регулировать направления и пути распространения возбуждений в нейронной сети , т.е. в множестве взаимосвязанных нейронов. Так в этой сети образуются связи вида “если ... то”.

Поэтому настройка весов синапсических связей является основной задачей обучения нейронной сети , когда возбуждение некоторого множества нейронов обязательно должно приводить к возбуждению определенного нейрона. Это важнейший элемент выполнения мозгом функций распознавания, управления и принятия решений.


Рис. 1.2. Модель нейрона

Математическая, абстрактная, модель нейрона во взаимодействии с другими нейронами сети представлена на рис.1.2.

Здесь — импульсы возбуждения, выработанные другими нейронами и поступившие на дендриты нейрона i г. — веса дендритов, — пороги. В свою очередь, выработанный импульс    также направляется на дендриты нейронов, с которыми
связан нейрон с помощью ветвящегося аксона. Значение импульса возбуждения находится, как говорилось ранее, в результате счета функции активации, возможный вид которой приведен на рисунке.

Еще раз обращаем внимание на то, что значения весов синапсических связей и значения порогов могут регулироваться. Такое регулирование, во многих вариантах реализованное в разных моделях, и определяет возможность обучения и самообучения сети. Оно задает направление распространения возбуждений через сеть, простейшим образом формируя связи “посылка — следствие”.


Нейронная сеть


На рис.1.3 показан фрагмент нейросети, по которому мы можем представить


следующее.


5

Рис. 1.3. Фрагмент нейронной сети

  1. В сети распознают входной (рецепторный) слой , воспринимающий сигналы внешнего возбуждения (например, экран, на который подается видеоизображение), и выходной слой, определяющий результат решения задачи распознавания или принятия решений. Работа сети тактируется для имитации прохождения по ней возбуждения и управления им.
  2. Каждый нейрон обрабатывает сигнальную информацию (это важнейший принцип логической нейронной сети!) в диапазоне от нуля до условной единицы. Исходные данные в виде сигналов поступают (от пользователя, от блока обработки ситуации на входе, от другой нейронной сети и т.д.) или формируются (например, с помощью видео ввода) на рецепторном слое.
  3. Функции активации бывают различны, но просты по объему вычислений. В простейшем случае такая функция совпадает с линейной формой, где аргументы, показанные на рис.1.2, связаны операцией вычитания. Часто удобно не вычитать порог, а только лишь сравнивать с ним указанную сумму. Другие, не менее простые, функции активации будут рассмотрены в соответствии с целесообразным их применением.
  4. Найденная взвешенная сумма, превысившая порог, или величина превышения порога является величиной возбуждения нейрона либо определяет значение величины возбуждения (например, в некоторых моделях величина возбуждения всегда равна единице, отсутствие возбуждения соответствует нулю). В некоторых моделях допускают и отрицательную величину возбуждения. Значение возбуждения передается через ветвящийся аксон в соответствии со связями данного нейрона с другими нейронами.
  5. По дендритам может передаваться как возбуждающее, так и тормозящее воздействие. Первое может соответствовать положительному значению веса синапсической связи , второе — отрицательному. В нейронной сети возможны обратные связи.
  6. Нейронная сеть работает в двух режимах: в режиме обучения и в режиме распознавания (рабочем режиме).


В режиме обучения на рецепторном слое сети предъявляются эталоны. Веса связей на


6

пути прохождения возбуждения формируют таким образом, чтобы на выходном слое максимально возбудился нейрон, с которым связано решение по данному эталону. Например, если показан эталон буквы А, то (по прошествии нескольких тактов, в течение которых промежуточные нейроны считают значения функции активации и передают результаты далее в соответствии со своими связями) максимально должен возбудиться нейрон, связанный с решением: “Это буква А”. В рабочем режиме (в режиме распознавания), в результате показа буквы А, даже искаженной и “зашумленной”, должен максимально возбудиться соответствующий нейрон выходного слоя. Так достигается эффект ассоциативного мышления.

Таким образом, “подкручивая” веса, мы учим сеть по эталонным ситуациям, по которым мы знаем решение, а затем в рабочем режиме она выдает нам решение во всем диапазоне ситуаций. При этом она автоматически решает проблему, на какую “знакомую” ей ситуацию похожа более всего предъявленная ситуация, и, следовательно, какое решение следует выдать. Конечно, — с определенной вероятностью правильности.

Это открывает широкие возможности “живого” моделирования, не только в сфере развлечений, как показано на рисунках 1.4 и 1.5, но и в сфере интеллектуального отображения. Например, “реагирующие объекты” могут своим поведением указывать на нарушение технологического процесса, на перегрузку коммуникационной сети, предвещать стихийные бедствия и т.д.

Однако то, что изображено на рис.1.3, больше соответствует воплощению в природе -в мозге. Искусственные нейронные сети значительно проще. Они сводятся к однослойным, где сигналы с рецепторов сразу обрабатываются нейронами единственного слоя, являющегося выходным. Да и формирование весов, в природе связанное со сложными биохимическими процессами, на логическом уровне реализуется исключительно просто. Как это происходит, мы рассмотрим далее на примерах построения систем принятия решений.


7

Выходной ело

Формирование Заявки на Запуск в rtreHyujeflf такте программы открытия пасти J

Запуск программы показа языка

приседания на зад них папах

Рецепторы

Запуск программы

Формирование заявки на запуск программы поднятия передней правой ноги

I ^явкпна- *£

 ‘ =ss

Запуск      |\ ¹
лрогр^п?дгй^ рясшмре- 1 'L . лля елаз     | | /


Рис. 1.4. Реакция на угрозу

8

Запуск программы приседания

Запуск программы скручи-еания хвоста

Запуск программы улыбки

хвостом

Запуск программы протягива
 ния передней Виляние ] лапы

Рис. 1.5. Реакция на поощрение

Ввод и “разглядывание” эталонов и образов

Устройства ввода информации — эталонов, исходных ситуаций — имеют определяющее значение для нейросети. С их помощью формируются и поддерживаются возбуждения входного слоя . Сегодня успешно решается проблема видео-ввода. Однако ввести в компьютер “картинку” — это лишь часть дела. Картинку надо обработать — в целом и по частям, чтобы по максимуму интересующей информации получить полные и достоверные выводы - сформировать реакцию. Здесь мы ищем аналоги нашего восприятия действительности.


9

Мы совершаем обзор представляемой нам картины тремя способами:


  • сканированием сектора обзора, разбитого на элементарные сегменты (рис. 1.6);
  • спонтанным обзором, обусловленным привлечением внимания к цветовому или скоростному всплеску, быстрым увеличением размера (угрожающим приближением) объекта, указанием извне (целеуказанием) и т.д. (рис. 1.7);
  • сканированием сектора обзора с выделением зон особого внимания (рис. 1.8).


При первом и третьем способах анализ сложнее, т.к. требует согласования всего виденного по сегментам. Это, в свою очередь, требует включения высших уровней логического вывода (интеллекта).

Второй способ также требует сканирования сектора обзора, однако со значительно меньшими энергетическими затратами. При этом способе можно добиться избирательности, чрезвычайности реакции, например, на резкие движения, на бег, появление яркой расцветки в одежде и т.д. Это может с успехом использоваться в развлекательных, игровых системах.


Все способы реализуются легче, если речь идет о единственном объекте единовременного распознавания, например, буквы, хозяина квартиры, подписи и т.д. Ибо любая сцена, например, туристская группа, пришедшая полюбоваться “умным” монстром, требует не только детального, но и совместного анализа этим монстром всех (многих) ее составляющих.


Хорошо-то как, Господи/

Рис. 1.6. Сканирование по строкам

10