Нейрокомпьютерные системы

Нейрокомпьютерные системы

2-е издание, исправленное

Тарков М.С.

Национальный Открытый Университет “ИНТУИТ”
2016

2

УДК 004.032.26(07)
ББК 8
Т19
Нейрокомпьютерные системы / Тарков М.С. - M.: Национальный Открытый Университет “ИНТУИТ”,
2016 (Основы информационных технологий)
ISBN 5-9556-0063-9

Излагаются основы построения нейрокомпьютеров. Дается детальный обзор и описание важнейших
методов обучения нейронных сетей различной структуры, а также задач, решаемых этими сетями.
Рассмотрены вопросы реализации нейронных сетей.
Искусственные нейронные сети реализуют одну из парадигм искусственного интеллекта, а именно,
коннекционистскую. Это означает, что преобразование, выполняемое сетью, определяется
значениями весовых коэффициентов и топологией межнейронных соединений. Вместо
программирования в традиционных вычислительных системах здесь используется обучение сети,
которое сводится к настройке весовых коэффициентов с целью оптимизации заданного критерия
качества функционирования сети. Нейронные сети хорошо решают те задачи, которые с трудом
поддаются алгоритмизации: распознавание образов, реализация ассоциативной памяти,
комбинаторная оптимизация.В курсе лекций рассматриваются: основные модели искусственного
нейрона и сетей, использующих искусственный нейрон в качестве своего элемента; варианты
обучения сетей: обучение с учителем и самообучение (самоорганизация). Обученная сеть
подвергается редукции (упрощению) с целью повышения эффективности ее реализации и
функционирования. Нейронные сети могут быть реализованы как электронным (на основе СБИС),
так и оптическим способами.

(c) ООО “ИНТУИТ.РУ”, 2006-2016
(c) Тарков М.С., 2006-2016

3

Введение в нейрокомпьютерные системы

Рассматриваются: символьная и коннекционистская парадигмы искусственного
интеллекта, понятие искусственной нейронной сети (НС), история возникновения и
перспективы развития НС, отличия НС от традиционных вычислительных систем.

Введение

Нейронные сети - новая модель параллельных и распределенных вычислений, один из
основных архитектурных принципов построения машин 6-го поколения. В основу
искусственных нейросетей положены следующие черты живых нейросетей,
позволяющие им справляться с нерегулярными задачами:

1. простой обрабатывающий элемент - нейрон;
2. участие огромного числа нейронов в обработке информации;
3. каждый нейрон связан с большим числом других (глобальные связи);
4. изменяющиеся по весу связи между нейронами;
5. массовый параллелизм обработки информации.

Сети, обладающие этими свойствами, принадлежат к классу коннекционистских
моделей обработки информации. Основная их черта - использование взвешенных
связей между обрабатывающими элементами как средства запоминания информации.
Обработка ведется одновременно большим числом элементов, где каждый нейрон
связан с большим числом других, поэтому нейронная сеть устойчива к неисправностям
и способна к быстрым вычислениям. Задать нейронную сеть для решения конкретной
задачи — значит определить:

1. модель нейрона;
2. топологию связей;
3. веса связей.

История и перспективы развития нейрокомпьютеров

На заре вычислительной техники (конец 1940-х начало 1950-х годов) существовало два
подхода к разработке машин с “интеллектуальным” поведением.

Первый из подходов заключался в: 1) представлении знаний в виде множества атомных
семантических объектов или символов; 2) манипуляциях с этим множеством символов
по формальным алгоритмическим правилам. Эта символьно-алгоритмическая
парадигма является основой так называемого традиционного искусственного
интеллекта.

Одновременно с этим существовало другое направление исследований, использующее
машины, архитектура которых моделировала мозг животных и обучалась под
воздействием окружающей среды, а не программировалась каким-либо языком
высокого уровня. Работы по так называемым нейронным сетям активно велись в 1960
4

х годах, затем утратили популярность в 1970-х и начале 1980-х, но во второй половине
1980-х возникла новая волна интереса к ним.

Символьная парадигма

С самого начала было очевидно, что цифровые машины хорошо подходят не только
для обработки цифровой информации (собственно вычислений), но и для манипуляции
символами, т.к. сами машины ничего не знают о семантике битовых строк в их памяти.

Исследования по искусственному интеллекту имели успех во многих областях,
особенно в области экспертных систем. Однако они не оправдали надежд пионеров
этого направления на то, что все знания могут быть формализованы и что разум можно
рассматривать как устройство, обрабатывающее информацию по определенным
правилам. Оказалось, что знания подразделяются на формализуемые и интуитивные.
Пример формализуемых знаний — математика, интуитивных — интуитивные знания
эксперта в некоторой конкретной области деятельности.

С коннекционистской точки зрения интуитивные знания не могут быть представлены в
виде множества лингвистически формализованных правил, и должны быть привлечены
совершенно иные стратегии.

Коннекционистская парадигма

Основная идея состоит в следующем: для того, чтобы реализовать некоторые
возможности мозга, необходимо воссоздать его архитектурные особенности. Таким
образом, коннекционистская машина или нейронная сеть является высокосвязной
сетью простых процессоров (искусственных нейронов), каждый из которых имеет
много входов и много выходов.

В биологических нейронах способность к обработке выражается в электрохимических
характеристиках межнейронных соединений (синапсов). В коннекционистских
системах она моделируется заданием силы связи или веса каждому входу.
Биологические нейроны взаимодействуют путем передачи электрических импульсов,
которые идентичны друг другу, а информация заключена в пространственновременных связях между ними. Нейроны непрерывно суммируют эффект всех
приходящих импульсов. Если результат суммирования возбуждающий, то
генерируется выходной импульс, если тормозящий, то выходной импульс не
генерируется.

В искусственных нейронных сетях каждый нейрон непрерывно обновляет свое
состояние порождением значения активации, которая является функцией входных
сигналов и внутренних параметров нейрона. Активация используется для генерации
выхода через некоторую сжимающую функцию.

Типичные характеристики искусственных нейронных сетей (НС):

1. Параметры нейрона (веса) настраиваются посредством подачи на входы

5

обучающих векторов и изменением весов таким образом, чтобы нейрон выдавал
требуемые выходные сигналы. Таким образом, нейрон является адаптивной, а не
заранее запрограммированной системой.

2. Работу НС целесообразно представлять как эволюцию динамической системы и

описывать системой дифференциальных уравнений.

3. Нейронные сети устойчивы к шумам в сигналах и отказам компонентов (нейронов

и синапсов). Отказ компонента не влечет отказа всей НС в целом, а лишь
несколько ухудшает ее характеристики.

4. Характерной особенностью работы нейронных сетей является то, что они

способны находить статистические закономерности или особенности в обучающей
выборке. Это позволяет нейронной сети отнести новый входной объект к одному
из уже усвоенных сетью образов либо к новому классу.

5. Типичными приложениями нейронных сетей являются классификация образов и

ассоциативная память, восстанавливающая полный образ по частичным данным.

6. Не существует простого соответствия между нейронами и семантическими

объектами. Скорее, представление “концепции” или “идеи” в сети осуществляется
через вектор активностей нейронов, распределенный по сети, так что каждый
нейрон участвует одновременно в представлении многих объектов (“идей”).

Краткая история нейронных сетей

Ранние годы

Идеи создания машин, использующих свойства нейронов, возникли одновременно с
разработкой первых компьютеров общего назначения. Фактически, сопоставления
вычислений и работы мозга были на переднем плане во многих ранних работах.
Например, Джон фон Нейман в первом отчете по машине EDVAC указал на аналогии
между используемыми в машине обрабатывающими элементами и нейронами.

В 1942 году Норберт Винер и его коллеги сформулировали идеи кибернетики, которую
определили как науку об управлении и связях в организмах животных и в машинах.
Главной была идея рассмотрения биологических процессов с инженерной и
математической точек зрения. Наиболее важной считалась идея обратной связи.

В те же годы, когда Винер сформулировал принципы кибернетики, Маккаллок и Питтс
опубликовали формальное описание искусственных нейронных сетей. Главная их идея
заключалась в том, что любая связь типа “вход-выход” может быть реализована
искусственной (формальной) нейронной сетью.

Одной из ключевых черт нейронных сетей является то, что они способны обучаться. В
1949 году Дональд Хебб описал механизм работы мозга животного. Согласно этому
механизму, синаптические силы (веса) изменяются в соответствии с уровнями
активности предсинаптического и постсинаптического нейронов. На языке
искусственных нейронов это означает, что вес входа должен увеличиваться, чтобы
отражать корреляцию между входом и выходом нейрона.

6

Следующей вехой было изобретение персептрона Розенблаттом в 1957 году. Наиболее
важным результатом его работы является доказательство того, что простая процедура
обучения сходится к решению поставленной задачи.

В 1969 году интерес к нейронным сетям снизился в связи с публикацией Минского и
Пайперта, указавших на важный класс задач, которые однослойный персептрон решать
не может. При этом задача обучения многослойного персептрона в то время еще не
была решена: было неясно, какой вклад в ошибку многослойной сети вносит каждый
нейрон.

Возрождение нейронных сетей

В 1982 году Джон Хопфилд показал, что высокосвязная сеть нейронов с обратными
связями может быть описана как динамическая система, обладающая “энергией”. При
ассоциативном вызове сеть, стартующая в случайном состоянии, сходится к конечному
устойчивому состоянию с минимальной энергией. Новый подход к описанию сетей с
обратными связями оказался очень плодотворным.

Подобный прорыв произошел и в связи с многослойными сетями без обратных связей.
Для обучения этих сетей был разработан алгоритм обратного распространения ошибки.

Нейронные сети являются нелинейными динамическими системами с коллективными
свойствами. Для исследования таких сложных моделей нужна большая
вычислительная мощность. Новый интерес к искусственным нейронным сетям
обусловлен не только новым математическим подходом, но и существенным
прогрессом вычислительной техники.

В модели МакКаллока-Питса нейроны имеют состояния 0,1 и пороговую логику
перехода из состояния в состояние. Каждый нейрон в сети определяет взвешенную
сумму состояний всех других нейронов и сравнивает ее с порогом, чтобы определить
свое собственное состояние. Розенблатт ввел в модель МакКаллока-Питса способность
связей к модификации, что сделало ее обучаемой. Эта модель была названа
персептроном. Новый виток быстрого развития нейронных сетей связан с работами
ряда авторов, в особенности с работами Хопфилда, а также с успехами технологии
развития СБИС.

Нейрокомпьютеры - устройства, основными компонентами которых являются
нейронные сети, применяются в ряде областей:

для решения задач искусственного интеллекта - распознавания образов, обработки
изображений, чтения рукописных символов и т.п.;
в системах управления и технического контроля;
для создания спецвычислителей параллельного действия;
как инструмент изучения человеческого мозга.

Нейронные сети различаются между собой меньше всего моделями нейрона, а в
основном топологией связей и правилами определения весов (правилами обучения). По

7

структуре сети делятся на однослойные и многослойные. К однослойным относятся
модель Хопфилда и так называемая машина Больцмана. Многослойная сеть имеет
входной, выходной и скрытые слои. На входной слой подается информация, с
выходного снимается результат обработки, а скрытые слои участвуют в обработке
информации.

В отличие от традиционных средств обработки информации, программирование
нейронных сетей осуществляется неявно в процессе обучения. Обучение строится
следующим образом: существует так называемый задачник, то есть набор примеров с
заданными ответами, эти примеры предъявляются системе, нейроны получают условие
примера и преобразуют их. Далее нейроны несколько раз обмениваются
преобразованными сигналами и, наконец, выдают ответ в виде набора сигналов.
Отклонение от правильного ответа штрафуется. Обучение заключается в минимизации
штрафа как неявной функции связей.

В традиционных вычислительных системах:

1. Необходимо точное описание алгоритма (ориентация на обработку символов).
2. Данные должны быть точными. Аппаратура легко повреждается. Разрушение

основных элементов памяти делает машину неисправной.

3. Каждый обрабатываемый объект явно указан в памяти.
4. Трудно построить хороший алгоритм восприятия образов и ассоциативной

выборки (неясно, например, как мы распознаем рукописные символы, конкретного
написания которых раньше не видели).

В нейрокомпьютере (нейронной сети):

1. Способ обработки больше похож на обработку сигналов, вместо программы —

набор весов нейронов, вместо программирования — обучение нейронов
(настройка весов).

2. Нейронная сеть устойчива к шумам, искажения данных не влияют существенно на

результат (в том числе выход из строя отдельных нейронов).

3. Обрабатываемые объекты представлены весами нейронов неявно. В результате

сеть может работать с объектами, которые ей ранее не встречались, и обобщать
результаты обучения.

4. Сети хороши для задач восприятия и ассоциативной выборки.

8

Модели нейронов

Рассматриваются структура и функции различных моделей нейрона: персептрон,
сигмоидальный нейрон, адалайн, Паде-нейрон, нейрон с квадратичным сумматором,
сигма-пи нейроны, нейрон Хебба, стохастическая модель нейрона, кубические модели
нейронов.

Элементы нейронных сетей и задача разделения двух классов

Персептрон

Простой персептрон — это нейрон МакКаллока-Питса (рис.1). Весовые коэффициенты
входов сумматора, на которые подаются входные сигналы 
обозначаются 
, а пороговое значение — 
. Нелинейная функция активации 

персептрона является ступенчатой, вследствие чего выходной сигнал нейрона может
принимать только два значения — 0 и 1 в соответствии с правилом

(1)

или -1 и 1 в соответствии с правилом

(2)

где  обозначает выходной сигнал сумматора

(3)

В формуле (3) предполагается 
.

Рис. 1.  Нейрон МакКаллока-Питтса

Обучение персептрона состоит в таком подборе весов 
, чтобы выходной сигнал 

совпадал с заданным значением 
 или 
.

9

С персептроном связана задача четкого разделения двух классов по обучающей
выборке, которая ставится следующим образом: имеется два набора векторов 

 и 
. Заранее известно, что 
, 
 относятся к первому

классу, а 
, 
 - ко второму. Требуется построить решающее правило, т.е.

определить такую функцию 
, что при 
 вектор 
 относится к первому

классу, а при 
 - ко второму.

Сигмоидальный нейрон

Нейрон сигмоидального типа имеет структуру, подобную модели МакКаллока-Питса, с
той разницей, что функция активации является непрерывной и может быть выражена в
виде сигмоидальной униполярной или биполярной функции. Униполярная функция,
как правило, представляется формулой (рис.2)

,

Рис. 2.  Униполярная функция

тогда как биполярная функция задается в виде (рис.3) 
.

10