Нейронные сети: основы теории

Москва
Горячая линия – Телеком 
2024

УДК 681.322 
ББК 30.17 
 Г15 
Р е ц е н з е н т ы :
академик РАН  Ю. В. Гуляев; доктор техн. наук  Э. Д. Аведьян 
Галушкин А. И. 
  Г15     Нейронные сети: основы теории. – М.: Горячая линия– 
Телеком, 2024. – 496 с.: ил. 
ISBN 978-5-9912-0082-0.  
Изложена методика синтеза многослойных нейросетей различной структуры: с полными и неполными последовательными 
связями, перекрестными и обратными связями, функционирующими в режимах обучения, самообучения, обучения с учителями, обладающих конечной квалификацией. Приведены этапы 
исследования надежности и диагностики нейронных сетей. 
Представлены основные постановки задач перспективных исследований в области теории нейронных сетей. 
Для научных работников, аспирантов и студентов, занимающихся разработкой и применением сверхвысокопроизводительной вычислительной техники. 
ББК 30.17 
Научное издание 
Галушкин Александр Иванович 
Нейронные сети: основы теории 
Тиражирование книги начато в 2010 г.
Все права защищены.
Любая часть этого издания не может быть воспроизведена в какой бы то ни было форме и какими 
бы то ни было средствами без письменного разрешения правообладателя
© ООО «Научно-техническое издательство «Горячая линия – Телеком»
www.techbook.ru
© А. И. Галушкин (наследники)

Предисловие 
Профессор, Lotfi A. Zadeh 
Университет Беркли, штат Калифорния 
 
Монография профессора А.И. Галушкина «Нейронные сетей: 
основы теории» появляется в период, когда данная теория достигла зрелости, и эта монография является ключевой работой среди 
большого количества публикаций на указанную тему в мире. Кроме 
того, работа профессора Галушкина имеет огромное значение, так 
как она служит специальным целям, раскрываемым ниже. 
Своими корнями теория нейронных сетей уходит к новаторской 
работе МакКаллока и Питтса в ранних 1940-х годах. Как аспирант 
Массачусетского Технологического Института, а позже преподаватель Колумбийского Университета, я был свидетелем процесса зарождения цифрового мира в конце Второй Мировой Войны – начале Холодной Войны, процесса, растянувшегося на многие годы. 
Для меня решающим моментом послужила первая лекция Шеннона 
по теории информации, которая состоялась в Нью-Йорке в 1946 
году. Я присутствовал на этой лекции и был чрезвычайно восхищен 
услышанным. Кибернетика Винера и изобретение транзистора также стали решающими, тем самым отметив дебют информационной 
революции и эры искусственного интеллекта. Новаторская работа 
МакКаллока и Питтса была слишком примитивной, чтобы привлечь 
много внимания. 
Работа МакКаллока-Питтса была продолжена в начале 1950-х 
годов развитием пороговой логики для распознавания образов и 
теории автоматов для системного анализа. Это были предпосылки 
для изобретения Фрэнком Розенблаттом перцептрона – предвестника многослойных нейронных сетей. Фрэнк Розенблатт был из тех 
мечтателей, которые верили, что перцептрон может творить чудеса. К сожалению, его учения были трудны для последователей и не 
убедительны. Его революционные идеи так и не нашли признания 
при жизни, увы, оборвавшейся преждевременно. 
В начале 1960-х годов, в знаменитом Московском институте Автоматики и Телемеханики Я.З. Цыпкин, М.А. Айзерман и другие начали развивать теорию адаптивных систем, которая послужила 
прообразом для проведения исследований нейронных сетей в Советском Союзе и дальнейшей работы Вапника и Черевонкиса по 
 
3

Нейронные сети: основы теории 
векторным машинам и корневым методам. Профессор А.И. Галушкин был студентом Я.З. Цыпкина и сыграл основную роль в развитии теории нейронных сетей и их применении в Советском Союзе  
с тех пор. 
Развитие теории нейронных сетей в Советском Союзе проходило параллельно с западными странами, а в некоторых областях, 
особенно в сфере алгоритмов настройки нейронных сетей, опережало. Подробное сравнение и обзор этого представлены в гл. 17. 
книги профессора А.И. Галушкина. 
Западному миру совсем ничего не было известно о всестороннем развитии теории нейронных сетей в Советском Союзе. Одной 
из задач работы профессора Галушкина является стремление пролить свет на этот факт. С этой точки зрения монография профессора А.И. Галушкина служит важной цели. Но, что, пожалуй, важнее, его работа выделяется своим надежным, обширным и отвечающим современным требованиям мнением по теории нейронных 
сетей и их широкомасштабным применениям. Особенно стоит отметить описания профессором А.И. Галушкиным оптимальных моделей нейронных сетей, структурной оптимизации топологических 
характеристик, континуальных нейронных сетей, оптимальных нейронных сетей для многомерных сигналов, алгоритмов поиска экстремума многомерных функций, случайных алгоритмов поиска локальных и глобального экстремумов, реализации критерия минимума средней функции риска в многослойных нейронных сетях, 
алгоритмов настройки многослойных нейронных сетей с обратными 
связями для нестационарных образов, выбора начальных условий 
для настройки нейронных сетей, разработки нейросетевых алгоритмов для задач обращения матриц, выбора информативных признаков, исследования функциональной надежности многослойных 
нейронных сетей и их диагностики. 
В этих описаниях есть многое, что является новшеством и не 
может быть найдено в западной литературе. 
Есть важная публикация, на которую профессор А.И. Галушкин  
в своей работе не ссылается, а именно роль теории нейронных сетей в мягких вычислениях. В науке, как в самой большой сфере человеческой деятельности, есть тенденция заимствовать отдельные 
методики и подражать им, будучи убежденными, что они являются 
самими лучшими. Главное положение мягких вычислений заключается в том, что многое необходимо улучшить путем формирования 
блока различных компьютерных методик и их использования в комбинации, а не в автономном режиме. В мягких вычислениях основными составляющими блока являются: нечеткая логика, нейроком 
4 

Предисловие 
пьютеры, эволюционные вычисления, вероятностные вычисления и 
обучаемые машины, а главная задача – заложить основы для понимания, проектирования и использования интеллектуальных систем. В последние годы сочетание, заслужившее наибольшую долю 
внимания, – это нечеткие нейросистемы. В таких системах способность нейронных сетей справляться с классификацией, идентификацией и адаптацией объединена со способностью нечетких систем 
бороться с неточностью приборов, изменчивостью и пристрастностью информации. Результатом синергизма нечеткой логики и теории нейронных сетей является возможность получения лучших характеристик решения многих задач с применением нечетких нейросистем по сравнению с отдельным применением нечетких или нейросистем. 
Монография профессора А.И. Галушкина имеет множество уникальных свойств, которые в общей сложности делают его работу 
важным вкладом в литературу по теории нейронных сетей. Он и его 
издатель заслуживают щедрых благодарностей и поздравлений от 
всех, кто всерьез имеет интерес к созданию, развитию и текущему 
положению дел теории нейронных сетей. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
5

Нейронные сети: основы теории 
 
 
 
Профессор, Robert Hecht-Nielsen 
Вычислительная нейробиология, Институт нейронных вычислений и факультет ЕСЕ Университета Калифорнии, Сан Диего. 
 
Во времена существования Советского Союза научные достижения в этой стране во многих областях науки и математики (в частности и тех, которые не были напрямую направлены на оборонную промышленность) стали широко известны и уважаемы. Многие 
важные Советские достижения в физике, химии и математике получили широкое распространение и самую высокую оценку. 
В то же время, Советские научные разработки в области космических технологий и оборонной промышленности были не менее 
успешны (о чем свидетельствуют достижения мирового класса в 
этих областях). Однако, детали исследований, лежащих в основе 
этих достижений, редко сообщались мировому сообществу, а некоторые из них держались в секрете. С конца 1950-х по начало 1990-х 
столь важный контакт между советскими и западными разработчиками нейронных сетей был утерян. Но 1990-е годы стали периодом 
«восстановления коммуникаций», последовавшим после долгого 
перерыва. 
В отличие от своих западных коллег, советские разработчики 
никогда не испытывали на себе негативного влияния «ледникового 
периода персептрона», хотя их финансирование было урезано изза уменьшения финансирования исследований в Советском Союзе 
до той степени, которая афишировалась в программах США. Таким 
образом, в то время как уровень активности западных разработок в 
области нейронных сетей был снижен в течении 1969 –1986 годов, 
Советские исследования не прекращались. Этот длительный период закрытых советских исследований был крайне продуктивен. Возникло множество тем и концепций неизвестных на Западе, которые 
не прекращали своего развития. Некоторые из них можно увидеть в 
двух теоретических книгах Я.З. Цыпкина (одного из учителей  
А.И. Галушкина), которые были переведены на английский и изданы по всему миру в 1970-е годы. Но западные разработчики не последовали этой необычной и в какой-то степени чужой теории. 
Эта книга представляет собой долгожданный панорамный обзор 
Советской и Российской нейросетевой традиции. Книга является 
кладезем важных идей и значительных результатов, которые не 
доступны более нигде в английском варианте. Автор, доктор  
 
6 

Предисловие 
А.И. Галушкин, является ведущим российским экспертом в области 
нейронных сетей и был ведущим Советским и Российским разработчиком нейронных сетей с 1970 г. В этот период доктор А.И. Галушкин имел доступ ко всем важным западным публикациям по 
нейросетевой тематике. Поэтому ценность этой книги удваивается, 
так как она написана не просто экспертом, но и человеком, который 
знает и ссылается на интеллектуальные достижения западной 
школы. 
В этой книге читатель найдет много непривычных и в то же время хорошо разработанных тем, зачастую содержащих мощные математические выкладки (например, правила обучения), готовые к 
написанию в машинном коде и конкретному применению. Книга начинается с обзора нейронных сетей, как с точки зрения реализации, 
так и с точки зрения архитектурных особенностей. Такой подход 
был популярен на Западе в те времена, когда мощность «суперкомпьютеров» не превышала мощности сегодняшних карманных 
калькуляторов. Однако, именно потому, что этот подход вышел из 
моды на Западе, есть все причины полагать, что он снова станет 
доминирующим, так как нейронные сети призваны решать сложные 
задачи, такие как управление двигателем в реальном времени (например, главным двигателем самолета, где требуется детальное 
управление каждым отдельным импульсом, задаваемым множеством переменных параметров, которые выставляются уникальным 
образом за несколько микросекунд), управление в реальном времени миллиметровым пучком микроволн (за десятки наносекунд на 
расстояниях в тысячи километров от антенной решетки, применяемой в космических запусках при наземном источнике питания), и, 
конечно, создание систем машинного интеллекта высокой интеграции. Таким образом, идея неразделимости реализации и архитектуры проявляет дальновидность своего автора и является значимой. Разделы, описывающие надежность и отказоустойчивость 
реализации также крайне важны; и это несмотря на текущее отсутствие интереса по этим аспектам на Западе. 
Еще одной важной особенностью этой книги является то, что 
подробно описываемая в ней теория была с успехом применена на 
практике (так как эта книга по теории, то сами приложения не описываются). Ряд тем ценны не только своей полезностью, но и тем, 
что в большинстве своем, мало разрабатывались на Западе. Возьмем, к примеру, forward control. Это не просто то, что зачастую принято считать «разомкнутой системой управления». Это не просто 
адаптивная модель управления. Эта модель включает в себя упомянутые модели, однако еще и способна к предсказанию отклика 
 
7

Нейронные сети: основы теории 
системы так, что корректировка по обратной связи может быть инициирована задолго до того, как в управляемой системе начнут появляться большие ошибки. Таким образом, по этой теории можно 
построить очень сложные модели с preemptive обратной связью 
(предсказывающей и корректирующей ошибки еще до того, как они 
могут возникнуть). Во многом это схоже с моделями двигательной 
системы, управляемой корой головного мозга и мозжечком, работа 
которых по сей день до конца неясна (модели, описываемые в книге, еще даже более общие). Эта теория служит фундаментом для 
разработки контроллеров сложных сред, в которых почти любое состояние системы ново и далеко от любого образа из обучающей выборки (применительно, например, к созданию шагающих роботов). 
Книга «Нейронные сети: основы теории» является наиболее 
значимым вкладом в литературу по нейросетевой тематике. Этот 
найденный клад должен быть использован тысячами исследователей и практиков по всему миру, у которых до сих пор не было возможности воспользоваться плодами Советских и Российских исследований в области нейронных сетей. Доктора Галушкина следует поздравить и поблагодарить за написание этой монументальной 
работы – книги, которую мог написать только он. Это понастоящему дар всему миру. 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
8 

Предисловие 
 
 
 
Профессор Shun-ichi Amari 
Director RIKEN Brain Science Institute Токио 
 
Человеческий мозг поистине является вершиной творения природы. Будучи способным быстро и эффективно обрабатывать информацию посредством системы нейронных сетей, состоящей из 
огромного числа нейронов, человеческий мозг развился до такой 
степени, что научился осознавать свои действия. Так появляется 
понятие «сознания». 
Нейронные сети являются крайне сложными, нелинейными системами с огромным количеством степеней свободы. Принцип, по 
которому они обрабатывают информацию, отличается от принципа 
используемого в компьютерах. Вследствие этого, ученые-теоретики 
в течение более половины века с энтузиазмом пытались разработать жизнеспособную теорию нейронных сетей. Эти исследования 
имели как определенные успехи, так и неудачи. Однако, по мере 
развития науки о мозге, нейрокомпьютеры становились все более и 
более перспективным направлением. 
Изначально теории нейронных сетей разрабатывались в Америке, Европе, России и Японии независимо. Несмотря на то, что во 
всех этих регионах научные традиции различаются довольно сильно, российская наука является уникальной, отчасти из-за многих 
лет изоляции от запада. Российские ученые имели возможность 
разрабатывать свои собственные теории в математике, физике, 
оптимизации управления и других областях. В итоге этих разработок 
были получены ярчайшие результаты. Вклад России в теорию нейронных сетей может служить одним из примеров таких достижений. 
Профессор А.И. Галушкин, ведущий специалист по теории нейронных сетей в России, использует математические методы в комбинации с теорией сложности, нелинейной динамикой и оптимизацией, а также другими концепциями крепко укоренившимися в российской научной школе. Его теория очень обширна: она охватывает 
не только традиционные аспекты, такие как архитектура сети, но 
также рассматривает континуальные нейронные сети в пространствах функций. Я большим удовольствием воспринял выход книги, в 
которой эта теория описана во всей своей полноте. Огромная ценность самой теории и используемого автором метода описания такого сложного явления, как нейросетевая система, не может вызывать никаких сомнений. 
 
9

Посвящаю своим учителям – российским классикам 
в области теории управления, дискретных и адаптивных систем Владимиру Викторовичу Солодовникову, 
Льву Тимофеевичу Кузину, Якову Залмановичу Цыпкину 
Введение 
1. Нейронные ЭВМ 
Нейрокомпьютеры – вычислители нового класса, появление которых обусловлено объективными причинами, связанными, с одной 
стороны, с принципиальными этапами развития современной технологии элементной базы, в основном определяющей развитие архитектуры ЭВМ, с другой – практическими требованиями все быстрее и дешевле решать конкретные задачи. 
Основной причиной развития нейронных ЭВМ еще в 1950-е годы явилось развитие пороговой логики, которая постоянно противопоставлялась классическому развитию элементной базы в базисе И, ИЛИ, НЕ и т.п., что привело к созданию в1960-е и 1970-е 
годы ряда конкретных специализированных и экспериментальных 
универсальных нейронных ЭВМ. Термин «нейронные ЭВМ» – 
«нейрокомпьютер» никак не связан с какими бы то ни было свойствами и характеристиками нервной системы человека и животных. 
Он связан только с условным наименованием порогового элемента с настраиваемыми или фиксированными весами, который 
реализует простейшую передаточную функцию нейрона-клетки. 
Резкий скачок развития технологии БИС в начале 1970-х годов и 
реализация в первую очередь микропроцессорных БИС с классической архитектурой вычислителя с элементной базой в логическом базисе И, ИЛИ, НЕ и т.п. затормозило, но не прекратило 
развитие вычислительных средств на элементах пороговой логики. Очередной скачок в начале 1980-х годов позволил по-новому 
взглянуть на проблему нейронных ЭВМ, так как технология уже 
не БИС, а СБИС позволила реализовать или сэмулировать  
в одном или нескольких кристаллах не только множество обрабатывающих элементов-нейронов, но и все множество связей 
между ними, что ранее было невозможно. Такую возможность  
в середине 1980-х годов предоставили не только электронные, 
но и оптические методы реализации. 
 
10