Самоорганизующиеся карты

Самоорганизующиеся 
карты

Self-Organizing
Maps

Third Edition
With 129 Figures and 22 Tables

Teuvo Kohonen

Springer

Самоорганизующиеся
карты

Москва
Лаборатория знаний

 2021 

Т. Кохонен

АДАПТИВНЫЕ    ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ

Перевод 3-го английского издания
В. Н. Агеева

под редакцией Ю. В. Тюменцева

4-е издание, электронное

И

УДК 517.11+519.92
ББК 22.18
К75

С е р и я о с н о в а н а в 2005 г.
Кохонен Т.
К75
Самоорганизующиеся карты / Т. Кохонен ; пер. 3-го англ.
изд. — 4-е изд., электрон. — М. : Лаборатория знаний, 2021. —
660 с. — (Адаптивные и интеллектуальные системы). — Систем. требования: Adobe Reader XI ; экран 10". — Загл. с титул.
экрана. — Текст : электронный.
ISBN 978-5-00101-179-8
Самоорганизующиеся карты вместе с их разновидностями представляют собой одну из наиболее популярных нейросетевых архитектур, ориентированных на обучение без учителя. Они широко используются в таких областях, как статистика, обработка сигналов, теория управления, финансовый анализ, экспериментальная физика,
химия, медицина, для решения сложных, многомерных, нелинейных
задач, связанных с извлечением признаков, обработкой и классификацией изображений, адаптивным управлением и т. п. В книге дается
детальное изложение математического аппарата и применений для
самоорганизующихся карт.
Для специалистов в области теории и применений нейросетевого
моделирования, а также студентов и аспирантов соответствующих
специальностей.
УДК 517.11+519.92
ББК 22.18

Деривативное издание на основе печатного аналога: Самоорганизующиеся карты / Т. Кохонен ; пер. 3-го англ. изд. —
М. : БИНОМ. Лаборатория знаний, 2008. — 655 с. : ил., [2] с. цв.
вкл. — (Адаптивные и интеллектуальные системы).
ISBN 978-5-94774-352-4.

В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений,
установленных
техническими
средствами
защиты
авторских
прав,
правообладатель вправе требовать от нарушителя возмещения убытков
или выплаты компенсации

ISBN 978-5-00101-179-8

Translation from the English
language edition: Self-Organizing
Maps by Teuvo Kohonen

© P
Copyright
hysica-Verlag Heidelberg
1995,1997,2001
All rights Reserved

© Перевод, оформление. Лаборатория
знаний, 2015

Предисловие к третьему изданию

Со времени второго издания этой книги в начале 1997 г. количество
научных публикаций по самоорганизующимся картам (Self-Organizing
Map — SOM) возросло примерно от полутора до четырех тысяч. Кроме
того, проблеме SOM были посвящены два специально организованных
семинара, не говоря уже о многочисленных секциях на конференциях
по нейронным сетям. Ввиду возрастающего интереса к проблеме SOM
у меня возникло желание значительно переработать эту книгу. Суть
изменений состоит в следующем.
Тщательнее, чем ранее, обосновывается
статистический
подход
к анализу образов. В разд. 1.1.3 включено более детальное обсуждение
собственных векторов и собственных значений симметричных матриц,
с которыми обычно приходится иметь дело в статистических исследованиях. В разд. 1.3.1 обсуждаются новые вероятностные подходы,
такие, как факторный анализ. Добавлен обзор проекционных методов
(разд. 1.3.2), чтобы иметь возможность связать SOM с классическими
парадигмами.
Векторное квантование теперь вынесено в отдельный раздел. Добавлен вывод точечной плотности кодирующих векторов на основе вариационного исчисления, чтобы познакомить читателя с этим непростым
для понимания альтернативным вариантом статистического анализа.
Представлялось также необходимым подробнее обсудить методологические проблемы нейронного моделирования с целью дать более широкую перспективу развития основных разделов этой темы. Надеюсь,
что исторический обзор, приведенный в разд. 2.2, а также материалы
общеметодологического характера в разд. 2.3, 2.5 и 2.14 помогут теперь
новичкам лучше и в большей степени сориентироваться в многочисленных современных нейронных моделях.
Основная теория самоорганизующихся карт предваряется теперь общим введением на качественном уровне в разд. 3.1. К числу абсолютно
новых понятий, обсуждаемых в третьей главе, относятся точечная плотность модельных векторов (разд. 3.12), а также интерпретации отображения, реализуемого SOM (разд. 3.16).
Четвертая глава претерпела незначительные изменения.

Предисловие к третьему изданию

В числе других новых материалов, в пятой главе (в разд. 5.7) обсуждается SOM для символьных строк (и других невекторных объектов), а также обобщение SOM на случай эволюционного обучения
(в разд. 5.9).
В шестой главе добавлен пакетный вариант вычислительной схемы
для метода обучающегося векторного квантования (LVQ1).
В седьмой главе основная доработка связана с рассмотрением новой версии WEBSOM, представляющей собой SOM для больших текстовых файлов, с помощью которой оказалось возможным создать одно
из крупнейших нейросетевых приложений, а именно, самоорганизующуюся карту для семи миллионов аннотаций патентов. Количество отображенного этим способом текста в двадцать раз больше, чем в Британской
энциклопедии!
Наиболее заметные изменения в третьем издании претерпела восьмая глава, в которой говорится о программных средствах; можно надеяться, что она будет полезна для практиков.
Обзор приложений SOM лишь незначительно расширен по сравнению с тем, что было сделано во втором издании. Новые аппаратные средства обсуждаются в конце девятой главы. Что касается десятой главы,
в которой содержится обзор литературы, то она была коренным образом
переработана: разделение по темам и индексирование содержания в ней
теперь более логичны, чем во втором издании.
В предисловии к первому изданию давались советы относительно последовательности материалов при первоначальном чтении этой книги.
Так как нумерация разделов изменилась, сейчас для краткого введения
в SOM рекомендуется такая их последовательность: 2.2, 2.9, 2.10, 2.12,
3.1–3.3, 3.4.1, 3.5.1, 3.6, 3.7, 3.13, 3.14, 3.15, 6.1, 6.2 (пропуская обоснования), 6.4–6.9, 7.1 и 7.2.
Большую помощь в переработке книги я вновь получил от моего секретаря, г-жи Лейлы Койвисто (Leila Koivisto), за что я ей очень признателен. Часть текста была набрана Микко Катаямаа (Mikko Katajamaa).
Разумеется, очень большую пользу мне принесли исследования, выполнявшиеся всеми моими молодыми коллегами в нашем университете.
Д-р Самуэль Каски (Samuel Kaski) любезно позволил мне использовать в разд. 1.3.2 собранные им материалы.
После выхода всех трех изданий я вновь хотел бы выразить мою
признательность Академии наук Финляндии за содействие в проведении
исследований, изложенных в данной книге.

Эспо, Финляндия
Тойво Кохонен
Октябрь, 2000 г.

Предисловие ко второму изданию

Второе, доработанное издание данной книги вышло быстрее, чем планировалось. Основная причина этого заключалась в том, что совсем недавно были получены новые важные результаты.
Адаптивно-подпространственная самоорганизующаяся карта (Adaptive-Subspace SOM — ASSOM) представляет собой новую архитектуру,
в которой для организации процесса обучения без учителя используются детекторы инвариантных свойств. Основная идея этой архитектуры была уже введена в первом издании. Теперь же более основательно
и последовательно рассмотрены предпосылки ее создания и теоретическое обоснование. В разд. 5.9 был добавлен новый материал, а сам
этот раздел полностью переписан. Соответственно, был также расширен и полностью переписан разд. 1.4, в котором идет речь об адаптивноподпространственных классификаторах вообще, а также о предпосылках формирования ASSOM.
Еще одним направлением развития архитектуры SOM является
двухслойная архитектура WEBSOM, предназначенная для организации
очень больших наборов полнотекстовых документов, в частности, представленных в Интернете. Эта архитектура была разработана уже после
выхода первого издания. Ее идея и полученные результаты представляются настолько важными, что во второе издание был добавлен соответствующий новый разд. 7.8.
Добавление в разд. 3.15 касается новых результатов о способе ускорения вычислений для очень больших SOM. Существенно расширена
седьмая глава, посвященная приложениям SOM.
Итак, главы 1, 3, 5, 7 и 9 содержат многочисленные добавления и исправления, тогда как главы 2, 4, 6, 8 и 10 практически идентичны соответствующим главам первого издания, в их тексты вносились лишь
небольшие изменения.
При подготовке данного издания очень большую помощь мне оказал
г-н Марко Малмберг (Marko Malmberg).

Эспо, Финляндия
Тойво Кохонен
Сентябрь, 1996 г.

Предисловие к первому изданию

Книга, которую вы держите в руках, является четвертой монографией, написанной мною для издательства «Шпрингер». Предыдущая
книга под названием «Самоорганизация и ассоциативная память» (SelfOrganization and Associative Memory) вышла в 1984 г. как том 8 в шпрингеровской серии по информатике. С тех пор самоорганизующиеся нейросетевые алгоритмы SOM и LVQ стали очень популярными, как это
можно видеть из девятой главы, в которой приведен обзор многих публикаций на данную тему. Новые результаты, полученные за последние
примерно десять лет, послужили основанием для написания новой монографии. За прошедшие годы мне приходилось отвечать также на множество вопросов, и они оказали определенное влияние на содержание
данной книги.
Мне представляется, что читателям было бы интересно и полезно
узнать, какие этапы прошли исследования в области самоорганизующихся карт и какими были причины появления каждого из этих этапов.
Ниже эти аспекты рассматриваются, хотя и очень кратко.
Я начал интересоваться нейронными сетями примерно в 1960 г., однако не мог тогда уделять им много внимания, поскольку был занят
подготовкой диссертации по физике. В 1965 г. я был назначен профессором электроники, и несколько лет ушло на разработку в университете соответствующих учебных курсов. В течение 1968–1969 гг. я находился в Вашингтонском университете. Как раз в это время Д. Габор
(D. Gabor) опубликовал свою корреляционно-конволюционную модель
автоассоциативной памяти. Я тут же увидел слабые стороны этой модели: емкость памяти была слишком мала, а свойственные ей шумы и перекрестные помехи — недопустимо большими. Поэтому в 1970 г., одновременно с Дж. А. Андерсоном (J. A. Anderson) и К. Накано (K. Nakano),
мною была предложена автоассоциативная корреляционная матричная
модель памяти.
Первые попытки применения корреляционной матричной памяти
для решения практических задач распознавания образов (изображений и речи) были довольно обескураживающими. Тогда, примерно

Предисловие к первому изданию
9

в 1972–1973 гг., я пытался обратить задачу: если мы имеем набор
входных-выходных пар образов, каким должен быть оптимальный преобразующий матричный оператор в смысле получения с его помощью
наименьших невязок? В качестве математического результата решения
этой задачи было получено оптимальное ассоциативное отображение,
которое включало в качестве множителя псевдообращение Мура—Пенроуза входной матрицы наблюдений. Как ассоциативная память это
отображение имеет втрое б´ольшую емкость по сравнению с сетями, рассматривавшимися Дж. Хопфильдом (J. Hopfield). Точность распознавания для реальных данных, однако, не особенно улучшилась, даже когда
мы использовали нелинейную (полиномиальную) предобработку! Наши
суждения, очевидно, основывались на заблуждении: ведь проблема ас-
социативной памяти и распознавание образов это не одно и то же!
В 1976–1977 гг. у меня сформировалась новая идея. В теории ассоциативной памяти, над которой я работал, среди других была проблема так называемого фильтра новизны, который является адаптивным ортогональным проекционным оператором. Я пытался тогда придумать нейрон, который был бы представлением для целого класса образов, и уделял много времени идее нейрона, или, скорее, идее достаточно небольшого набора взаимодействующих нейронов, характеризуемого
как фильтр новизны. Если бы это работало, то произвольную линейную комбинацию сохраненных эталонных образов можно было бы автоматически отнести к одному и тому же классу (или многообразию).
Тогда получалось, что так называемый формализм линейного подпространства, известный в теории распознавания образов, был математически эквивалентен моей идее. Затем я сделал следующий шаг: поскольку в соответствии с нашими же экспериментами имеющийся основной
подпространственный метод был все еще недостаточно точен для классификации, почему бы не попытаться использовать «обучение с учителем» для подпространств или их базисных векторов? Вскоре я придумал первый алгоритм соревновательного обучения с учителем, получивший наименование «обучающийся метод подпространств» (Learning
Subspace Method — LSM), и он работал почти в три раза точнее, чем
предыдущие! Недостатком его была невысокая скорость, но мы разработали быструю сопроцессорную плату расширения, чтобы справляться
с «нейросетевыми» вычислениями, необходимыми для реализации LSM,
в режиме реального времени. Этот алгоритм использовался в течение
ряда лет, на его идее была основана наша первая аппаратная система
распознавания речи. По этой системе в нашей лаборатории было подготовлено с полдюжины докторских диссертаций.

Предисловие к первому изданию

Наши исследования в области самоорганизующихся карт (Self-Organizing Map — SOM) не начинались вплоть до 1981 г., хотя я кратко набросал основную идею данного метода уже в 1976 г. Мне хотелось создать алгоритм, который мог бы эффективно отображать сходные образы (векторы которых близки друг к другу в пространстве входных
сигналов) в смежные элементы выходного пространства. Первоначальные результаты в этой области были получены фон-дер-Малсбургом
(von der Malsburg) еще в 1973 г., но я хотел обобщить и в то же самое время существенно упростить описание его системы. Мы построили
многочисленные диаграммы подобия (кластеризации), включая карту
фонем, с помощью моего упрощенного, но в то же время весьма устойчиво работающего SOM-алгоритма. В наших начальных попытках применить SOM для распознавания речи в 1983 г., мы в первое время не получали никакого улучшения по сравнению с результатами, уже достигнутыми с помощью LSM. Затем, в 1984 г., я вновь вспомнил об обучении
с учителем, после чего проблема была решена путем создания Supervised
SOM, т. е. самоорганизующейся карты, обучаемой с учителем. Она описана в разд. 5.8 данной книги. Мы получили алгоритм, который до сих
пор является лучшим по своим характеристикам.
В течение 1985–1987 гг. наша лаборатория выполняла проект по распознаванию речи совместно с Asahi Chemical Co., Ltd, крупнейшей
химической компанией в Японии. На начальном этапе проекта я разработал два новых алгоритма (основанных на исследованиях, начатых
за пару лет до этого): обучающееся векторное квантование (Learning
Vector Quantization — LVQ), представляющее собой вариант SOM с учителем, применимый, в частности, для статистического распознавания
образов, а также динамически расширяющийся контекст (Dynamically
Expanding Context — DEC). Оба этих алгоритма описываются в книге.
Впоследствии многие годы они являлись основой для построения наших
систем распознавания речи.
В течение ряда лет мы работали над многими другими практическими приложениями SOM, эти проекты можно найти по приведенным
в тексте ссылкам на литературу.
Настоящая монография содержит описание совершенно нового,
не
публиковавшегося
ранее
результата, — адаптивно-подпространственной самоорганизующейся карты (Adaptive-Subspace Self-Organizing
Map — ASSOM). Данный подход сочетает старый обучающийся метод подпространств (LSM) и метод самоорганизующихся карт (SOM).
Он позволяет добиваться большего, чем значительная часть нейросетевых алгоритмов: появляется возможность обнаруживать инвариантные