Машинный интеллект. Очерки по теории машинного обучения и искусственного интеллекта

«МОСКОВСКИЙ ФИЗИКО-ТЕХНИЧЕСКИЙ ИНСТИТУТ (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)»



С.А. Шумский

МАШИННЫЙ ИНТЕЛЛЕКТ

ОЧЕРКИ ПО ТЕОРИИ МАШИННОГО ОБУЧЕНИЯ И ИСКУССТВЕННОГО ИНТЕЛЛЕКТА



Москва РИОР

УДК 001(06)+004.032.26(06)
ББК 72я5+32.818я5
    Ш96


   ФЗ    Издание не подлежит маркировке  
№ 436-ФЗ в соответствии с п. 1 ч. 2 ст. 1

          Художественное оформление обложки — Н.С. Шумская

          Автор:
          Шумский С.А. — канд. физ.-мат. наук, директор Научно-координационного совета Центра Национальной технологической инициативы по сквозной технологии «Искусственный интеллект» на базе МФТИ, заведующий лабораторией когнитивных архитектур МФТИ, президент Российской ассоциации нейроинформатики, руководитель направления «Нейроассистенты» дорожной карты «Нейронет» Национальной технологической инициативы. Автор более 70 научных публикаций, в том числе пособия по нейрокомпьютингу

          Рецензент:
          Жилякова Л.Ю. — д-р физ.-мат. наук, ведущий научный сотрудник Института проблем управления РАН (Москва)



       Шумский С.А.
Ш⁹6      Машинный интеллект. Очерки по теории машинного обучения
       и искусственного интеллекта / С.А. Шумский. — М.: РИОР, 2019. — 340 с. — DOI: https://doi.org/10.29039/02011-1
          ISBN 978-5-369-02011-1
          В книге дается обзор современного состояния и перспектив развития исследований по машинному интеллекту. Предложен подход к созданию «сильного» искусственного интеллекта с использованием принципов работы человеческого мозга.
          Каждая глава представляет собой самостоятельный очерк, ставящий и разрешающий актуальные вопросы современности: Какие задачи предстоит решить на пути совершенствования машинного обучения? Как машинный интеллект может способствовать технологическому развитию общества в целом и частного предпринимательства в частности? Чего можно ожидать от машинного интеллекта в ближайшие 10-15 лет?
          Адресована студентам, исследователям и разработчикам приложений в области искусственного интеллекта, а также всем, кого интересуют принципы работы мозга с позиций теории машинного обучения.



                                         УДК 001(06)+004.032.26(06)
                                         ББК 72я5+32.818я5






ISBN 978-5-369-02011-1

© Шумский С.А.

                Оглавление





Глава 1. Пролог                                      9
   1.1. О чем и для кого эта книга ................ 10
       1.1.1. О чем эта книга...................... 10
       1.1.2. Для кого эта книга................... 10
       1.1.3. Почему это важно..................... 11
   1.2. Структура книги ........................... 13
   1.3. Благодарности.............................. 15

Глава 2. Машинный интеллект в современном мире      17
   2.1. Машинный интеллект: время пришло?.......... 18
   2.2. Преодоление барьера сложности ..............20
   2.3. Новый технологический уклад................ 23
       2.3.1. Новый обильный и дешевый ресурс .... 24
       2.3.2. Новый технологический пакет...........26
       2.3.3. Новая организация рынка...............27
   2.4. Гонка за искусственным интеллектом .........29
   2.5. Вызов России .............................. 31

Глава 3. Основы машинного обучения                  35
   3.1. Основные понятия........................... 36
       3.1.1. Машинное обучение как наука ..........36
       3.1.2. Разум, интеллект и сознание...........38
       3.1.3. Машинное обучение: модели.............41
       3.1.4. Оптимальная сложность моделей........43
       3.1.5. Байесова трактовка обучения...........45

ОГЛАВЛЕНИЕ

       3.1.6. Ансамбли гипотез................... 47
       3.1.7. ЕМ-алгоритм........................ 50
   3.2. Обучение с учителем: распознавание образов . . 55
       3.2.1. Нейрон-классификатор............... 57
       3.2.2. Многослойные персептроны............58
       3.2.3. Градиентное обучение .............. 62
       3.2.4. Регуляризация обучения............. 66
       3.2.5. Сложность градиентного обучения .... 68
   3.3. Обучение без учителя: сжатие информации ... 70
       3.3.1. Обобщение данных................... 71
       3.3.2. Нейрон-индикатор Хебба............. 72
       3.3.3. Анализ главных компонент............75
       3.3.4. Нелинейные главные компоненты......79
       3.3.5. Соревнование нейронов.............. 83
       3.3.6. Самоорганизующиеся карты............87
   3.4. Обучение с подкреплением: поведение.......90
       3.4.1. Обучение без моделирования среды ... 91
       3.4.2. Обучение с моделированием среды .... 94
       3.4.3. Связь с теорией управления..........96
   3.5. Обсуждение .............................. 97

Глава 4. Глубокое обучение                        99
   4.1. Революция глубокого обучения.............100
       4.1.1. Предпосылки революции..............100
       4.1.2. Суть глубокого обучения............102
       4.1.3. Методики глубокого обучения........104
       4.1.4. Экстремально разреженные сети......108
       4.1.5. Hardware для глубокого обучения....110
   4.2. Рекуррентные глубокие сети: речь и язык .... 112
   4.3. Сверточные сети: зрение и не только......119
   4.4. Transformer: быстро и качественно........123
   4.5. Комбинации и синтез модальностей.........126
   4.6. Реляционные сети: понимание связей.......128
   4.7. Генерирующие сети: воображение...........130
   4.8. Обучение с подкреплением: поведение......136

ОГЛАВЛЕНИЕ

5

   4.9. Вектор развития: искусственная психика .... 143

Глава 5. Вычислительная архитектура мозга         147
   5.1. Реверс-инжиниринг мозга...................148
   5.2. Основные подсистемы мозга.................149
   5.3. Кора: ассоциативная память................151
       5.3.1. Слоистая структура коры: предиктивное кодирование................................151
       5.3.2. Ячеистая структура коры: дискретное разреженное кодирование....................158
       5.3.3. Древняя кора: эпизодическая память . . . 162
   5.4. Таламус: внимание и связность ощущений .... 167
   5.5. Базальные ганглии: принятие решений.......169
       5.5.1. Управление вниманием................169
       5.5.2. Обучение ценностям .................173
       5.5.3. Контроль активности в коре..........177
   5.6. Мозжечок: закрепление пройденного.........180
   5.7. Схемотехника мозга: Deep Control .........184
   5.8. Deep Control — изобретение приматов.......187
   5.9. Абстрактное мышление: моделирование.......190
   5.10. Новая старая архитектура.................194

Глава 6. На пути к искусственной психике          199
   6.1. Зачем нужна искусственная психика?........199
   6.2. Машина Фейнмана ..........................201
   6.3. Символьное мышление: основная идея........204
   6.4. Гипотеза о рекурсивных модулях коры.......206
   6.5. Структурное обучение .....................210
       6.5.1. Основная идея метода ...............210
       6.5.2. Алгоритм структурного обучения......212
       6.5.3. Предсказания с помощью модели.......214
       6.5.4. Обучение с подкреплением............215
       6.5.5. Разреженное кодирование.............216
   6.6. Глубокое структурное обучение.............219
       6.6.1. Семантическое кодирование...........220
       6.6.2. Иерархия структур...................222

ОГЛАВЛЕНИЕ

       6.6.3. Активное обучение..................224
       6.6.4. Сложность структурного обучения .... 226
       6.6.5. Иерархия предсказаний..............227
   6.7. Обсуждение ..............................228

Глава 7. Мозг и язык                             233
   7.1. Смогут ли машины говорить?...............233
   7.2. Родовые свойства языка...................235
   7.3. Глубокое структурное обучение языку......238
       7.3.1. Морфология.........................238
       7.3.2. Синтаксис и семантика..............240
       7.3.3. Разбор предложений.................242
       7.3.4. Значения фраз и предложений........243
       7.3.5. Семантический поиск................246
       7.3.6. Скорость обучения..................249
   7.4. Как мозг кодирует язык...................249
       7.4.1. Модель “органа языка”..............249
       7.4.2. Как язык представлен в мозге.......253
   7.5. Обсуждение ..............................258

Глава 8. Направления развития                    265
   8.1. Действующая модель мозга.................266
       8.1.1. Как работает наш мозг?.............266
       8.1.2. Продление жизни мозга .............268
       8.1.3. Действующие модели мозга...........269
       8.1.4. Лечение и апгрейд мозга............271
   8.2. Операционная система роботов.............272
       8.2.1. Как сделать роботы доступными?.....272
       8.2.2. Кто станет новой Microsoft?........273
       8.2.3. Иерархическое модульное обучение .... 273
       8.2.4. Зарплатные схемы для роботов.......275
   8.3. Экспертный интеллект.....................277
       8.3.1. Как ускорить R.&D?.................277
       8.3.2. Суперинтеллект суперкомпьютеров .... 277
       8.3.3. Иерархическая модель языка.........278
       8.3.4. Cynep-Google - консультант.........280

ОГЛАВЛЕНИЕ

7

   8.4. Обсуждение ..............................281

Глава 9. Будущее машинного интеллекта            283
   9.1. Развитие элементной базы.................284
   9.2. Интеллектуальные агенты..................287
   9.3. Роботы...................................289
   9.4. Люди.....................................291
   9.5. Новая научная революция..................295

Глава 10. Эволюция разума                         299
   10.1. Неравновесная термодинамика ............301
   10.2. Жизнь как форма разума..................303
   10.3. Мозг как контроллер поведения...........304
   10.4. Человеческий разум......................306
   10.5. Машинный интеллект......................309

Глава 11. Несколько слов о смысле жизни           313


Список литературы

315

Глава 1





                Пролог





Новыми путями иду я, новая речь приходит ко мне; устал я, подобно всем созидающим, от старых языков. Не хочет больше мой дух бродить на истоптанных подошвах.

Вы, смельчаки вокруг меня! Вы, искатели, испытатели и те из вас, кто плавает под коварными парусами по неисследованным морям! Вы, любители загадок! Разгадайте же мне загадку, которую я видел ... кто он, кто однажды ещё должен придти?

Фридрих Ницше «Так говорил Заратустра»

ПРОЛОГ



            1.1.    О чем и для кого эта книга


        1.1.1.  О чем эта книга

Эта книга о природе разума и разумного поведения. В частности и в особенности - о человеческом и машинном интеллекте.
   Мы будем использовать один и тот же язык теории машинного обучения и для понимания принципов работы мозга, и для проектирования искусственных интеллектуальных систем, а в перспективе — сильного машинного интеллекта.
   Автор видит свою цель в наведении мостов между нейрофизиологами, изучающими мозг, и инженерами-конструкторами нейроморфных когнитивных систем, использующих принципы работы мозга.

        1.1.2.  Для кого эта книга

Эта книга — своего рода манифест, призыв к участию в начинающейся новой научной революции. Она писалась для тех, кто ориентирован на новые открытия в области искусственного интеллекта. Для тех, кому интересна архитектура человеческого мозга и построение сильного искусственного интеллекта с оглядкой на интеллект естественный. Для архитекторов и генеральных конструкторов искусственной психики роботов — интеллектуальных операционных систем следующих поколений.
   Наука и бизнес сегодня делаются командами, а успех командной работы во многом зависит от степени взаимопонимания людей с очень разными бэкграундами. Новые разработки в области искусственного интеллекта привлекают как математиков и инженеров, так и нейрофизиологов, психологов и лингвистов. Эта книга — скромная попытка автора предоставить им своего рода Розеттский камень — текст, одинаково понятный и тем, и другим. Чтобы дать возможность биологам взглянуть на известные им факты глазами машинного обучения, а специалистам по искусственному интеллекту — взглянуть на свою область глазами биологов.