Основы технологий искусственного интеллекта
Покупка
Издательство:
Поволжский государственный технологический университет
Год издания: 2023
Кол-во страниц: 272
Дополнительно
Вид издания:
Учебное пособие
Уровень образования:
Профессиональное образование
ISBN: 978-5-8158-2358-7
Артикул: 822974.01.99
Учебное пособие предназначено для студентов вузов, изучающих технологии искусственного интеллекта (ИИ), а также различные его аспекты в рамках дисциплин интеллектуального анализа данных, машинного обучения, больших данных или разделов ИИ других дисциплин. Даются теоретические основы технологий ИИ: понятие ИИ, его сквозные технологии, основные подходы управления знаниями, математические методы анализа данных и машинного обучения, нечеткой логики и эволюционных вычислений, а также глубинного обучения нейронных сетей. На большом числе примеров рассматриваются инструменты автоматизации решения базовых задач ИИ. Издание также может быть полезно для педагогов при подготовке учебно-методических материалов по тематике искусственного интеллекта.
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
А. В. КРЕВЕЦКИЙ Ю. А. ИПАТОВ Н. И. РОЖЕНЦОВА ОСНОВЫ ТЕХНОЛОГИЙ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА Учебное пособие Под общей редакцией А. В. Кревецкого Йошкар-Ола ПГТУ 2023
УДК 004.8(075.8) ББК 32.813я73 К 79 Рецензенты: профессор, доктор технических наук М. В. Петропавловский (МарГУ); доцент, кандидат технических наук И. Н. Нехаев (ПГТУ) Печатается по решению редакционно-издательского совета ПГТУ Кревецкий, А. В. К 79 Основы технологий искусственного интеллекта: учебное посо бие / А. В. Кревецкий, Ю. А. Ипатов, Н. И. Роженцова; под общ. ред. А. В. Кревецкого. – Йошкар-Ола: Поволжский государственный технологический университете, 2023. – 272 с. ISBN 978-5-8158-2358-7 Учебное пособие предназначено для студентов вузов, изучающих тех нологии искусственного интеллекта (ИИ), а также различные его аспекты в рамках дисциплин интеллектуального анализа данных, машинного обучения, больших данных или разделов ИИ других дисциплин. Даются теоретические основы технологий ИИ: понятие ИИ, его сквозные технологии, основные подходы управления знаниями, математические методы анализа данных и машинного обучения, нечеткой логики и эволюционных вычислений, а также глубинного обучения нейронных сетей. На большом числе примеров рассматриваются инструменты автоматизации решения базовых задач ИИ. Издание также может быть полезно для педагогов при подготовке учебно-методических материалов по тематике искусственного интеллекта. УДК 004.8(075.8) ББК 32.813я73 ISBN 978-5-8158-2358-7 © Кревецкий А. В., Ипатов Ю. А., Роженцова Н. И., 2023 © Поволжский государственный технологический университет, 2023
ОГЛАВЛЕНИЕ Введение....................................................................................................... 8 1. ПОНЯТИЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА..................11 1.1. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ.......................................................11 Основные направления исследований в области искусственного интеллекта........................................................12 Виды искусственного интеллекта..............................................15 Этапы развития искусственного интеллекта..........................16 Сферы применения искусственного интеллекта......................20 Связь между искусственным интеллектом, машинным обучением, глубоким обучением, Data Science и Data Mining...21 1.2. СКВОЗНЫЕ ЦИФРОВЫЕ ТЕХНОЛОГИИ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА В ПРИКЛАДНЫХ ОБЛАСТЯХ .............................................23 Компьютерное зрение..................................................................23 Обработка естественного языка...............................................25 Рекомендательные системы и системы поддержки принятия решений........................................................................28 Распознавание и синтез речи ......................................................33 Перспективные методы искусственного интеллекта (сильный интеллект)....................................................................38 КОНТРОЛЬНЫЕ ЗАДАНИЯ........................................................................38 2. УПРАВЛЕНИЕ ЗНАНИЯМИ И МОДЕЛИРОВАНИЕ РАССУЖДЕНИЙ.....................................................................................40 2.1. ЭМПИРИЧЕСКИЕ МОДЕЛИ...............................................................40 Продукционные системы.............................................................40 Семантические сети....................................................................41 Фреймовые модели .......................................................................43 Ленемы...........................................................................................43 2.2. ТЕОРЕТИЧЕСКИЕ МОДЕЛИ...........................................................44 Формальные логические модели..................................................44 Комбинаторные модели...............................................................44 Алгебраические модели.................................................................45
2.3. НЕЧЕТКАЯ ЛОГИКА .....................................................................45 Основные понятия нечеткой логики...........................................45 Нечеткий логический вывод ........................................................49 Модификации машин нечеткого вывода....................................54 Гибридные нечеткие технологии................................................55 КОНТРОЛЬНЫЕ ВОПРОСЫ ...................................................................58 3. МАШИННОЕ ОБУЧЕНИЕ..........................................................59 3.1. ПОНЯТИЕ МАШИННОГО ОБУЧЕНИЯ ............................................59 Определение ML............................................................................59 Постановка задачи машинного обучения по прецедентам......62 Признаки........................................................................................63 Виды задач машинного обучения ................................................64 Этапы машинного обучения........................................................67 Функционалы качества................................................................69 Оценки обобщающей способности.............................................70 3.2. ПОКАЗАТЕЛИ КАЧЕСТВА ОБУЧЕНИЯ...........................................71 Матрица ошибок..........................................................................71 Частные метрики классификации .............................................71 Метрика AUC-ROC......................................................................74 Меры качества для прогнозных оценок......................................75 3.3. ВИДЫ МАШИННОГО ОБУЧЕНИЯ..................................................76 Классическое обучение.................................................................77 Обучение с подкреплением...........................................................78 Ансамблевые методы...................................................................78 Глубокое обучение и нейронные сети.........................................80 Применимость видов машинного обучения ...............................81 КОНТРОЛЬНЫЕ ВОПРОСЫ ...................................................................82 4. ОБУЧЕНИЕ РАСПОЗНАВАНИЮ ОБРАЗОВ .........................83 4.1. ВЫБОР, ОПИСАНИЕ И ВИЗУАЛИЗАЦИЯ ПРИЗНАКОВ....................83 Векторные модели образов .........................................................83 Вероятностные модели образов.................................................89 Нормировка признаков.................................................................94 Выбор признаков...........................................................................96 Снижение размерности признакового пространства .............97
4.2. ГЕОМЕТРИЧЕСКИЙ ПОДХОД К РАСПОЗНАВАНИЮ ОБРАЗОВ .....104 Меры схожести образов на основе расстояния и скалярного произведения.........................................................104 Алгоритм ближайшего соседства (NN – Nearest Neighbor) ..106 Алгоритм k ближайших соседей (KNN) ...................................107 Кластеризация. Алгоритм «k-средних»....................................109 4.3. ВЕРОЯТНОСТНЫЙ ПОДХОД К РАСПОЗНАВАНИЮ ОБРАЗОВ.......113 Алгоритм максимального правдоподобия. Функция правдоподобия. Отношение правдоподобия...........................114 Минимальная достаточная статистика распознавания......115 Критерий максимальной апостериорной вероятности (МАВ) ...................................................................118 Критерий Неймана-Пирсона.....................................................121 Критерий Байеса (минимума среднего риска).........................121 Характеристики распознавания...............................................123 4.4. СТРУКТУРНО-ЛИНГВИСТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ ..............................................................................128 Постановка задачи синтаксического распознавания образов.........................................................................................129 Синтаксическое распознавание на основе меры схожести. Расстояние Левенштейна.........................................................134 4.5. ДИСКРИМИНАНТНЫЙ ПОДХОД .................................................137 Общие положения ......................................................................137 Байесовский линейный дискриминатор....................................139 Метод опорных векторов..........................................................144 Метод потенциальных функций...............................................147 Логические методы распознавания. Решающие деревья .......151 КОНТРОЛЬНЫЕ ВОПРОСЫ .................................................................154 5. ВОССТАНОВЛЕНИЕ РЕГРЕССИИ И ПРОГНОЗИРОВАНИЕ.................................................................156 5.1. ЛИНЕЙНАЯ РЕГРЕССИЯ..............................................................156 Постановка задачи восстановления регрессии.......................156 Многомерная линейная регрессия .............................................159 Полиномиальная регрессия........................................................163 Регуляризация..............................................................................165 Взвешенная линейная регрессия ................................................169
5.2. НЕЛИНЕЙНАЯ РЕГРЕССИЯ .........................................................171 Принцип решения нелинейных уравнений Ньютона................172 Метод Ньютона-Рафсона ........................................................173 Метод Ньютона-Гаусса............................................................174 КОНТРОЛЬНЫЕ ВОПРОСЫ .................................................................175 6. ЧИСЛЕННЫЕ МЕТОДЫ МАШИННОГО ОБУЧЕНИЯ ....177 6.1. МЕТОД ГРАДИЕНТНОГО СПУСКА ..............................................177 Постановка задачи.....................................................................177 Алгоритм градиентного спуска ................................................180 Пример обучения классификатора на искусственном нейроне.........................................................181 6.2. ОБОБЩЕННЫЕ МОДЕЛИ ДЛЯ НЕЛИНЕЙНОЙ РЕГРЕССИИ...........185 Логистическая регрессия...........................................................185 Обобщенная линейная модель....................................................194 Обобщенная аддитивная модель ..............................................198 6.3. СТОХАСТИЧЕСКИЙ ГРАДИЕНТНЫЙ СПУСК...............................201 Классический вариант SGD.......................................................201 Модификации SGD с улучшенной сходимостью .....................204 Модификации с адаптивным градиентом...............................206 Комбинированные модификации SGD......................................207 Метод Левенберга-Марквардта...............................................208 6.4. ЭВОЛЮЦИОННЫЕ ВЫЧИСЛЕНИЯ...............................................210 Генетические алгоритмы..........................................................210 Основные этапы генетического алгоритма............................212 Оценка сходимости генетического алгоритма.......................219 КОНТРОЛЬНЫЕ ВОПРОСЫ .................................................................221 7. МОДЕЛИРОВАНИЕ МОЗГА. НЕЙРОННЫЕ СЕТИ...........223 7.1. ОСНОВНЫЕ ПОНЯТИЯ НЕЙРОННЫХ СЕТЕЙ ...............................223 Биологическая и искусственная нейронные сети....................223 Математическая модель искусственного нейрона ................224 Нейронная реализация логических функций .............................227 7.2. РАЗНОВИДНОСТИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ........228 Однослойная нейронная сеть ....................................................230
Многослойная нейронная сеть ..................................................231 Сети прямого распространения...............................................236 Рекуррентные нейронные сети.................................................237 Сверточные сети .......................................................................241 Генеративно-состязательные сети.........................................246 7.3. ОБУЧЕНИЕ НЕЙРОННЫХ СЕТЕЙ.................................................249 Общие принципы обучения нейронных сетей ..........................249 Метод обратного распространения ошибки..........................251 Метод случайных отключений нейронов Dropout...................254 Эвристики глубокого обучения..................................................256 КОНТРОЛЬНЫЕ ВОПРОСЫ .................................................................259 Заключение.........................................................................................261 БИБЛИОГРАФИЧЕСКИЙ СПИСОК...........................................264 Литература по искусственному интеллекту .........................264 Электронные ресурсы................................................................265 Дополнительная литература по распознаванию образов......266 Онлайн-курсы..............................................................................267 ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ .......................................................268
ВВЕДЕНИЕ Искусственный интеллект – эта тема у всех на слуху, и интерес к ней переживает сегодня бурный всплеск во всем мире. У нас в стране принята Стратегия развития искусственного интеллекта (ИИ) до 2030 года, издан Указ Президента РФ о развитии ИИ (2019 г.), в вузах открываются новые специальности и профили подготовки, связанные с технологиями ИИ или его отдельными прикладными аспектами, в учебные планы вводятся дисциплины по ИИ, анализу данных и машинному обучению, рабочие программы дисциплин дополняются разделами искусственного интеллекта. Сложились объективные условия для внедрения систем ИИ в нашу повседневную жизнь, производственные и бизнес-процессы, да практически в любую сферу деятельности. В чем состоят эти условия? Перечислим их без расстановки приоритетов. Это успехи микроэлектроники по созданию высокопроизводительных вычислительных средств с высокой степенью параллелизма, открытый несложный в использовании программный инструментарий для автоматизации задач ИИ, появление гигантского числа источников потоков данных о людях, территориях, экономических объектах, товарах, ситуациях на дорогах и в общественных местах, производственных процессах и многом другом. Это повышение доступности этих ресурсов за счет широкополосного Интернета и мобильной связи. Что мы сегодня «можем потрогать» из интеллектуальных техно логий и с какими из них сталкиваемся в повседневной жизни и профессиональной деятельности? От имени банков с нами разговаривают роботы. Бумажный документ мы фотографируем и тут же получаем его в электронном виде с возможностью редактировать текст. В автомобиле мы голосом можем управлять устройствами мультимедиа и навигации, дома – «умными вещами». Сами «умные вещи» общаются между собой и договариваются, когда им включать свои функции, чтобы не перегружать электросеть. А как выросло качество машинного перевода?! Рекламные предложения в интернете становятся более адресными. Внедряются медицинские диагностические интеллектуальные системы. В кино уже вместо человека может играть его виртуальная модель. Боты собирают информацию из социальных сетей,
сами формируют и рассылают сообщения. Автономный транспорт начинает встречаться на дорогах, появляются другие автономные роботы. Искусственный интеллект уже натренирован сочинять тексты, стихи, музыку, генерировать снимки и видео на заданную тему. ИИ превзошел человека в шахматах и го. Мы уже не говорим о системах оптимизации производственных и бизнес-процессов. Через наши гаджеты мы пользуемся голосовыми помощниками. Языковые модели Яндекса, Сбера, Google поражают воображение. А появление всезнающего «собеседника» чат-бота ChatGPT просто повергло в шок мировое сообщество. Он может придумывать сценарии, подсказать, как продвигать ваш ролик в Интернете, решать домашние задания, писать рефераты и даже создавать несложные программы. Как все это устроено, на каких принципах работает, как автома тизировать решение интеллектуальных задач в своей профессиональной сфере, вычленить закономерности из моря данных, обнаружить тренды? Знакомству с основами этих интеллектуальных технологий и посвящено наше издание. Авторы дают себе отчет, что «искусственный интеллект» сего дня – это во многом маркетинговое название. Оно объединяет в себе достижения и технологии разных наук и прикладных областей. В традициях российской науки и образования публиковать монографии и учебники более узких традиционных направлений. Это объясняет наличие хороших книг и учебных материалов по отдельным аспектам искусственного интеллекта, например, базам знаний, распознаванию изображений, звука, сигналов, анализу данных, методам оптимизации и небольшой выбор учебной литературы по ИИ. В учебной литературе с названием «Искусственный интеллект», тоже по исторически сложившимся обстоятельствам, больший акцент сделан на системы управления знаниями. В данном издании мы попытались охватить необъятную тему ис кусственного интеллекта, систематизировав многообразие его разнородных задач, методов и средств. Для наглядности восприятия сложный материал снабжен большим количеством иллюстраций, графиками и схемами, а также примерами использования удобного программного инструментария автоматизации решения базовых задач ИИ. Все это вылилось в основы технологий ИИ.
Занимаясь проблемами искусственного интеллекта, мы познако мились с большим количеством открытых видеокурсов по отдельным направлениям ИИ и видеоуроков по его отдельным нюансам. Знакомясь с этими материалами, нам удалось расширить собственные представления об искусственном интеллекте и его приложениях. Мы выражаем благодарность авторам-энтузиастам этих материалов и желаем дальнейшего успешного творчества. Несколько слов о структуре издания. Первая глава посвящена по нятию искусственного интеллекта и сквозным технологиям ИИ, являющимся атрибутом интеллектуальной системы независимо от его прикладной направленности. Во второй главе дается представление о знаниях, а также методах и средствах моделирования рассуждений, включая нечетную логику. В третьей главе рассматриваются понятие машинного обучения, различные его виды. Четвертая и пятая главы посвящены основным моделям алгоритмов решения интеллектуальных задач. В шестой главе рассматриваются численные методы обучения моделей алгоритмов искусственного интеллекта, основанные на градиентном спуске и эволюционных вычислениях. В седьмой главе приводятся актуальные сведения об искусственных нейронных сетях, их возможностях, а также специфических подходах к их обучению. В заключении обсуждаются новые профессии, порожденные внедрением в нашу жизнь искусственного интеллекта. Надеемся, что знакомство с основами технологий искусственного интеллекта, представленными в данном издании, будет для вас интересным и полезным.