Введение в методы машинного обучения с подкреплением
Покупка
Основная коллекция
Тематика:
Кибернетика
Издательство:
Южный федеральный университет
Автор:
Медведев Михаил Юрьевич
Год издания: 2025
Кол-во страниц: 219
Дополнительно
Вид издания:
Учебное пособие
Уровень образования:
ВО - Магистратура
ISBN: 978-5-9275-5006-7
Артикул: 872559.01.99
Cодержит теоретические сведения и практические задания учебного курса «Использование методов машинного обучения в разработке киберфизических систем», изучаемых магистрантами направлений «Мехатроника и робототехника», «Электротехника и электроэнергетика» Передовой инженерной школы Южного федерального университета. Последовательно рассматриваются следующие темы: классические методы обучения с учителем, глубокое обучение с учителем, архитектуры нейронных сетей, основные понятия обучения с подкреплением, метод динамического программирования, метод Монте-Карло, обучение на основе временных различий, приближенные методы аппроксимации функций ценности действий, приближенное управление и аппроксимация. Содержит теоретический материал, контрольные вопросы и задачи, практические задания для выполнения в среде Matlab или Python.
Предназначен для магистрантов, которые обучаются по программам магистратуры в области мехатроники и робототехники.
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
МИНИСТЕРСТВО НАУКИ И ВЫСШЕГО ОБРАЗОВАНИЯ
РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное
учреждение высшего образования
«ЮЖНЫЙ ФЕДЕРАЛЬНЫЙ УНИВЕРСИТЕТ»
Инженерно-технологическая академия
М. Ю. МЕДВЕДЕВ
ВВЕДЕНИЕ В МЕТОДЫ МАШИННОГО
ОБУЧЕНИЯ С ПОДКРЕПЛЕНИЕМ
Учебное пособие
Ростов-на-Дону – Таганрог
Издательство Южного федерального университета
2025
УДК 004.8(075.8)
ББК 32.973я73
М42
Печатается по решению кафедры электротехники и мехатроники
Передовой инженерной школы Южного федерального университета
(протокол № 10 от 6 июня 2025 г.)
Рецензенты:
главный научный сотрудник ИПУ РАН им. В. А. Трапезникова,
доктор технических наук, профессор Р. В. Мещеряков
ведущий научный сотрудник НИИ робототехники и процессов
управления Южного федерального университета, доктор технических наук
Э. В. Мельник
Медведев, М. Ю.
М42 Введение в методы машинного обучения с подкреплением : учебное
пособие / М. Ю. Медведев ; Южный федеральный университет. –
Ростов-на-Дону ; Таганрог : Издательство Южного федерального университета, 2025. – 217 с.
ISBN 978-5-9275-5006-7
Cодержит теоретические сведения и практические задания учебного курса «Использование методов машинного обучения в разработке киберфизических систем»,
изучаемых магистрантами направлений «Мехатроника и робототехника», «Электротехника и электроэнергетика» Передовой инженерной школы Южного федерального
университета. Последовательно рассматриваются следующие темы: классические
методы обучения с учителем, глубокое обучение с учителем, архитектуры нейронных сетей, основные понятия обучения с подкреплением, метод динамического программирования, метод Монте-Карло, обучение на основе временных различий, приближенные методы аппроксимации функций ценности действий, приближенное
управление и аппроксимация.
Содержит теоретический материал, контрольные вопросы и задачи, практические задания для выполнения в среде Matlab или Python. Предназначен для магистрантов, которые обучаются по программам магистратуры в области мехатроники
и робототехники.
УДК 004.8(075.8)
ББК 32.973я73
ISBN 978-5-9275-5006-7
© Южный федеральный университет, 2025
© Медведев М. Ю., 2025
© Оформление. Макет. Издательство
Южного федерального университета, 2025
ВВЕДЕНИЕ Методы машинного обучения широко применяются сегодня в самых различных сферах деятельности, включая робототехнические устройства. Их основными областями применения являются обработка текстов и сигналов, распознавание и сегментация изображений, поиск информации и принятие решений. Методы обучения с подкреплением демонстрируют высокие результаты при решении ряда прикладных задач, в связи с чем в данном учебном пособии упор делается на их рассмотрении. Изучение дисциплины «Использование методов машинного обучения в разработке киберфизических систем» требует знания таких разделов, как линейная алгебра, элементы дискретной математики, дифференциальные и разностные уравнения, теория устойчивости. Для выполнения практических заданий требуются навыки программирования в среде Matlab или на языке Python. Данное учебное пособие дает базовые представления о классических методах обучения с учителем, глубоком обучении с учителем, архитектурах нейронных сетей, основных понятиях обучения с подкреплением, методе динамического программирования, методе Монте – Карло, обучении на основе временных различий, приближенных методах аппроксимации функций ценности действий, приближенном управлении и аппроксимации. Целью изучения дисциплины «Использование методов машинного обучения в разработке киберфизических систем» является получение знаний в области основных методов машинного обучения, которые охватывают обучение с учителем и обучение с подкреплением. В результате изучения теоретического материала дисциплины необходимо усвоить математическое описание и его алгоритмическую реализацию. Практическая часть нацелена на получение навыков в создании программного обеспечения, реализующего изучаемые подходы, а также на исследование влияния параметров алгоритмов на качество решаемых задач. В качестве приложений использованы популярные задачи планирования пути, которые представляют сложную оптимизационную проблему. Данное пособие ориентировано на базовый уровень освоения материалов, не требующий самостоятельного программирования задач. Углубленный уровень изучения дисциплины включает более сложные задания, требующие самостоятельного программирования алгоритмов.
Введение Разделы 1 и 2 настоящего пособия базируются на материалах [1–5]. Материалы разделов 3–7 базируются на учебнике [6]. При написании данного учебного пособия частично использованы материалы [8, 9].
1.1. Классификация методов машинного обучения
Машинное обучение [1] – процесс улучшения качества решения заданного класса задач T, которое определяется критерием J и происходит за счет
накопления опыта на некотором наборе данных D. Существует два основных
класса решаемых задач – классификация и регрессия.
Задача классификации заключается в том, что необходимо отнести S
предъявленный пример к определенному классу из конечного множества
C{C1, C2, …, Cn}. Говорят, что пример является помеченным, т.е. отнесенным к определенному классу Ci.
Задача регрессии сводится к восстановлению некоторой зависимости
𝑦= 𝑓(𝑥) + 𝑒
(1.1)
по предъявленному набору данных, представляющих собой пары входных и
выходных данных {xi, yi}. В регрессии всегда присутствует ошибка e.
Различают несколько видов обучения. Наиболее распространенные из
них следующие:
1) обучение с учителем (supervised learning, imitation learning);
2) с частичным привлечением учителя (semi-supervised learning);
3) обучение без учителя (unsupervised learning);
4) обучение с подкреплением (reinforcement learning);
5) активное обучение (active learning).
Охарактеризуем далее три базовых вида обучения: обучение с учителем, обучение без учителя, обучение с подкреплением.
Обучение с учителем – это обучение на наборе помеченных примеров,
подготовленных квалифицированным учителем. Каждый пример – описание
ситуации и метка правильного действия. Цель обучения с учителем – правильная реакция на все ситуации, в том числе, которые не предъявлялись
при обучении.
Обучение без учителя направлено на обнаружение структуры, скрытой
в наборе непомеченных данных. В результате обучения без учителя могут
решаться задачи кластеризации (группировка данных по общим признакам),
обнаружения аномалий, ассоциации (предсказание по одним признакам других), автоэнкодеры (воссоздание признаков из закодированных данных).
Обучение с подкреплением – это обучение действиям, направленным на
максимизацию вознаграждения в текущей ситуации и в последующих ситуациях. Отличительные черты обучения с подкреплением – поиск решения
опытным путем и возможное отложенное вознаграждение. Обучающийся
агент должен воспринимать среду и воздействовать на нее в процессе обучения с целью максимизации вознаграждения.
1.2. Наивный байесовский классификатор
При обучении с учителем для решения задач классификации используют наивный байесовский классификатор, деревья решений, метод опорных векторов и метод регрессии.
Рассмотрим наивный байесовский классификатор.
Задано множество объектов X{xi}, i=1,2,..,Nob и множество классов
Y{yj}, j=1,2,..,Nc. Каждый объект xi описан набором признаков prik,
k=1,2,..,Npr. В наивном байесовском классификаторе предполагается, что вероятности признаков являются независимыми величинами.
Требуется найти наиболее вероятный класс yopt, которому принадлежит объект xi:
𝑦𝑜𝑝𝑡= 𝑎𝑟𝑔 𝑚𝑎𝑥
𝑦𝑗∈𝑌𝑃(𝑦= 𝑦𝑗|𝑥𝑖).
(1.2)
В данном подходе наиболее вероятный класс yopt вычисляется в соответствии с теоремой Байеса:
𝑃(y = yj|xi) =
P(xi|y = yi)P(y=yi)
P(xi)
.
(1.3)
Здесь 𝑃(𝑦= 𝑦𝑗|𝑥𝑖) – вероятность того, что объект xi принадлежит классу 𝑦𝑗
(апостериорная вероятность); 𝑃(𝑥𝑖|𝑦= 𝑦𝑖) – вероятность встретить объект
xi среди всех объектов класса 𝑦𝑖; 𝑃(𝑦= 𝑦𝑖) – безусловная вероятность встретить объект класса 𝑦𝑖 (априорная вероятность класса); 𝑃(𝑥𝑖) – безусловная
вероятность объекта 𝑥𝑖.
Наивный байесовский классификатор использовался для классификации на 2 класса. В этом случае классификация описывается выражением:
𝑦= {𝑦1, если
𝑃(𝑥𝑖|𝑦= 𝑦1)
𝑃(𝑥𝑖|𝑦= 𝑦2) >
𝑃(𝑦=𝑦2)
𝑃(𝑦=𝑦1)
𝑦2, в противном случае.
(1.4)
1.2. Наивный байесовский классификатор
или
𝑦= {𝑦1, если 𝑃(𝑦= 𝑦1|𝑥𝑖) > 𝑃(𝑦= 𝑦2|𝑥𝑖)
𝑦2, в противном случае.
(1.5)
Основной недостаток наивного байесовского классификатора – предположение о том, что вероятности признаков не зависят друг от друга. Однако
такое предположение позволяет упростить расчеты. Для независимых вероятностей можно записать
𝑃(xi|y = yj) = ∏
P(prik|y = yj)
Npr
k=1
.
(1.6)
Тогда наивный байесовский классификатор описывается выражением
𝑃yopt = arg max
yj∈Y P(y = yj) ∏
P(prik|y = yj)
Npr
k=1
,
(1.7)
или
𝑦𝑜𝑝𝑡= 𝑎𝑟𝑔 𝑚𝑎𝑥
𝑦𝑗∈𝑌(𝑙𝑜𝑔𝑃(𝑦= 𝑦𝑗) + ∑
𝑙𝑜𝑔𝑃(𝑝𝑟𝑖𝑘|𝑦= 𝑦𝑗)
𝑁𝑝𝑟
𝑘=1
).
(1.8)
Оценка вероятностей, входящих в выражения (7), (8), осуществляется
по обучающей выборке:
𝑃(𝑦= 𝑦𝑗) = 𝑁𝑦𝑗𝑁
⁄ ,
(1.9)
𝑃(𝑝𝑟𝑖𝑘|𝑦= 𝑦𝑗) =
𝑀𝑘(𝑦𝑗)+𝑎
∑
𝑀𝑙(𝑦𝑗)+𝑎
𝑁𝑝𝑟
𝑙=1
,
(1.10)
где Nyj – количество объектов в выборке, принадлежащих классу yj; N – общее количество объектов в обучающей выборке; 𝑀𝑘(𝑦𝑗) – общее число элементов с заданным значением признака 𝑝𝑟𝑖𝑘 в классе 𝑦𝑗; a>0 – положительный параметр.
Рассмотрим пример классификации (спам – не спам). Пусть даны
письма, для которых известен их класс (1 – спам, 2 – не спам):
* Высылаю текст – 2;
* Предоставляю банковские услуги – 1;
* Скидки на товар – 1;
* Осталось мало товаров – 1;
* До вылета осталось два часа – 2.
В данном примере рассматривается 2 класса, j=1,2. Общий объем выборки составляет 5 примеров. Три примера относится к классу 1, а два примера к классу 2. Частота классов составляет: 𝑃(𝑦= 1) = 1=3/5=0,6; 𝑃(𝑦= 2 = 2) = 2 = 2/5 = 0,4. Составим теперь таблицу с вычисленными условными вероятностями (10) (𝑎=1), представленную на рис. 1.1. Пусть задано выражение «Высылаю каталог товаров со скидкой». Для класса 1 – спам и класса 2 – не спам, получаем: 𝑃(Выражение|𝑦= 1) = 3 5 0+1 9+14 0+1 9+14 2+1 9+14 0+1 9+14 1+1 9+14 = 3,73 ∗10−7, 𝑃(Выражение|𝑦= 2) = 2 5 1+1 7+14 0+1 7+14 0+1 7+14 0+1 7+14 0+1 7+14 = 1,95 ∗10−7. Так как вероятность принадлежности к классу 1 выше, то получаем вывод о том, что рассмотренное выражение «Высылаю каталог товаров со скидкой» является спамом. 0 Рис. 1.1. Талица условных вероятностей
1.3. Деревья решений 1.3. Деревья решений Дерево решений – способ представления правил в виде иерархической структуры, в которой объединяются логические правила (УСЛОВИЕ 1) И (УСЛОВИЕ 2) … И (УСЛОВИЕ N). Общая структура дерева решений, включающая узлы и листы, представлен на рис. 1.2. Узел, включая корневой узел, – это УСЛОВИЕ, а Лист – это РЕШЕНИЕ. Рис. 1.2. Общая структура дерева решений В корневом узле находится вся исходная выборка. В ходе проверки условий происходит разделение исходной выборки на отдельные подвыборки. Деревья решений часто используются в банковской сфере, в сфере обслуживания клиентов, при автоматической обработке запросов. Пример дерева решений представлен на рис. 1.3. В данном примере в каждом узле осуществляется бинарная классификация текущей ситуации. При бинарной классификации в каждом узле производится классификация текущего примера на 2 класса. Деревья решений используются: 1) для классификации входных данных на разные классы; 2) определения важности частного критерия, по которому осуществляется классификация; 3) прогнозирования на основе имеющихся данных. Рассмотрим пример. Пусть необходимо построить дерево для принятия решения о том, выезжать на регулируемый перекресток или нет. Перекресток показан на рис. 1.4. Автомобиль находится на одной из полос (1, 2, 3). Данные для построения дерева решений, представлены в табл. 1.1.
Таблица 1.1 Данные для построения дерева решений № Свет Машина Полоса ПешПр ПешЛв Решение 1 Красный Есть 1 Есть Есть Нет 2 Зеленый Есть 2 Нет Есть Да 3 Желтый Есть 2 Нет Нет Нет 4 Желтый Нет 1 Нет Есть Нет 5 Зеленый Есть 3 Есть Есть Нет 6 Зеленый Нет 3 Есть Нет Да 7 Зеленый Нет 3 Нет Нет Да 8 Красный Нет 2 Есть Есть Нет 9 Зеленый Есть 1 Нет Есть Нет 10 Красный Есть 1 Нет Есть Нет 11 Красный Нет 2 Нет Нет Нет 12 Зеленый Есть 2 Нет Нет Да 13 Желтый Есть 3 Есть Есть Нет 14 Зеленый Есть 3 Нет Есть Да 15 Зеленый Нет 3 Нет Есть Да 16 Желтый Есть 3 Есть Нет Нет 17 Зеленый Нет 2 Нет Есть Да 18 Красный Нет 2 Есть Есть Нет 19 Красный Есть 1 Нет Есть Нет 20 Зеленый Есть 1 Есть Есть Нет Рис. 1.3. Пример дерева решений