The Little Learner: чудесное машинное обучение

Дэниел П. Фридман
Анураг Мендхекар
The Little Learner:  
чудесное  
машинное обучение

The Little Learner
A Straight Line to Deep Learning
Daniel P. Friedman
Anurag Mendhekar
Drawings by Qingqing Su
Forewords by Guy L. Steele Jr. and Peter Norvig
The MIT Press
Cambridge, Massachusetts
London, England

The Little Learner:
чудесное машинное обучение
Дэниел П. Фридман
Анураг Мендхекар
Рисунки Цинцин Сю
Москва, 2024

УДК  004.04
ББК  32.372
         Ф82
Дэниел П. Фридман, Анураг Мендхекар
Ф82	
The Little Learner: чудесное машинное обучение. / пер. с  англ. 
В. С. Яценкова.– М.: ДМК Пресс, 2024. – 428 с.: ил.
ISBN 978-5-93700-233-4
В книге охвачены все концепции, необходимые для интуитивного 
понимания работы глубоких нейронных сетей, включая тензоры, 
расширенные операторы, алгоритмы градиентного спуска, искусственные нейроны, полносвязные, сверточные сети и остаточные сети, 
а также автоматическое дифференцирование. Читатель начнет с азов 
глубокого обучения и познакомится с полной реализацией полезного 
приложения: распознавателя зашумленных сигналов азбуки Морзе.
Разговорный стиль, постепенное движение от простого к сложному, 
забавные иллюстрации, формат вопросов и ответов делают обучение 
доступным и увлекательным.
Для читателей, знающих математику на уровне средней школы и 
имеющих некоторый опыт программирования.
@MIT Press 2023. Права на русское издание получены через агентство Александра 
Корженевского. 
Все права защищены. Любая часть этой книги не может быть воспроизведена в 
какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав.
Материал, изложенный в данной книге, многократно проверен. Но поскольку вероятность технических ошибок все равно существует, издательство не может гарантировать 
абсолютную точность и правильность приводимых сведений. В связи с этим издательство 
не несет ответст-венности за возможные ошибки, связанные с использованием книги.
ISBN 978-0-262-54637-9                  © Daniel P. Friedman and Anurag Mendhekar, 2023
ISBN 978-5-93700-233-4                  © Оформление, перевод, издание, ДМК Пресс, 2024

Дорогая Мэри, как говорится в песне,  
«…посвящаю себя тому, кого я люблю».  
В какое чудесное приключение ты превратила мою жизнь!  
С глубочайшей любовью и восхищением.
– Дэнни
Сияющим звездам моей жизни: Аруне, Ришме и Арье Нине –  
и моим постоянным четвероногим спутникам Чикки и Хиру.  
Без вас вокруг была бы только тьма.
– Анураг

Оглавление
Предисловие Гая Стила-младшего......................................................XI
Предисловие Питера Норвига...........................................................XIV
Благодарности................................................................................... XVIII
Введение................................................................................................XX
Как читать эту книгу................................................................................................XXI
Как написаны наши программы........................................................................XXI
Как запустить код....................................................................................................XXII
Как есть десерты......................................................................................................XXII
Перевод сокращенной записи в язык Scheme............................ XXIII
0. Ну что, заинтригованы?..................................................................... 1
1. Строки сегодня спят.......................................................................... 17
Правило параметров (начальный вариант).....................................................25
Сундук с полезными вещами................................................................................ 27
2. Чем крепче ум, тем толще книги.................................................... 29
Правило ранга.............................................................................................................34
Правило о членах и элементах............................................................................ 37
Правило об однородной форме..........................................................................38
Закон ранга и формы...............................................................................................39
Закон простой передачи аккумулятора............................................................40
Тензорные побрякушки...........................................................................................41
Интерлюдия I. Расширяем функции, углубляем тензоры.............. 43
Закон суммы.................................................................................................................50
Растягивающиеся побрякушки.............................................................................51
3. Куда нас линия ведет?..................................................................... 53
Закон обновления (начальная версия).............................................................. 67
Потерянные вещи.......................................................................................................68

VII
Оглавление
4. Скользим, скользим неудержимо!................................................. 69
Закон обновления (итоговая версия).................................................................82
Градиентные побрякушки.......................................................................................88
Интерлюдия II. Чем больше игрушек, тем больше шума............... 89
Правило гиперпараметров.....................................................................................91
Гиперактивные побрякушки...................................................................................93
5. Точно в цель!...................................................................................... 95
Правило наборов данных.....................................................................................104
Правило параметров (итоговая версия).........................................................106
Правило θ....................................................................................................106
Побрякушки для стрельбы по мишеням.........................................................107
Интерлюдия III. Облик грядущего....................................................109
6. Одно яблоко в день........................................................................113
Правило пакетов.......................................................................................................118
Закон о размере пакета........................................................................................126
Случайные побрякушки.........................................................................................127
7. Суета вокруг хвоста.........................................................................129
Закон об обновлениях...........................................................................................132
Закон об ate-функциях...........................................................................................141
Поехавшие побрякушки........................................................................................142
8. Чем ближе цель, тем меньше шаг................................................143
Скоростные побрякушки.......................................................................................152
Интерлюдия IV. Оператор Smooth...................................................153
Мягкие игрушки........................................................................................................159
9. Будь непреклонен!.........................................................................161
Закон градиентного спуска..................................................................................173
Быстрые побрякушки..............................................................................................173
Интерлюдия V. Экстенсио магнифико!............................................175
Больше разных побрякушек................................................................................192
10. Причудливый танец нейронов...................................................193
Правило искусственных нейронов...................................................................201
Нейронные побрякушки........................................................................................211

Оглавление
VIII
11. Прекрасные формы Relu.............................................................213
Закон о плотных слоях (начальная версия)..................................................218
Закон о плотных слоях (финальная версия).................................................219
Форменные побрякушки.......................................................................................234
12. Построим блок, сыграем рок......................................................235
Правило о блоках.....................................................................................................246
Блочные побрякушки..............................................................................................247
13. Взгляните на ирис.........................................................................249
Правило инициализации слоя (начальная версия)....................................261
Классные побрякушки............................................................................................268
Интерлюдия VI. Как обучаются модели..........................................269
Обучающие побрякушки.......................................................................................280
Интерлюдия VII. Вы готовы принять сигнал?.................................281
Закон упакованных сигналов..............................................................................292
Побрякушки на молнии.........................................................................................294
14. Все очень сильно перепутано….................................................295
Закон о корреляции (версия с одним фильтром).......................................304
Правило фильтров...................................................................................................305
Закон о корреляции (версия с банком фильтров)......................................313
Скользящие побрякушки.......................................................................................314
15. ….Но при этом взаимосвязано!..................................................315
Закон о пропускных соединениях....................................................................334
Корреляционные побрякушки............................................................................336
Эпилог. Все только начинается............................................... 337
1. Математическая база.........................................................................................338
2. Распределения генерации данных...............................................................338
3. Задачи.......................................................................................................................339
4. Другие функции потерь.....................................................................................340
5. Другие решатели..................................................................................................341
6. Многомерные сигналы......................................................................................343
7. Системы для обработки естественного языка..........................................343
8. Генеративные сети...............................................................................................344

IX
Оглавление
9. Прикладные соображения...............................................................................345
10. Вперед, отважные ученики!..........................................................................347
Приложение A. Призрак в машине..................................................348
Приложение B. Я так хочу, чтобы гонка не кончалась..................374
Литература...........................................................................................400
Предметный указатель......................................................................401

Мы случайно наткнулись друг на друга в пятницу, 13 апреля 
2018 года, на многолюдном официальном открытии Школы информатики, вычислительной техники и инженерии Luddy, и решили 
написать книгу по машинному обучению после очень глубокого и 
обстоятельного разговора, последовавшего сразу за окончанием 
мероприятия:
Анураг: Я хотел бы написать с тобой книгу из серии The Little Book.
Дэн: Так давай напишем!
⋮
Несколько секунд спустя
⋮
Дэн: На какую тему?
Анураг: Машинное обучение.
Дэн: Ну ладно, интересная тема!
А потом мы долго болтали о всякой всячине...