Как учится машина: революция в области нейронных сетей и глубокого обучения

КаК учится  

машина

Quand la machine 
apprend

LA REVOLUTION DES 

NEURONES ARTIFICIELS ET DE 

L”APPRENTISSAGE PROFOND

ODILE JACOB

YANN LE CUN 
avec la collaboration de Caroline Brizard

Перевод с французского

КаК учится  

машина

РЕВОЛЮЦИЯ В ОБЛАСТИ  

НЕЙРОННЫХ СЕТЕЙ  

И ГЛУБОКОГО ОБУЧЕНИЯ

ЯН ЛЕКУН
при участии Каролины Бризар

МОСКВА
2021

ISBN 978-5-907394-92-6 (рус.)
ISBN 978-2-7381-4933-6 (фр.)

УДК 004.8
ББК 32.813
Л43

Переводчик Е. Арсенова 
Редактор В. Скворцов
Научный редактор М. Плец

Лекун Я.
Как учится машина : Революция в области нейронных сетей 
и глубокого обучения / Ян Лекун. — Пер. с фр. — М. : Альпина ПРО, 
2021. — 335 с.

ISBN 978-5-907394-92-6

Мы живем во время революции, еще 50 лет назад казавшейся невероятной, — революции в области умных машин, которые теперь обучаются самостоятельно, вместо того чтобы просто выполнять запрограммированные 
команды. И возможности таких машин огромны: распознавание изображений, 
лиц и голосов, переводы на сотни языков, беспилотное управление автомобилями, обнаружение опухолей на медицинских снимках и многое другое.
Автор книги Ян Лекун стоит у истоков этой революции. Лауреат премии Тьюринга, профессор Нью-Йоркского университета и руководитель 
фундаментальными исследованиями в Facebook, он является одним из изобретателей глубокого обучения, применяемого к так называемым искусственным нейронным сетям, архитектура и функционирование которых 
вдохновлены устройством человеческого мозга. В своей книге он, не прибегая 
к метафорам, делится своим научным подходом на стыке компьютерных наук 
и нейробиологии, проливая свет на будущее искусственного интеллекта, 
связанные с ним проблемы и перспективы. 
Сегодня искусственный интеллект действительно меняет общество. Эта 
понятная и доступная книга перенесет вас в самое сердце машины, открывая 
новый увлекательный мир, который уже является нашей реальностью.

УДК 004.8
ББК 32.813

Л43

Все права защищены. Никакая часть этой книги не может быть воспроизведена в какой бы то ни было 
форме и какими бы то ни было средствами, включая 
размещение в сети интернет и в корпоративных сетях, а также запись в память ЭВМ для частного 
или пуб личного использования, без письменного разрешения владельца авторских прав. По вопросу организации доступа к электронной библиотеке издательства обращайтесь по адресу mylib@alpina.ru

© Odile Jacob, octobre 2019
© ООО «Альпина ПРО», 2021

Оглавление

Введение    ........................................................................................................................................................ 7

Глава 1  
Революция в искусственном интеллекте  ......................................................  11

Глава 2  
Краткая история искусственного интеллекта…  

 
и моего карьерного пути  ........................................................................................... 23

Глава 3  
Простые обучающие машины  ............................................................................... 71

Глава 4  
Обучение путем минимизации, теория обучения  ..............................  105

Глава 5  
Глубокие сети и обратное распространение  ...........................................  145

Глава 6  
Сверточные сети, столпы ИИ  ..............................................................................  173

Глава 7  
Внутренности машины, или глубокое обучение сегодня  ..............  201

Глава 8  
Моя работа в компании Facebook .....................................................................  239

Глава 9  
Что ждет нас завтра? Перспективы и проблемы  

 
искусственного интеллекта  .................................................................................  263

Глава 10  
Искусственный интеллект и человечество ...............................................  299

Послесловие  ............................................................................................................................................  329

Благодарности  ......................................................................................................................................  333

Введение

«Открой дверь модульного отсека, Хэл!» В фильме «2001 год: Космическая 
одиссея» HAL 9000, сверхразумный компьютер, управляющий работой 
космического корабля, отказывается открыть дверь модульного отсека 
астронавту Дейву Боумену. В этой драматической сцене — вся трагедия 
искусственного интеллекта. Мыслящая машина оборачивается против 
человека, который ее сам же разработал. Что это: фантазия или обоснованные опасения? Стоит ли тревожиться о том, что однажды нашим миром будут управлять терминаторы — искусственные гуманоиды с почти 
неограниченными возможностями и темными замыслами? Этот вопрос 
люди задают все чаще и чаще сейчас, когда мы переживаем неслыханную революцию в интеллектуальных технологиях, которую никто не мог 
вообразить себе еще полвека назад. Искусственный интеллект, изучению 
которого я посвятил много лет, меняет все наше общество.
Я решил написать эту книгу, чтобы объяснить определенный набор 
методов и приемов в этой области, не скрывая всей ее сложности. Понять 
это не так просто, как научиться играть в шашки, но я думаю, что это 
необходимо для формирования аргументированного мнения по вопросам, связанным с искусственным интеллектом. Наше медиапространство пестрит такими терминами как «глубокое обучение», «машинное 
обучение» или «нейронные сети»… Я хочу, шаг за шагом, пролить свет 
на научный подход, который работает на стыке вычислительной техники 
и нейробиологии, не прибегая при этом к  каким-либо метафорам.
Во время нашего погружения в основы работы вычислительных машин я буду использовать два способа изложения информации. Первый 
из них — традиционный: я рассказываю, описываю и анализирую. Время 

КАК УЧИТСЯ МАШИНА

от времени для тех, кому интересно, я буду приводить более сложные 
примеры из математики и компьютерных наук.
Искусственный интеллект (ИИ) позволяет машине распознавать изображения, транскрибировать голос с одного языка на другой, переводить 
тексты, автоматизировать управление автомобилем или контролировать 
производственные процессы. Его широкое распространение в последние годы связано с методом, именуемым глубоким обучением, которое 
позволяет не просто программировать машину для выполнения определенной задачи, а обучать ее решению более широкого круга сходных 
задач. Глубокое обучение применяется к так называемым искусственным 
нейронным сетям, архитектура и функционирование которых вдохновлены устройством человеческого мозга.
Наш мозг состоит из 86 млрд нейронов, нервных клеток, связанных 
друг с другом. Искусственные нейронные сети также состоят из множества единиц, математических функций, подобных очень упрощенным 
нейронам. В мозгу обучение изменяет связи между нейронами; то же 
самое происходит и с искусственными нейронными сетями. Поскольку 
эти единицы часто организованы в несколько слоев, мы говорим о «сетях» и «глубоком» обучении.
Роль искусственных нейронов состоит в том, чтобы вычислить взвешенную сумму входных сигналов и создать выходной сигнал, если эта 
сумма превышает определенный порог. Но искусственный нейрон — это 
не больше и не меньше, чем математическая функция, рассчитанная 
компьютерной программой. Однако мы не случайно применяем к искусственным сетям те же термины, что и к реальным нейронам, — ведь 
именно открытия в области нейробиологии послужили стимулом исследованиям в области ИИ.
В этой книге я также хочу проследить свой интеллектуальный путь 
в рамках этого необычного научного приключения. Мое имя по-прежнему связано с так называемыми «сверточными» нейронными сетями, 
которые подняли распознавание объектов компьютером на небывалую 
высоту. Вдохновленные структурой и функцией зрительной коры головного мозга млекопитающих, они могут эффективно обрабатывать изображения, видео, звук, голос, текст и другие типы сигналов.
В чем состоит деятельность исследователя? Откуда берутся его идеи? 
Что касается меня, то я уделяю много внимания интуитивным догадкам. Дальше наступает очередь математики. Я знаю, что другие ученые 

ВВЕДЕНИЕ
9

действуют диаметрально противоположным образом. Я проецирую 
в свою голову пограничные случаи, которые Эйнштейн называл «мысленными экспериментами», благодаря которым вы сначала представляете ситуацию, а затем пытаетесь рассмотреть ее следствия для лучшего 
понимания проблемы.
Моя интуиция подпитывается чтением книг. Я просто пожираю книги. Я исследую работы тех, кто был до меня. Вы никогда ничего не создадите в одиночку. Идеи живут, дремлют, и они возникают в  чьей-то 
голове, потому что пришло время. Так рождаются исследования. Они 
продвигаются неравномерно, то прыжками, то шажками, а порой — даже 
пятясь. Но деятельность эта всегда коллективна. Образ одинокого исследователя, делающего в своей лаборатории мировое открытия, — не более, 
чем романтическая фантастика.
Путь разработки глубокого обучения не был простым. Приходилось 
бороться со скептиками всех мастей. Сторонники «классического» искусственного интеллекта, основанного исключительно на логике и рукописных программах, пророчили нам провал. Люди, добившиеся успеха 
в традиционном машинном обучении, показывали на нас пальцами, хотя 
глубокое обучение, над которым мы работали, и было по существу набором определенных методов в более широкой области машинного обучения. Однако тот тип машинного обучения, который позволял машине 
решать задачу путем сравнения конкретных примеров внутри массива 
данных, а не прямым исполнением написанной программы, тоже имел 
свои пределы. Мы пытались их преодолеть. Средством для этого послужили глубокие нейронные сети. Они были очень эффективными, но при 
этом сложными в математическом анализе и в реализации. Поэтому мы 
прослыли чуть ли не алхимиками…
Сторонники традиционного машинного обучения перестали высмеивать нейронные сети в 2010 г., когда последние наконец продемонстрировали свою эффективность. Лично я никогда не сомневался в успехе. 
Я всегда был убежден, что человеческий интеллект настолько сложен, что 
для того, чтобы его скопировать, нужно стремиться построить самоорганизующуюся систему, способную учиться самостоятельно, через опыт.
Сегодня эта форма искусственного интеллекта так и осталась наиболее перспективной, благодаря доступности больших баз данных и прогрессу в разработке оборудования, например графических процессоров, 
намного увеличивших вычислительную мощность компьютеров.

КАК УЧИТСЯ МАШИНА

По окончании учебы я планировал провести несколько лет в Северной Америке. И я все еще там! После некоторых жизненных перипетий 
я попал в компанию Facebook, владеющую сайтом с 2 млрд активных 
пользователей, чтобы вести фундаментальные исследования в области 
ИИ. Это — тоже часть моей публичной биографии. Я не хочу скрывать 
ничего из того, что происходит в компании Марка Цукерберга, которой 
в 2018 г. были предъявлены серьезные обвинения, и чье безграничное расширение вызывает опасение. В любом случае — я сторонник открытости.
В марте 2019 г. я был удостоен премии Тьюринга за 2018 г. от Ассоциации вычислительной техники — своего рода Нобелевской премии в компьютерной области. Я разделил эту награду с двумя другими специалистами по глубокому обучению, Йошуа Бенджио и Джеффри Хинтоном, 
моими партнерами, с которыми мы много спорили, но всегда сходились 
в главном.
Я многим обязан всем этим встречам, месту, которое я со временем 
занял в сообществе безумных наследников кибернетики 1950-х гг., 
не устававшим задавать друг другу «детские» на вид, но глубокие по сути 
вопросы, вроде: «Как получается, что нейроны, очень простые объекты, 
соединяясь друг с другом, производят новое свой ство, которое называется интеллектом?»
Теперь эта научная авантюра порождает новые важные вопросы. 
Отличается ли работа машины, которая распознает автомобиль посредством выделения таких элементов, как колеса, лобовое стекло и т. д. 
от работы нашей зрительной коры при идентификации той же самой 
машины? Что делать с наблюдаемым сходством между работой машины 
и мозгом человека или животного? Область исследования безгранична.
Посмотрим правде в глаза: машины, какими бы мощными и сложными они ни были, по-прежнему очень узкоспециализированы. Они 
учатся менее эффективно, чем люди и животные. По сей день у них нет 
ни здравого смысла, ни совести. По крайней мере, пока! Несомненно, 
они превосходят людей в определенных задачах: например, побеждают 
их в го и в шахматах; они переводят сотни языков, они узнают растения 
или насекомых, они обнаруживают опухоли на медицинских изображениях. Но человеческий мозг сохраняет значительное преимущество 
перед машинами в том, что он более универсален и гибок.
Смогут ли машины догнать нас, и если да — то как скоро?