Совместимость. Как контролировать искусственный интеллект

HUM AN COMPATIBLE

Artificial Intelligence and the Problem of Control

Stuart Russell

VIKING

Москва, 2021

Перевод с английского

С О В М Е С Т И М О С Т Ь

КАК КОНТРОЛИРОВАТЬ
ИСКУССТВЕННЫЙ
ИНТЕЛЛЕКТ

СТЮАРТ РАССЕЛ

ISBN 978-5-00139-288-0 (рус.)
ISBN 9780525558613 (англ.)

УДК 004.8
ББК 32.813
 
Р24
Переводчик Наталья Колпакова
Научный редактор Борис Миркин, д-р техн. наук
Редактор Антон Никольский

Рассел С.
Совместимость. 
Как 
контролировать 
искусственный 
интеллект / Стюарт Рассел ; Пер. с англ. —  М.: Альпина нонфикшн, 2021. — 438 с.

ISBN 978-5-00139-288-0 

В массовом сознании сверхчеловеческий искусственный 
интеллект — технологическое цунами, угрожающее не только экономике и человеческим отношениям, но и самой цивилизации. Конфликт между людьми и машинами видится 
неотвратимым, а его исход предопределенным. Выдающийся 
исследователь ИИ Стюарт Рассел утверждает, что этого сценария можно избежать. В своей новаторской книге автор рассказывает, каким образом люди уже научились использовать 
ИИ, в диапазоне от смертельного автономного оружия до манипуляций нашими предпочтениями, и чему еще смогут его 
научить. Если это случится и появится сверхчеловеческий ИИ, 
мы столкнемся с сущностью, намного более могущественной, 
чем мы сами. Как гарантировать, что человек не окажется 
в подчинении у сверхинтеллекта?
Для этого, полагает Рассел, искусственный интеллект 
должен строиться на новых принципах. Машины должны 
быть скромными и альтруистичными и решать наши задачи, 
а не свои собственные. О том, что это за принципы и как 
их реализовать, читатель узнает из этой книги, которую самые 
авторитетные издания в мире назвали главной книгой об искусственном интеллекте.
УДК 004.8
ББК 32.813

Р24

Все права защищены. Никакая часть этой книги не может быть воспроизведена в какой бы 
то ни было форме и какими бы то ни было средствами, включая размещение в сети интернет 
и в корпоративных сетях, а также запись в память ЭВМ для частного или пуб личного использования, без письменного разрешения владельца авторских прав. По вопросу организации доступа к электронной библиотеке издательства обращайтесь по адресу mylib@alpina.ru

© Stuart Russell, 2019
 
All rights reserved.
© Издание на русском языке, перевод, оформление. 
ООО «Альпина нон-фикшн», 2021

Эта книга издана в рамках программы 

«Книжные проекты Дмитрия Зимина» 

и продолжает серию «Библиотека «Династия». 

Дмитрий Борисович Зимин — основатель 

компании «Вымпелком» (Beeline), фонда 

некоммерческих программ «Династия» и фонда 

«Московское время».

Программа «Книжные проекты Дмитрия 

Зимина» объединяет три проекта, хорошо 

знакомые читательской аудитории: издание 

научно-популярных переводных книг 

«Библиотека «Династия», издательское 

направление фонда «Московское время» 

и премию в области русскоязычной научно
популярной литературы «Просветитель».

Подробную информацию о «Книжных проектах 

Дмитрия Зимина» вы найдете 

на сайте ziminbookprojects.ru.

ОГЛАВЛЕНИЕ

Предисловие ............................................................................ 

 
Что, если мы добьемся своего? ............................... 

 
Разумность людей и машин ....................................

 
Как может развиваться ИИ? ................................... 

 
Неправомерное использование ИИ ...................... 

 
Слишком интеллектуальный ИИ .......................... 

 
Спор вокруг не столь могущественного ИИ ........ 

 
Другой подход к ИИ ..............................................

 
Доказуемо полезный ИИ .......................................

 
Затруднение: мы .....................................................

 
Проблема решена? ................................................. 

Приложение А. Поиск решений .......................................... 

Приложение Б. Знание и логика .........................................

Приложение В. Неопределенность и вероятность ............. 

Приложение Г. Обучение на опыте .....................................

Благодарности ....................................................................... 
Благодарность за предоставленные графические 
материалы ............................................................................. 
Примечания .......................................................................... 
Предметно-именной указатель .......................................... 

ПРЕДИСЛОВИЕ

Зачем эта книга? Почему именно сейчас?

Это книга о прошлом, настоящем и будущем нашего осмысления понятия «искусственный интеллект» (ИИ) и о попытках 
его создания. Эта тема важна не потому, что ИИ быстро становится обычным явлением в настоящем, а потому, что это 
господствующая технология будущего. Могущественные государства начинают осознавать этот факт, уже некоторое время 
известный крупнейшим мировым корпорациям. Мы не можем с точностью предсказать, как быстро будет развиваться 
технология и по какому пути она пойдет. Тем не менее мы 
должны строить планы, исходя из возможности того, что машины далеко обойдут человека в способности принятия решений в реальном мире. Что тогда?
Все, что может предложить цивилизация, является продуктом нашего интеллекта; обретение доступа к существенно 
превосходящим интеллектуальным возможностям стало бы 
величайшим событием в истории. Цель этой книги — объяснить, почему оно может стать последним событием цивилизации и как нам исключить такой исход.

СОВМЕСТИМОСТЬ

Общий план книги

Книга состоит из трех частей. Первая часть (главы с первой 
по третью) исследует понятие интеллекта, человеческого 
и машинного. Материал не требует специальных знаний, 
но для интересующихся дополнен четырьмя приложениями, 
в которых объясняются базовые концепции, лежащие в основе сегодняшних систем ИИ. Во второй части (главы с четвертой по шестую) рассматривается ряд проблем, вытекающих из наделения машин интеллектом. Я уделяю особое 
внимание контролю — сохранению абсолютной власти 
над машинами, возможности которых превосходят наши. 
Третья часть (главы с седьмой по десятую) предлагает новое 
понимание ИИ, предполагающее, что машины всегда будут 
служить на благо человечеству. Книга адресована широкому 
кругу читателей, но, надеюсь, пригодится и специалистам 
по ИИ, заставив их пересмотреть свои базовые предпосылки.

ЧТО, ЕСЛИ МЫ ДОБЬЕМСЯ 
СВОЕГО?

М

ного лет назад мои родители жили в английском городе Бирмингеме возле университета. Решив уехать 
из города, они продали дом Дэвиду Лоджу , профессору английской литературы, на тот момент уже известному 
романисту. Я с ним так и не встретился, но познакомился 
с его творчеством, прочитав книги «Академический обмен» 
и «Тесный мир», в которых главными героями были вымышленные ученые, приезжающие из вымышленной версии Бирмингема в вымышленную версию калифорнийского Беркли. 
Поскольку я был реальным ученым из реального Бирмингема, только что переехавшим в реальный Беркли, создавалось впечатление, что некто из «Службы совпадений» подает 
мне сигнал.
Меня особенно поразила одна сцена из книги «Тесный 
мир». Главное действующее лицо, начинающий литературовед, выступая на крупной международной конференции,