Прикладные проблемы внедрения этики искусственного интеллекта в России. Отраслевой анализ и судебная система

Д.Э. Гаспарян, Е.М. Стырин

ПРИКЛАДНЫЕ ПРОБЛЕМЫ 

ВНЕДРЕНИЯ ЭТИКИ 

ИСКУССТВЕННОГО 

ИНТЕЛЛЕКТА В РОССИИ 

Отраслевой анализ 
и судебная система

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ 
«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Издательский дом
Высшей школы экономики 
М О С К В А , 2021

2-е издание, электронное

УДК 004.89:34.03
ББК 16.6+87.75
Г22

Рецензенты: 
докт. филос. наук, доцент кафедры исторических и социально-философских дисциплин, 
востоковедения и теологии Пятигорского государственного университета П. Н. Барышников; 
докт. филос. наук, доцент факультета общеуниверситетских 
дисциплин Томского государственного педагогического университета С. Б. Куликов

Авторы: 
Гаспарян Диана Эдиковна, доцент Школы философии 
и культурологии факультета гуманитарных наук Национального 
исследовательского университета «Высшая школа экономики»; 
Стырин Евгений Михайлович, ведущий научный сотрудник Института 
государственного и муниципального управления Национального 
исследовательского университета «Высшая школа экономики»

Г22
Гаспарян, Диана Эдиковна.
Прикладные проблемы внедрения этики искусственного интеллекта в России. 
Отраслевой анализ и судебная система / Д. Э. Гаспарян, Е. М. Стырин ; Нац. исслед. 
ун-т «Высшая школа экономики». — 2-е изд., эл. — 1 файл pdf : 112 с. — Москва : Изд. 
дом Высшей школы экономики, 2021. — Систем. требования: Adobe Reader XI либо 
Adobe Digital Editions 4.5 ; экран 10". — Текст : электронный.

ISBN 978-5-7598-2242-4

В книге исследуются этические проблемы, возникающие в процессе внедрения технологий 
искусственного интеллекта (ИИ) в государственное управление отраслями образования, здравоохранения, жилищно-коммунального хозяйства, а также в судебную систему. В начале книги 
приведен общий анализ прикладных проблем, дилемм, трудностей, связанных с этикой разработки и внедрения искусственного интеллекта в избранные сферы, изложены руководящие 
принципы и ценности этически ориентированного искусственного интеллекта и анализ этических проблем внедрения по избранным секторам. Каждая глава книги посвящена отдельной 
отрасли и делится на две части: в первой дан собственно обзор этических аспектов применения 
и внедрения ИИ, во второй — пул рекомендаций по возможному разрешению, устранению или 
минимизации сформулированных этических проблем.

УДК 004.89:34.03 
ББК 16.6+87.75

Электронное издание на основе печатного издания: Прикладные проблемы внедрения этики искусственного интеллекта в России. Отраслевой анализ и судебная система / Д. Э. Гаспарян, 
Е. М. Стырин ; Нац. исслед. ун-т «Высшая школа экономики». — Москва : Изд. дом Высшей 
школы экономики, 2020. — 112 с. — ISBN 978-5-7598-2351-3. — Текст : непосредственный.

На обложке — фрагмент презентации робота Roboy, 
разработка Лаборатории искусственного интеллекта 
Цюрихского университета. 27 февраля 2013 г.

© Adrian Baer | Wikimedia Commons <Roboy_270213_1.jpg>

В соответствии со ст. 1299 и 1301 ГК РФ при устранении ограничений, установленных техническими средствами защиты авторских прав, правообладатель вправе требовать от нарушителя возмещения убытков или 
выплаты компенсации.

ISBN 978-5-7598-2242-4
©  Д. Э. Гаспарян, Е. М. Стырин, 2020

Содержание

Глоссарий ....................................................................................... 4

Введение ........................................................................................ 5

Руководящие принципы  
и ценности этически-ориентированного ИИ ............................. 16

Этические аспекты применения и внедрения ИИ  
в судебной системе ........................................................................ 23

1. Судебная система  .................................................................... 23

1.1. ИИ в области права ........................................................ 25
1.2. Перечень рекомендаций ................................................ 43

Этические аспекты применения  
и внедрения ИИ в отраслевых сегментах....................................... 47

2. Образование ............................................................................. 47

2.1. ИИ в области образования ............................................ 48
2.2. Перечень рекомендаций ............................................... 56

3. Здравоохранение ...................................................................... 60

3.1. ИИ в области здравоохранения ..................................... 63
3.2. Перечень рекомендаций ............................................... 79

4. ЖКХ. Системы «Умный дом» .................................................. 83

4.1. ИИ в области ЖКХ ........................................................ 87
4.2. Перечень рекомендаций ............................................... 96

Заключение .................................................................................100

Библиография .............................................................................103

ГлоССарий

Искусственный интеллект (ИИ) — программная система для решения различных задач с помощью антропоразмерного интеллекта, 
функционирующего на автоматизированной основе.

Этическая экспертиза — тестирование технологии с точки зрения 
ее релевантности этическим нормам человека, причастности ценностям и нормативным предписаниям, а также психологической 
безопасности.

Социально-надежный ИИ — искусственный интеллект, отвечающий нормам этической релевантности, социальной предсказуемости и психологической безопасности.

Агенты ИИ — различные по своему функционалу программы, которые автономно работают по определенному расписанию на основе технологий ИИ над поставленными человеком задачами; 
способны получать и обрабатывать данные из внешней среды с последующей выдачей рационального результата, соизмеримого поставленным задачам.

Робот — 1) программируемый исполнительный механизм с определенным уровнем автономности для выполнения перемещения, манипулирования или позиционирования (включает систему управления и интерфейс для человека); 2) автономно действующий 
программный модуль с понятным для человека интерфейсом, который выполняет рутинные задачи в заданной предметной области 
по определенному расписанию (поиск, ответы на вопросы, сбор 
данных).

Государственное регулирование экономики — управляющее воздействие государства на экономическую деятельность субъектов хозяйствования, которое реализуется через различные экономические 
и административные (внеэкономические) механизмы.

ВВедение1

Искусственный интеллект, а точнее подразумеваемые под ним технологии машинного обучения, которые позволяют компьютерам 
понимать речь, разбирать тексты, классифицировать данные по 
заранее заданным критериям, т.е. решать ряд интеллектуальных 
творческих задач способами, аналогичными тем, которыми пользуется человек [Barr, 1989], прочно входит в дискурс органов исполнительной власти, но также может использоваться законодательной и судебной ветвями власти [Sun, Medaglia, 2019]. В принятой 
в 2019 году российской национальной стратегии развития искусственного интеллекта до 2030 года под искусственным интеллектом (далее — ИИ) понимается «комплекс технологических решений, имитирующий когнитивные функции человека (включая 
самообучение и поиск решений без заранее заданного алгоритма) 
и позволяющий при выполнении задач достигать результаты, как 
минимум сопоставимые с результатами интеллектуальной деятельности человека» [Указ Президента РФ № 490]. Комплекс технологических решений включает информационно-коммуникационную 
инфраструктуру, программное обеспечение, в котором в том числе используются методы машинного обучения, процессы и сервисы по обработке данных и выработке решений.

Поскольку спектр задач, решаемых ИИ, постоянно расширяет
ся, мы перечислим только задачи, которые относятся к системе органов исполнительной власти, а также к судебной системе. 

 
1 Книга написана на основе прикладного исследования «Систематизация 

опыта ведущих стран мира в развитии технологий искусственного интеллекта и выработка предложений по нормативным и организационным 
мерам, направленным на опережающее развитие технологий искусственного интеллекта в Российской Федерации», проведенного ИГМУ НИУ 
ВШЭ в 2019 году в рамках программы прикладных исследований. В работе 
использованы результаты проекта «Трансцендентальный подход в философии: история и современность», выполненного в рамках Программы 
фундаментальных исследований НИУ ВШЭ в 2020 году.

ВВедение

Прежде всего, это класс задач по установлению содержатель
ных связей между нормативно-правовыми актами или документами стратегического планирования с целью их взаимоувязки или 
поиска противоречий, несоответствий между целями, задачами и 
целевыми показателями в документах на различных уровнях управления. Известно, что нормативно-правовые акты могут содержать 
противоречия, ведь документы стратегического планирования в 
России созданы на всех уровнях управления, при этом указанные 
в них цели, задачи и показатели на региональном или муниципальном уровнях могут противоречить, например, ключевым документам на федеральном уровне. Работу по взаимной увязке и поиску 
противоречий может осуществлять программа на основе технологий искусственного интеллекта, которая в ряде документов устранит дублирование, выявит заведомо недостижимые показатели, 
проведет конечную классификацию типов документов стратегического планирования в зависимости от критериев классификации. 

Другим классом задач для ИИ является предиктивная аналити
ка на основе массивов данных, которые описывают объект в отрасли, например, пациента по истории болезни в медицинской карте, 
школьника или студента по портфолио достижений и успеваемости, совершившего или подозреваемого в правонарушении или преступлении по материалам уголовного дела. На основе анализа аналогичных объектов одного класса рекомендательная система может 
классифицировать каждый новый объект относительно набора признаков, которые также могут быть априори заданы. Таким образом, 
можно с некоторой вероятностью получить предсказания о склонности заключенного совершить повторное преступление, о намерении 
ученика получить определенную профессию, о возникновении у пациента некоторой болезни или, например, послеоперационных осложнений. Другой целью рекомендательной системы может стать выработка предписаний о том, какое может быть назначено наказание 
подозреваемому, какие курсы в дальнейшем предпочтительно слушать школьнику или студенту, какие препараты принимать пациенту и процедуры проходить, чтобы предотвратить негативный сценарий развития болезни [ЦНТИ МФТИ, 2020].

ВВедение

Также у органов власти формируются данные для профиля 

гражданина в той роли, в которой он выступает объектом их соответствующих полномочий: налогоплательщик, подозреваемый в 
уголовном или административном правонарушении, предприниматель, пенсионер и т.д. На основе системы предиктивной аналитики по профилю гражданина можно выстраивать так называемые 
проактивные услуги, о которых гражданин мог не знать и не инициировать их самостоятельно. При этом соответствующие возможности получения поддержки, обеспечения и реализации прав были 
предусмотрены государством и предложены гражданину со стороны обеспечивающих органов власти в инициативном порядке. 
Например, проактивными услугами можно назвать предварительный расчет пенсии, начисление социальных пособий, подбор университета или места работы [Добролюбова, 2018]. 

Искусственный интеллект помогает обеспечивать безопас
ность граждан, например, сопоставляя лица граждан, попавших в 
камеры наблюдения, с лицами разыскиваемых нарушителей закона, тем самым идентифицируя их положение и перемещение в случае совпадения. Таким образом, органы внутренних дел получают 
мощный инструмент для отслеживания разыскиваемых лиц, совершивших правонарушения, выявления лиц, которые отличаются 
подозрительным или противоправным поведением [Faggella, 2019]. 
Аналогичные инструменты компьютерного зрения применяются 
на дорогах для выявления нарушителей правил дорожного движения. Большой потенциал для функционала компьютерного зрения 
наблюдается в системах «Умный дом» — это совокупность камер, 
датчиков и иных управляющих элементов, которые круглосуточно 
накапливают и предоставляют уполномоченному наблюдателю видеоданные о состоянии квартир, домов, придомовых территорий. 
Таким образом, для построения «умных городов», согласно соответствующей концепции Минстроя России (https://russiasmartcity.
ru/), система интеллектуального видеонаблюдения является ее неотъемлемым элементом. 

Отдельное направление не только в бизнесе, но и в государ
стве — замена рутинного труда человека на программу, функцио

ВВедение

нирующую на основе технологий машинного обучения для выполнения рутинных операций. Примером такой программы является 
чат-бот, который может отвечать на достаточно простые вопросы граждан, связанные с государственными информационными 
ресурсами и заданные ему в режиме реального времени в текстовом виде, например, через официальные информационные ресурсы органов власти или судов. Вопросы могут затрагивать целый ряд 
тем: разъяснение отдельных положений законодательства, диагностику статусов граждан для получения социальной поддержки, 
консультации по получению государственных услуг. С помощью 
чат-ботов можно реализовать простые инструменты диагностики 
по различным направлениям. В основу положен механизм диалога между пользователем и чат-ботом, в котором посредством задания вопросов пользователем в виде текста или голосом может быть 
выявлена или решена некоторая проблема. Например, с помощью 
простых вопросов чат-бот может диагностировать наличие некоторого заболевания (в частности, COVID-19), определить, есть ли 
формальные предпосылки у кандидата пройти по конкурсу на некоторую должность на государственной службе, есть ли право у заявителя получить социальную льготу или субсидию, к примеру, в 
сельском хозяйстве.

Таким образом, программы на основе машинного обучения по
зволяют заменить труд человека при решении рутинных задач или 
хотя бы при их выполнении снизить нагрузку на государственных 
служащих, переключив усилия сотрудников на более сложные и 
неоднозначные проблемы. 

Вообще говоря, помимо анализа и сопоставления данных, про
граммы на основе искусственного интеллекта могут не только выдавать рекомендации, но и принимать решения в автоматическом 
режиме. Вопрос состоит в готовности ответственных управленцев контролировать каждое решение либо полагаться на решение, предложенное программой. Ярким примером может служить 
система государственного контроля и надзора, в которой применяется риск-ориентированный подход [Кнутов, Плаксин, 2019]. 
Данные о проверках объектов, требующих надзора (заводы, пред

ВВедение

приятия, учреждения сферы образования, здравоохранения, сфера общественного питания), могут быть автоматически проанализированы и сопоставлены с нормативами, определяющими риски 
непроведения своевременных проверок. Таким образом, программа в состоянии присваивать риски поднадзорным объектам, автоматически устанавливая классы этих рисков, определяя в дальнейшем частоту проверок. При подобном подходе подразумевается 
только контроль со стороны человека, а выработка решения может 
оставаться за программой. 

Аналогичным образом программа на основе технологий искус
ственного интеллекта может взять на себя функционал оценки регулирующего воздействия (ОРВ), которая проводится для целей 
государственного регулирования, определения возможных вариантов достижения целей, а также оценки связанных с ними позитивных и негативных эффектов [Клименко, Минченко, 2016]. При 
обеспечении сбора подробных цифровых данных об отрасли, подвергающейся регулированию, ИИ может просчитывать текущие и 
прогнозные ключевые экономические показатели государственной политики в отдельно взятой отрасли. При совершенствовании выбора решений на основе машинного обучения полученные 
прогнозы могут быть точнее, чем достаточно субъективные подходы, которые предлагаются отраслевыми экспертами. Тем не менее с учетом вероятностного расчета значений показателей с помощью ИИ полученные результаты также требуют контроля со 
стороны отраслевых экспертов и ответственных государственных 
служащих. Проведение ОРВ с привлечением функционала искусственного интеллекта существенно убыстряет процесс выработки 
и оценки альтернатив, которые возможны для совершенствования 
нормативно-правовой базы и основных показателей государственной политики в некоторой отрасли, а значит ИИ остается перспективной технологией для проведения ОРВ. 

Осуществление государственной бюджетной и налоговой по
литики для стимулирования бизнеса также можно свести к задаче 
определения налогового режима и объема поддержки для различных компаний в зависимости от их финансово-экономических по

ВВедение

казателей, сравнимых с установленными эталонными. Обученные 
нейронные сети могут не только классифицировать компании по 
критериям для определения налогового режима и бюджетной поддержки, но позволяют уточнить эти критерии на основе проанализированного множества собираемых показателей о деятельности 
компаний. 

Абсолютно аналогично решаются задачи осуществления ли
цензионной и разрешительной деятельности органов власти, которые сравнимы с задачей кредитного скоринга клиента в банке. 
Организация, деятельность которой подлежит лицензированию 
или требует получения разрешений, может быть в автоматическом 
режиме оценена нейросетью на основе ранее изученных аналогичных данных. В таком случае организация может быть автоматически классифицирована под положительное либо отрицательное решение о выдаче лицензии или разрешения. Окончательное 
решение может быть принято сотрудником-специалистом, однако подавляющая часть предварительных расчетов для определения 
параметров выдачи лицензии или разрешения может быть проведена программой на основе технологий ИИ. 

Приведенный выше обзор возможностей ИИ, призванных по
мочь в решении разных классов задач в государственном управлении и в судебной системе, показывает неизбежность внедрения 
инновационных решений на основе машинного обучения в ближайшем будущем. Искусственный интеллект дает возможность сократить издержки при осуществлении государственных функций, увеличить скорость отклика на запросы граждан, повысить качество 
результатов взаимодействия органов власти с внешними акторами, 
а также перераспределить нагрузку на государственных служащих, 
избавив их от решения рутинных задач. При этом изложенные выше возможности ИИ демонстрируют позитивный эффект от его внедрения в деятельность органов власти. Однако деятельность органов государственной власти сопряжена с пристальным вниманием 
общественности, требованиями соблюдать прозрачность и подотчетность в принятии решений и представлении результатов. Если 
опорой деятельности для органов власти становится ИИ, то госу