Искусственный интеллект для .NET: речь, язык и поиск. Конструирование умных приложений с использованием Microsoft Cognitive Services APIs
Покупка
Новинка
Тематика:
Кибернетика
Издательство:
ДМК Пресс
Автор:
Патак Нишит
Перевод:
Логунов А. В.
Год издания: 2018
Кол-во страниц: 299
Возрастное ограничение: 12+
Дополнительно
Вид издания:
Практическое пособие
Уровень образования:
Дополнительное профессиональное образование
ISBN: 978-5-97060-605-6
Артикул: 882669.01.99
Издание рассказывает о применении когнитивных служб компании Microsoft и применении на практике набора простых API. В доступной форме описано создание приложений на основе искусственного интеллекта в среде разработки Visual Studio, создание разговорного интерфейса, применение API для обработки распознавания и интерпретации устной речи. Описаны различные модели языка в искусственном интеллекте.
Предназначена для широкого круга читателей, интересующихся искусственным интеллектом и возможностями его практического применения, знающих на уровне пользователя базовые сервисы Microsoft.
Скопировать запись
Фрагмент текстового слоя документа размещен для индексирующих роботов
Нишит Патак (в соавторстве с Анурагом Бхандари) Искусственный интеллект для .NET: речь, язык и поиск
Nishith Pathak (With Contributing Author as Anurag Bhandari) Artificial Intelligence for .NET: Speech, Language, and Search Building Smart Applications with Microsoft Cognitive Services APIs
Нишит Патак (в соавторстве с Анурагом Бхандари) Искусственный интеллект для .NET: речь, язык и поиск Конструирование умных приложений с использованием Microsoft Cognitive Services APIs Москва, 2018
УДК 004.8 ББК 32.813 П20 Нишит Патак П20 Искусственный интеллект для .NET: речь, язык и поиск / пер. с анг. А. В. Логунова. – М.: ДМК Пресс, 2018. – 298 с.: ил. ISBN 978-5-97060-605-6 Издание рассказывает о применении когнитивных служб компании Microsoft и применении на практике набора простых API. В доступной форме описано создание приложений на основе искусственного интеллекта в среде разработки Visual Studio, создание разговорного интерфейса, применение API для обработки распознавания и интерпретации устной речи. Описаны различные модели языка в искусственном интеллекте. Предназначена для широкого круга читателей, интересующихся искусственным интеллектом и возможностями его практического применения, знающих на уровне пользователя базовые сервисы Microsoft. УДК 004.8 ББК 32.813 Original English language edition published by Apress, Inc. USA. Copyright © 2017 by Apress, Inc. Russian-language edition copyright © 2018 by DMK Press. All rights reserved. Все права защищены. Любая часть этой книги не может быть воспроизведена в какой бы то ни было форме и какими бы то ни было средствами без письменного разрешения владельцев авторских прав. ISBN 978-1-4842-2948-4 (анг.) Copyright © 2017 by Nishith Pathak ISBN 978-5-97060-605-6 (рус.) © Оформление, издание, перевод, ДМК Пресс, 2018
Вступительное слово от Microsoft В последние годы мы наблюдаем бурный расцвет искусственного интеллекта, который демонстрирует все новые успехи: лучшее качество распознавания речи и изображений по сравнению с человеком, победа в шахматы и Go и др. Такой прогресс обусловлен все большим количеством доступных данных и вычислительных мощностей для их обработки и обучения интеллектуальных моделей. В этой связи конкурентное преимущество компаний смещается из области know-how в алгоритмах к владению правильными массивами данных. Однако при этом наблюдается и другая тенденция, которую мы называем демократизация ИИ. Большие компании обучают ИИ-модели на имеющихся данных и предоставляют их в виде готовых «строительных блоков» в облаке для использования сторонними разработчиками. Это значит, что для решения таких сложных задач, как распознавание человека на фотографии или машинный перевод, достаточно всего лишь вызвать некоторую облачную функцию для выполнения этой задачи. Такой процесс делает интеллектуальные решения доступными как никогда. Данная книга знакомит читателя с когнитивными облачными сервисами от компании Microsoft в области работы с естественным языком и речью. Эти сервисы могут быть полезны при создании диалоговых систем, для анализа потоков текстовой информации (например, в социальных сетях), для разработки голосовых интерфейсов и во многих других задачах. Через серию последовательно усложняющихся примеров автор знакомит читателя со всеми тонкостями API, приводя при этом примеры кода, который можно непосредственно заимствовать для разработки. К слову, если читателю этих примеров покажется мало, то еще больше примеров (в том числе в области анализа изображений) содержится в нашем репозитории к курсу по когнитивным сервисам и ИИ: http://github.com/evangelism/ModernAI. Следует предупредить читателя, что когнитивные сервисы Microsoft стремительно развиваются, и некоторые приведенные в книге примеры могут устареть или работать немного не так, как описано. В настоящее время уже разрабатывается следующая версия Bot Framework, которая будет несколько отличаться от описанной в книге. Тем не менее нельзя недооценить важность излагаемых концепций и примеров – просто надо быть готовым продолжать разбираться в теме, не ограничиваясь только чтением книги. Интеллектуальные и когнитивные технологии считают основным двигателем цифровой трансформации в ближайшие годы, когда многие рутинные операции, выполняемые традиционно человеком, будут заменены ИИ. Если вы планируете заниматься разработкой и созданием продуктов на базе программного обеспечения, способность грамотно включать решения на базе ИИ в свои продукты будет являться важнейшим критерием их успешности. Данную книгу можно рассматривать как начало увлекательного пути, который приведет вас к интересным открытиям, а в перспективе – и к лучшему пониманию человеческой интеллектуальности. Сошников Дмитрий Валерьевич, старший технологический евангелист Microsoft, к. ф.-м. н., доцент МФТИ, МАИ, НИУ ВШЭ
Посвящаю эту книгу самому важному человеку в моей жизни, моей матери, покойной Бине Патак, за ее наставничество, жертвы, молитвы и благословения, которые сделали из меня того, кем я являюсь сегодня. Я скучаю по ней каждый день. Своему отцу Панкаджу Патак, который учил меня делать то, во что я верю. Ты всегда остаешься и будешь оставаться для меня образцом для подражания и моим героем всю мою жизнь. Моему учителю Садху-Гурудева, который был неисчерпаемой руководящей силой и полностью изменил мою жизнь. Своему деду, покойному Махешу Чандра Патак, за его благословения и нравственные ценности. Моей жене Сураби за то, что была со мной, пожертвовала своей прекрасной карьерой ради нашей семьи и всегда оставалась рядом со мной во всех взлетах и падениях. Женитьба на тебе стала самым прекрасным событием в моей жизни. Ты подарила мне самый драгоценный алмаз в моей жизни, Шихар, которого я люблю больше всех. Я знаю, что эта книга потребовала больших усилий и за прошлый год я не смог проводить с вами достаточно времени, папа и Шикхар, поскольку неустанно работал, чтобы подготовить для вас этот приятный сюрприз. Сураби и Шихар, эта книга была бы невозможна без всех ваших жертв. Моей прекрасной сестре Танви и моей племяннице Аадхье – ваши улыбающиеся лица придают мне силы и вдохновение, чтобы становиться лучше каждый день. Моим друзьям Гуруджи, Дж. П. Кукрети, С. С. Тьяги и Раджеш Трипати, которые были со мной бесчисленное количество раз и всегда обеспечивали меня комфортом, пониманием, духовными убеждениями и большой мотивацией. И наконец, я благодарю Бога за то, что он осчастливил меня такими замечательными людьми в моей жизни.
Содержание Об авторе.................................................................................................................13 О соавторе...............................................................................................................14 О техническом рецензенте..............................................................................15 Признательности..................................................................................................16 Введение.................................................................................................................17 Примечания переводчика................................................................................20 Глава 1. Начало работы с основами ИИ......................................................21 Правда и вымысел......................................................................................................22 История и эволюция...................................................................................................23 Нынешнее состояние дел.......................................................................................25 Превращение ИИ в товар.......................................................................................26 Microsoft и ИИ.............................................................................................................27 Фундаментальные понятия.......................................................................................28 Машинное обучение..............................................................................................30 Язык.........................................................................................................................33 Речь..............................................................................................................................35 Компьютерное зрение...........................................................................................36 Когнитивные службы Microsoft.................................................................................39 Зрение.....................................................................................................................40 Речь..........................................................................................................................41 Язык.........................................................................................................................41 Знание.....................................................................................................................42 Поиск.......................................................................................................................43 Резюме........................................................................................................................43 Глава 2. Создание приложения с поддержкой ИИ в среде Visual Studio..........................................................................................45 Необходимые условия для использования когнитивных служб.............................46 Подготовка среды разработки...................................................................................46 Получение ключа подписки Azure для когнитивных служб....................................47 Шаг 1. Зарегистрировать учетную запись Azure..................................................47 Шаг 2. Создать новую учетную запись когнитивных служб................................50 Шаг 3. Получить ключ (ключи) подписки.............................................................52 Тестирование API.......................................................................................................53 Что вы хотите сделать............................................................................................54 Как это сделать.......................................................................................................54 Создание первого ИИ-ориентированного приложения..........................................57
8 Содержание Исходный код.........................................................................................................58 Пошаговый анализ.................................................................................................59 Результат.................................................................................................................63 Более интересный вариант приложения..................................................................63 Извлечение текста из изображений......................................................................63 Исходный код.........................................................................................................64 Пошаговый анализ.................................................................................................66 Результат.................................................................................................................66 Резюме........................................................................................................................67 Глава 3. Конструирование разговорного интерфейса с применением технологий Microsoft.........................................................68 Что такое разговорный интерфейс пользователя?..................................................70 Краткая история.........................................................................................................70 В самом начале: интерфейс командной строки..................................................71 И затем появился графический интерфейс пользователя..................................72 Очередная эволюция: разговорный интерфейс пользователя ..........................74 Роль ИИ в разговорном интерфейсе пользователя..............................................77 Ловушки разговорного интерфейса пользователя..............................................78 Будущее может быть за гибридным интерфейсом пользователя (разговорный + графический)...............................................................................80 Принципы разработки...............................................................................................81 Инфраструктура Microsoft Bot Framework................................................................82 Создание приложения с разговорным интерфейсом в среде Bot Framework........83 Шаг 0. Подготовка среды разработки....................................................................84 Шаг 1. Создание нового проекта приложения Bot Framework.............................84 Шаг 2. Первое сообщение и сообщение по умолчанию.......................................85 Шаг 3. Выполнение, тестирование и отладка вашего бота..................................87 Шаг 4. Планирование визита к врачу....................................................................90 Шаг 5. Обработка системных сообщений.............................................................93 Следующие шаги....................................................................................................94 Резюме........................................................................................................................94 Глава 4. Применение технологии понимания естественного языка...........................................................................................95 Что такое понимание ЕЯ?..........................................................................................96 История развития методов понимания естественного языка................................99 Почему машины с трудом понимают естественный язык ...................................102 Сложности естественного языка.........................................................................102 Статистические модели в качестве решения недостаточны............................104 Многообещающее будущее.................................................................................106 Облачная служба LUIS..............................................................................................107 Архитектура программного приложения на основе LUIS ................................108 За кадром..............................................................................................................111 Масштабная тренировка – основа всему............................................................112 Получение подписки Azure для облачной службы LUIS........................................114
Содержание 9 Демонстрационный пример: приложение DefinitionApp.....................................116 Примечания..........................................................................................................118 Резюме......................................................................................................................119 Глава 5. Исследование когнитивной модели языка............................120 API Bing проверки орфографии ..............................................................................120 Что это такое?.......................................................................................................123 Как его использовать...........................................................................................124 Интеграция с облачной службой LUIS................................................................127 API анализа текста ...................................................................................................129 Идентификация языка.........................................................................................129 Выделение ключевых фраз..................................................................................133 Анализ тональности текста.................................................................................135 Идентификация темы..........................................................................................137 Идеи использования............................................................................................140 API веб-модели языка (WebLM) ..............................................................................141 Разбиение на слова..............................................................................................143 Совместная вероятность......................................................................................144 Условная вероятность..........................................................................................145 Предсказание следующего слова........................................................................147 API лингвистического анализа ...............................................................................148 Разбиение на предложения и лексемизация......................................................149 Частеречная разметка..........................................................................................152 Синтаксический анализ на основе грамматики составляющих.......................154 Резюме......................................................................................................................156 Глава 6. Потребление и применение облачной службы LUIS.........157 Планирование своего приложения.........................................................................158 Что бот должен уметь делать?.............................................................................158 Какая информация нужна боту от пользователя?.............................................159 Что должно быть сделано в облачной службе LUIS?..........................................159 Что должно быть сделано в Bot Framework?.......................................................160 Создание приложения с поддержкой LUIS.............................................................161 Добавление намерений............................................................................................162 Добавление/разметка высказываний.....................................................................162 Публикация своего приложения.............................................................................164 Добавление сущностей............................................................................................166 Простые сущности................................................................................................168 Составные сущности............................................................................................170 Иерархические сущности....................................................................................173 Предварительно подготовленные сущности......................................................175 Добавление списка фраз..........................................................................................176 Рекомендуемые последующие шаги.......................................................................177 Активное обучение посредством рекомендованных высказываний...............177 Использование API LUIS для автоматизации.....................................................178 Интеграция LUIS со средой Bot Framework.............................................................178
10 Содержание Создание проекта в Visual Studio........................................................................179 Обработка намерения без сущностей.................................................................180 Подготовка своего бота для использования HealthCheckupDialog...................180 Тестирование бота в эмуляторе..........................................................................181 Обработка намерения с полным комплектом сущностей................................181 Обработка намерения с составными сущностями.............................................183 Обработка намерения None.................................................................................185 Добавление бота в Skype..........................................................................................186 Публикация своего бота.......................................................................................186 Регистрация своего бота......................................................................................186 Резюме......................................................................................................................188 Глава 7. Взаимодействие с API обработки речи....................................189 Способы взаимодействия с речью..........................................................................190 API когнитивного поиска....................................................................................191 Распознавание речи.............................................................................................191 Начало работы..........................................................................................................192 Сначала получение JWT-токена .............................................................................192 API персонализированной обработки речи...........................................................194 Синтез речи..............................................................................................................195 Механизм распознавания речи...........................................................................198 Служба персонализированной обработки речи.....................................................199 Персонализированная акустическая модель.....................................................199 Персонализированная модель языка..................................................................209 Данные произношения........................................................................................211 Персонализированная конечная точка преобразования речи в текст.............212 Распознавание говорящего.....................................................................................215 Верификация говорящего против идентификации говорящего......................215 Регистрация для верификации говорящего.......................................................216 Верификация говорящего....................................................................................219 Регистрация для идентификации говорящего...................................................219 Идентификация говорящего...............................................................................221 Состояние операции............................................................................................221 Резюме......................................................................................................................222 Глава 8. Применение поисковых предложений....................................223 Поиск повсюду..........................................................................................................224 Повсеместность, предсказательность, проактивность (три «П» поиска).............224 История Bing.............................................................................................................226 В чем уникальность Bing?........................................................................................228 API поиска.................................................................................................................228 API Bing автозаполнения.....................................................................................228 Как использовать API Bing автозаполнения ......................................................229 API Bing поиска изображений.................................................................................233 Как использовать API Bing поиска изображений...............................................234 API Bing поиска новостей .......................................................................................239