Лексические и грамматические аспекты разработки компьютерного сурдопереводчика русского языка

                Монографии ^ГTУ




Серия основана в 2004 году

    РЕДАКЦИОННАЯ КОЛЛЕГИЯ СЕРИИ «МОНОГРАФИИ НГТУ»


           д-р техн, наук, проф. (председатель) Н.В. Пустовой
           д-р техн. наук, проф. (зам. председателя) АТ. Вострецов
           д-р техн. наук, проф. (отв. секретарь) В.Н. Васюков

           д-р техн. наук, проф. А.А. Батаев
           д-р техн. наук, проф. АА. Воевода
           д-р техн. наук, проф. В.В. Губарев
           д-р техн. наук, проф. В.И. Денисов
           д-р физ.-мат. наук, проф. А.К. Дмитриев
           д-р физ.-мат. наук, проф. ВТ. Дубровский
           д-р филос. наук, проф. В.И. Игнатьев
           д-р филос. наук, проф. В.В. Крюков
           д-р техн. наук, проф. Г.И. Расторгуев
           д-р физ.-мат. наук, проф. В А. Селезнев
           д-р техн. наук, проф. ЮТ. Соловейчик
           д-р техн. наук, проф. АА. Спектор
           д-р юрид. наук, доц. ВЛ. Толстых
           д-р техн. наук, проф. А.Г. Фишов
           д-р экон. наук, проф. М.В. Хайруллина
           д-р техн. наук, проф. В А. Хрусталев
           д-р техн. наук, проф. А.Ф. Шевченко

ЁЕКСИЧЕСКИЕ И ГРАММАТИЧЕСКИЕ АСПЕКТЫ РАЗРАБОТКИ КОМПЬЮТЕР^ГО СУРДОПЕРЕВОДЧИКА РУССКОГО ЯЗЫКА








НОВОСИБИРСК

2013

УДК 004.822
Л 433

Рецензенты:
д-р филол. наук, проф. Н.Н. Широбокова, д-р техн. наук, доц. АЛ. Ронжин, канд. техн. наук, доц. А.А. Карпов




    Л 433     Лексические и грамматические аспекты разработки

        компьютерного сурдопереводчика русского языка : монография / М.Г. Гриф, О.О. Королькова, Л.Г. Панин, М.К. Тимофеева, Е.Б. Цой. - Новосибирск : Изд-во НГТУ, 2013. - 292 с. - (Серия «Монографии НГТУ»).


             ISBN 978-5-7782-2363-9


            Монография посвящена разработке систем компьютерного сурдоперевода с русского звучащего на русский жестовый язык и наоборот. В ней изложены основы грамматической системы русского жестового языка, методы и алгоритмы анализа русского текста, стратегии его перевода на русский жестовый язык, а также соответствующее программное обеспечение компьютерного сурдоперевода.
            Книга предназначена для широкого круга специалистов, занимающихся вопросами исследования, проектирования и разработки систем компьютерного сурдоперевода и интеллектуальных систем, а также студентам вузов соответствующих специальностей.




ISBN 978-5-7782- 2363-9

УДК 004.822

                © Гриф М.Г., Королькова О.О., Панин Л.Г., Тимофеева М.К., Цой Е.Б., 2013
© Новосибирский государственный технический университет, 2013

LEXICAL AND GRAMMATICAL ASPECTS OF DEVELOPING COMPUTER RUSSIAN SIGN LANGUAGE TRANSLATOR









NOVOSIBIRSK

2013

UDC 004.822
L433

Reviewers:
Dr. Sc. Philological, professor Shirobokova NN., Dr. Sc. Tech., associate professor RonzhinA.L., Cand. Tech. Sc., senior scientist Karpov A.A.





  L433 Lexical and grammatical aspects of developing computer Russian sign language translator : monograph / M.G. Grif, O.O. Korolkova, L.G. Panin, M.K. Timofeeva, E.B. Tsoy. - Novosibirsk : NSTU Publisher, 2013. - 292 c. -(«NSTU Monographs» series).


          ISBN 978-5-7782-2363-9

              The monograph is devoted to developing computer systems for translation from Russian sounding to Russian sign language and vice versa. It includes the fundamentals of the grammatical system of Russian sign language, methods and algorithms for the analysis of Russian texts, strategies for translating texts to Russian sign language, as well as software applied in computer sign language translation.
              The book is intended for a wide range specialists involved in research process, designing and developing computer sign language translation and intellectual systems, as well as for students studying at institutes of higher education for related professions.






UDC 004.822



                                                  © Grif M.G., Korolkova O.O., Panin L.G., Timofeeva M.K., Tsoy E.B., 2013
                                                 © Novosibirsk State Technical University, 2013

ISBN 978-5-7782-2363-9

    ВВЕДЕНИЕ


     Примерно 10 % населения любой страны мира - это лица с ограниченными возможностями здоровья по слуху. Так, в России сейчас около 13 миллионов глухих и слабослышащих. Значительное число из них в повседневной жизни использует русский жестовый язык. Существует проблема физической нехватки сурдопереводчиков для обеспечения биолингвистических потребностей глухих людей по всей области их жизнедеятельности: система образования, здравоохранение, социальные службы, сотовая связь и т. п. Постепенная замена человека-сурдопереводчика на компьютерный сурдопереводчик будет служить благородной задаче разрушения барьеров, препятствующих коммуникации глухих и слышащих граждан России.
     В России и в мире известен ряд систем компьютерного сурдоперевода естественного языка (речи) на калькирующий национальный жестовый язык. Например, система Say It Sign It исследовательского центра IBM Hursley в Великобритании и программно-аппаратный комплекс жестовой речи в Институте социальной реабилитации Новосибирского государственного технического университета (первые результаты относятся к 1997 г.). Однако внедрение указанных программных систем в различные области жизнедеятельности глухих тормозится по следующим причинам [1-7]:
     1)    отсутствие эффективных программных систем распознавания непрерывной русской речи;
     2)    перевод русского текста преимущественно на калькирующий жестовый язык, что затрудняет его восприятие глухими;
     3)    отсутствие признанной грамматической системы русского жестового языка;
     4)   отсутствие эргономичной системы визуализации жестового языка.
     В результате выполнения проекта № 8889р/14424 «Разработка программы компьютерного перевода русского текста на письменный разговорный русский жестовый язык» с Фондом содействия развитию малых форм предприятий в научно-технической сфере (программа СТАРТ-11) авторским коллективом был разработан подход к построению систем компьютерного сурдоперевода звучащей русской речи на русский жестовый язык. Данный подход включает в себя построение взаимосвязей грамматических систем указанных языков, анализа русского текста (речи) и выбор эффективных стратегий перевода на русский жестовый язык. Кроме того были предложены и технологии распознавания жестовой речи на основе сенсорного контроллера Kinect.

7

ВВЕДЕНИЕ

     Монография написана на основе оригинальных исследований авторов и состоит из восьми глав. В ней впервые в российской и мировой практике рассматривается весь комплекс вопросов построения систем компьютерного сурдоперевода с русского звучащего на русский жестовый язык и наоборот.
     В первой главе дается общая характеристика русского жестового языка, излагаются проблемы его изучения и описания, на основании проведенного сопоставительного анализа жестов вербальной и невербальной коммуникации делается вывод о целесообразности использования термина «жест» для наименования средства невербального общения звучащего языка и основной единицы жестового языка. Показано, что отсутствие акустического плана выражения расширяет спектр функций немануальных средств по сравнению с вербальными.
     Во второй главе рассматриваются проблемы описания и особенности лексики русского жестового языка. Проводится сопоставительный анализ тематических словарей русского звучащего и русского жестового языка (на материале «Тематического словаря русского языка» и словаря Р.Н. Фрадкиной «Говорящие руки»).
     Третья глава посвящена обоснованию концепции построения грамматической системы русского жестового языка. Делается вывод о том, что на этапе описания грамматики целесообразнее использовать подход «от формы к содержанию» как основу для последующего исследования грамматической системы русского жестового языка «от содержания к форме».
     В четвертой главе рассматриваются проблемы описания и особенности словообразовательной системы русского жестового языка, проводится сопоставительный анализ словарей русского жестового языка с точки зрения наличия материалов по словообразованию, дается характеристика основных средств словообразования русского жестового языка.
     Пятая глава посвящена проблемам описания и особенностям морфологии русского жестового языка, в ней также содержится материал о частеречной принадлежности жестов (на основе сопоставительного анализа словарей русского жестового языка).
     В шестой главе рассматриваются проблемы описания и особенности синтаксиса русского жестового языка, приводятся основные единицы синтаксиса, дискурса и референции в русском жестовом языке.
     Седьмая глава содержит общую характеристику семантики русского жестового языка и вариант метаязыка ее описания.
     В восьмой главе рассматриваются стратегии перевода русского текста (речи) на русский жестовый язык, которые направлены на наиболее близкий по смыслу и эргономичный перевод и включают в себя калькирующий русский жестовый язык и дактильную азбуку. В главе приводятся примеры программных реализаций систем компьютерного сурдоперевода, включая систему распознавания жестов на основе сенсорного контроллера Кинект.

            ГЛАВА 1



        ОБЩАЯ ХАРАКТЕРИСТИКА РУССКОГО ЖЕСТОВОГО ЯЗЫКА. ПРОБЛЕМЫ ЕГО ИЗУЧЕНИЯ И ОПИСАНИЯ





    1.1. ПРОБЛЕМЫ ИЗУЧЕНИЯ И ОПИСАНИЯ РУССКОГО ЖЕСТОВОГО ЯЗЫКА


(В

настоящее время в мире насчитывается 10 % глухих и слабослышащих, а в России людей с ограниченными возможностя

ми слуха - около 13 миллионов. В процессе общения между собой глухие и слабослышащие используют жестовый язык, но им приходится общаться и со слышащими людьми, зачастую не владеющими языком жестов. В колледжах и вузах процесс обучения студентов с ограничен
  ными возможностями слуха сопровождают сурдопереводчики, однако таких специалистов недостаточно. Следовательно, для снятия проблемы нехватки сурдопереводчиков и для поддержки коммуникации между глухими и слышащими необходимо разработать систему двустороннего машинного перевода со звучащего языка на жестовый и с жестового языка на звучащий. Создание такой системы осуществляют специалисты Новосибирского государственного технического университета (далее - НГТУ) в соответствии с проектом «Разработка комплекса по переводу непрерывной русской речи на разговорный русский жестовый язык для глухих и слабослышащих» [1, 2, 3,4]. При разработке компьютерного сурдопереводчика встал вопрос о необходимости учета особенностей грамматической системы русского жестового языка (далее - РЖЯ) [5, 6, 7].
     В мире более 120 жестовых языков. Уже описан рад жестовых языков мира, однако в России жестовый язык до сих пор мало изучен и слабо документирован [8]. Данный факт объясняется рядом причин [9].
     Причина первая. «Жестовые языки являются полноценными человеческими языками и не уступают звучащим языкам по своим комму

9

ГЛАВА 1. Общая характеристика русского жестового языка

  никативным функциям, но отличаются от них физическим планом выражения» [10], однако в России жестовый язык долгое время не признавался полноценным языком, поэтому в нашей стране существует единственное описание русского жестового языка, созданное дефектологом ГЛ. Зайцевой [11]. Это учебник по дактилологии для студентов высших учебных заведений. В данном пособии в доступной для нелин-гвистов форме изложены особенности калькирующей жестовой речи и русского жестового языка. Проведенные позднее исследования РЖЯ доказали истинность точки зрения ГЛ. Зайцевой на факт существования жестового языка как самостоятельного языкового явления. По мнению Е.В. Прозоровой, «несмотря на то, что жестовые языки задействуют не звуковой, а визуально-кинестетический канал передачи информации, по своим фундаментальным свойствам они схожи со звучащими языками, что позволяет причислять их к естественным человеческим языкам и анализировать, используя методы и понятия, разработанные на материале звучащих языков» [8]. Сопоставительный анализ русского и французского жестовых языков позволил Т.А. Ткачевой и Н.А. Амедышевой сделать вывод о том, что «несмотря на отличие жестового языка глухих от языка слышащих, жестовый язык - это равноценная коммуникативная система, что подтверждается тем, что языки глухих выполняют те же самые функции, что и языки звуковые. Они являются единственным средством для глухих, обеспечивающим им когнитивное и психологическое развитие. Жестовый язык, как и любой язык, это система, имеющая собственные знаковые единицы, свою структуру, требующая тщательного изучения. В мире не существует единого жестового языка, но, несмотря на национальные и диалектические отличия, знаковые языки для глухих имеют общие черты, что связано, с одной стороны, с общей историей происхождения, с другой, с человеческим мышлением и воображением, построенными на ассоциациях. Функциональное равенство языка глухих и слышащих подтверждается признанием жестового языка во многих странах как официального языка и языка обрМевампрядфЬ^м точку зрения ГЛ. Зайцевой, «РЖЯ - своеобразная лингвистическая система, обладающая собственной лексикой и грамматикой» [11].
     Причина вторая. Как уже было сказано ранее, в ряде стран мира жестовые языки являются официальными. Русский жестовый язык признан официальным лишь в конце 2012 г. В Федеральном законе от 10