№2, 2020

THE OPPORTUNITIES OF TECHNOLOGIES APPLICATION OF AUTOMATIC RECOGNITION OF GESTURES SHOWN BY THE MOVEMENT OF HANDS

Rasmiya Sh. Mahmudova, Kamala Sh. Gurbanova

The article is dedicated to the technologies of automation of communication of people with hearing and speech impairments with the support of information and communication technologies (ICT) that play an important role in overcoming many problems. It provides information about static and dynamic gestures that allow information exchange of people with communication problems at work. The question of coding elements of the Russian dactyl alphabet for recognition of the text represented by gestures is studied. It is recommended to apply the same coding system to the Azerbaijani Dactyl Alphabet. The article indicates that the process of automatic recognition of gestures is carried out through various mathematical methods, algorithms and computer systems. The examples on various methods and systems that ensure consistent recognition of gestures shown by the movement of the hands, and their compilation on text form is shown, and their main problems are analyzed. The advantages and disadvantages of technologies in the field of gesture recognition are mentioned. It is recommended to create a national electronic database that recognizes national dactyl alphabet and gestures in the Republic of Azerbaijan (pp.102-110).

Keywords: gesture language, alternative communication, semiotics, dynamic and static gestures, gesture recognition methods, dactyl alphabet.
DOI : 10.25045/jpit.v11.i2.10
References
  • Плешакова М.А. Невербальная коммуникация в электронной среде: к вопросу о ее использовании на сайтах библиотек // Библиосфера, 2010, №1, с.28–33.
  • Козлов И.И. Взор ума. Визуальное мышление глазами философа, М.: Горизонт, 2001, с.121.
  • Прозорова Е.В. Российский жестовый язык как предмет лингвистического исследования // Вопросы языкознания, 2007, №1, c.44–61.
  • Катаев М.Ю., Широков Л.В. Методика определения жестов руки, наблюдаемых с помощью видеокамеры, Текст научной статьи по специальности “Компьютерные и информационные науки” // Доклады ТУСУРа, 2013, №1(27), c.45–50.
  • Гриф М.Г., Тимофеева М.К. Проблема автоматизации сурдоперевода с позиции прикладной лингвистики // Сибирский филологический журнал, 2012, с.211–219.
  • Мясоедова М.А., Мясоедова З.П. Жестовые нотации и их сравнительный анализ 
    // Современные информационные технологии и ИТ-образование, 2018, №1, c.183–192.
  • Мартынова C.A. Автоматическое распознавание ЖЯ, 2016, c.16.       https://ling.hse.ru/data/2016/12/08/1113187109/SLR.pdf
  • http://portal.azertag.az/az/node/11583
  • Murakami K., Taguchi H. Gesture Recognition using Recurrent Neural Networks / ACM Proceedings of the SIGCHI conference on Human factors in computing systems: Reaching through technology (CHI '91), 1999, april 27–may 02, pp.237–242.
  • Elmezain M., Al-Hamadi A., Appenrodt J., Michaelis B. A Hidden Markov Model-based continuous gesture recognition system for hand motion trajectory / Pattern Recognition, ICPR 2008. 19th International Conference on, 2008, pp.1–4.
  • Bobick A., Davis J. An appearance-based representation of action / International Conference on Pattern Recognition, 1996, pp.307–312.
  • Wang R.Y., Popovi´c J. Real-time hand-tracking with a color glove // ACM Trans. Graph., 2009, vol.28, №3, pp.1–8.
  • Marin , Dominio F., Zanuttigh P. Hand gesture recognition with leap motion and kinect devices / IEEE International Conference on Image Processing, 2014, 27–30 oct., pp.21–26.
  • OpenNI: The standard framework for 3D sensing. http://www.openni.org/openni-sdk
  • Кривонос Ю.Г., Крак Ю.В., Бармак А.В., Шкильнюк Д.В. Конструирование и идентификация элементов жестовой коммуникации // Кибернетика и системный анализ, 2013, том 49, №2, c.3–14.
  • Розалиев В.Л., Агафонов Г.В., Кириченко М.И. Автоматизированное выделение кистей рук человека для распознавания жестовой речи / V междунар. науч.-техн. конф. Открытые семантические технологии проектирования интеллектуальных систем, 2015, 19–21 фев., c.565–570.
  • Лотман Ю.М. Семиосфера, Искусство-СПБ, 2010, с.152.
  • Кривонос Ю.Г., Крак Ю.В, Бармак А.В., Багрий Р.А. Новые средства альтернативной коммуникации для людей с ограниченными возможностями // Кибернетика и системный анализ, 2016, том 52, №5, c.3–13.
  • Mahmudova R.Ş., Qurbanova K.Ş. Eşitmə və nitq əngəlli insanların cəmiyyətə adapatasiyası problemləri / Azərbaycanda sosial müdafiə sisteminin inkişafı: dünən, bu gün və sabah, beynəlxalq elmi-praktik konfransı, 26 dekabr, 2018, s.78–81.
  • “2018-2024-cü illərdə Azərbaycan Respublikasında sağlamlıq imkanları məhdud şəxslər üçün inklüziv təhsilin inkişafı üzrə Dövlət Proqramı”, https://azertag.az/xeber/2018_2024_cu_illerde_Azerbaycan_Respublikasinda_saglamliq_imkanlari_mehdud_sexsler_uchun_inkluziv_tehsilin_inkisafi_uzre_DOVLAT_PROQRAMI-1121083