İşitme ve Konuşma Engelli Bireyler için İşaret Tanıma Sistemi Geliştirme
(Development of Sign Recognition System for Hearing and Speech Impaired Individuals )

Yazar : Bora Oktekin   - Nadire Cavus  
Türü : Araştırma Makalesi
Baskı Yılı : 2019
Sayı : 97-1
Sayfa : 593-609
1507    884


Özet
İşaret dili, el hareketlerinin, parmakların, kolların veya vücut hareketinin oryantasyonu ile konuşanın fikirlerini iletmek için yüz ifadeleriyle eş zamanlı olarak yaptıkları hareketlerdir. İşaret dilleri, son yıllarda tüm araştırmacıların gözdesi konumundadır. Yapılan hareketler sensörler yardımı ile tanınabilmektedir. Ancak, hareket verilerinin bilgisayar sistemlerine aktarılması büyük önem taşımaktadır. Alan yazın incelemesi sonucunda bu yönde yapılan çalışmaların yeterli olmadığı belirlenmiştir. Ayrıca, yapılmış çalışmaların daha çok Amerikan İşaret Dili, İngiliz İşaret Dili ve Arap İşaret Dili yönünde olduğu ve Türk İşaret Dili yönünde yapılan çalışmaların yeterli olmadığı tespit edilmiştir. Bu çalışmada, işitme ve konuşma engelli bireylerin diğer bireyler ile iletişimlerini kolaylaştırabilecek akıllı bir sistem geliştirilmiştir. Bu bağlamda yapılan çalışmanın alan yazındaki bu eksikliğin giderilmesine fayda sağlayacağı düşünülmektedir. Çalışma kapsamında geliştirilen akıllı sistemde, Türk İşaret Dili’nde ses bilimi olarak adlandırılan ve işaretlerin de temelini oluşturan 33 tane temel işaret baz alınmıştır. Bu işaretlerin sistem tarafından tanınabilmesi için Microsoft Kinect v2 sensörü kullanılmıştır. Sistemin altyapısında C# programlama dili ile sınıflandırma algoritmalarından Saklı Markov Modeli ve veritabanı olarak da MongoDB kullanılmıştır. Yapılan vaka çalışması sonucunda; 33 temel işaretin %82’inin geliştirilen sistem tarafından doğru bir şekilde tanımlandığı gözlemlenmiştir. Elde edilen doğruluk oranı göz önünde tutularak geliştirilen işaret tanıma sisteminin hem işitme ve konuşma engelli bireylere, hem de diğer bireylere yardımcı olacağı ve aralarındaki iletişim kurma problemini çözeceği düşünülmektedir

Anahtar Kelimeler
işaret tanıma; Türk İşaret Dili; hareket tanıma; gerçek zamanlı çeviri

Abstract
Sign language is the movements of the hand, the movements of the fingers, the arms or the movement of the body simultaneously with the face expressions to convey the ideas of the speaker. In recent years, the sign language is in the eyes of all researchers. It is possible to recognize the movements made with the help of sensors. However, it is of great importance to transfer the motion data to computer systems. As a result of the field study, it was determined that the studies conducted in this field were not sufficient at all. It was also found that the studies conducted were mainly in the field of the American Sign Language, the English Sign Language and the Arab Sign Language, and sufficient studies were not done in Turkish Sign Language. In this study, an intelligent system has been developed to facilitate the communication of hearing and speech impaired individuals with other individuals. The work done in this field is thought to help to remove the lack of information in this field. In the intelligent system developed in this Thesis, 33 basic signs in the Turkish Sign Language, which are called as sound informatics are taken as a basis in the study. The developed system uses the Microsoft Kinect v2 sensor to identify the signals. C# programming language and MongoDB are used in the developed system. As a result of the case study, 85% of the 33 basic signs were correctly recognized by the developed system. It is considered that the developed Sign Language recognition system should help both the hearing and speech impaired individuals, and also other individuals, and hopefully solve the problems of communication between these individuals.

Keywords
sign recognition; Turkish Sign Language; movement recognition; real-time translation