Modelling of Flex Sensor Resistance Value for Fingerspelling Recognition Prototype Using Sensor-Based Signal

Abstract

Individuals with hearing and speech impairments often rely on sign language to communicate with each other. While the hearing and speech impairment community can understand sign language to communicate with each other, individuals with normal hearing generally do not understand sign language. However, communication between the hearing and speech-impaired individual and a normally hearing individual can be made possible by fingerspelling with the help of a fingerspelling recognition system. Current research in fingerspelling recognition systems aims to improve the system's accuracy, rather than focusing on the ability of the system to convert the fingerspelling for real-time communication. The developed system can be computationally complex when the research aims to improve accuracy, resulting in unsuitability for real-time communication due to the extensive processing needed and oversized non-wearable hardware. Hence, this paper presents one of the options in developing a fingerspelling recognition system prototype that aims for ease in real-time communication using sensor-based signals. The prototype comprises a hand glove equipped with five flex sensors, designed to recognize and convert the hand gestures into the fingerspelled letters. Each flex sensor is fitted along the length of each finger to capture the gestured fingerspelling, measuring the changes in the flex sensor’s resistance as it bends. The flex sensor resistance value was then modelled for fingerspelling recognition through demonstration on five users in the preliminary characterization, and later by ten users to obtain the system accuracy. An Arduino MEGA 2560 platform processed the sensor's data, which then transmits the recognized fingerspelled letters to an OLED display. The average recognition accuracy recorded for the prototype is 76.15% which is 15.38% higher than the preliminary characterization, indicating the possibility of using sensor-based signals in a fingerspelling recognition system for real-time communication. This system allows individuals with hearing and speech impairment to make various hand gestures while wearing the hand glove, which will be recognized as the corresponding fingerspelled letters for easy communication with individuals with normal hearing.

ABSTRAK: Individu dengan kekurangan pada pendengaran dan pertuturan biasanya bergantung kepada bahasa insyarat bagi berkomunikasi antara satu sama lain. Walaupun komuniti dengan kekurangan pada pendengaran dan pertuturan boleh memahami bahasa isyarat bagi berkomunikasi antara satu sama lain, individu dengan pendengaran normal secara amnya tidak memahami bahasa isyarat. Walau bagaimanapun, komunikasi antara individu kekurangan pada pendengaran dan pertuturan, dengan individu normal boleh diwujudkan melalui ejaan jari dengan bantuan sistem pengecaman ejaan jari. Kajian terkini dalam sistem pengecaman ejaan jari bertujuan bagi meningkatkan ketepatan sistem, bukan memfokuskan kepada kebolehan sistem dalam menterjemah ejaan secara masa nyata. Apabila tujuan kajian tersebut adalah bagi meningkatkan ketepatan, sistem yang terbina boleh menjadi sangat kompleks dalam pengiraannya, mengakibatkan sebuah sistem yang tidak sesuai bagi tujuan komunikasi masa nyata kerana memerlukan proses berlebihan dan perkakasan bersaiz besar yang tidak boleh dipakai. Oleh itu, kajian ini memberi pilihan dalam membangunkan sebuah prototaip sistem pengecaman ejaan jari, bertujuan memudahkan komunikasi masa nyata menggunakan isyarat berasaskan penderia. Prototaip ini terdiri daripada sebuah sarung tangan yang dilengkapi dengan lima penderia lentur, direka bagi mengenalpasti huruf yang dieja jari pada gaya tangan. Setiap penderia lentur dimuatkan sepanjang setiap jari bagi mengesan ejaan jari yang digayakan. Ukuran dibuat melalui perubahan rintangan penderia lentur apabila ianya dibengkokkan. Nilai rintangan penderia lentur ini kemudiannya dimodelkan bagi pengecaman ejaan jari melalui demonstrasi ke atas lima pengguna dalam perincian awal, dan seterusnya oleh sepuluh pengguna bagi mendapatkan ketepatan sistem. Data penderia tersebut diproses menggunakan platform Arduino MEGA 2560, dan huruf ejaan jari yang telah dikenal pasti dipaparkan ke paparan OLED. Purata ketepatan pengecaman yang direkodkan bagi prototaip ini adalah 76.15% di mana 15.38% lebih tinggi dari perincian awal, menunjukkan potensi penggunaan isyarat berasaskan penderia dalam sistem pengecaman ejaan jari bagi komunikasi masa nyata. Sistem ini membolehkan individu kekurangan pada pendengaran dan pertuturan membuat pelbagai gaya tangan sewaktu memakai sarung tangan ini, kemudian huruf ejaan jari yang sepadan akan dikenalpasti bagi memudahkan komunikasi bersama individu normal.