Pengenalan Bahasa Isyarat dengan Metode Segmentasi Warna Kulit dan Center of Gravity

Abstract

Abstrak

Bahasa isyarat (sign language) merupakan bahasa yang menggunakan gerakan tangan dan gerak bibir untuk menjelaskan sebuah arti. Untuk itu perlu adanya dibuat suatu sistem yang dapat menghubungkan penderita cacat tunarungu dengan manusia normal. Penelitian aplikasi pengenalan bahasa isyarat secara real-time banyak mengalami kendala, faktor-faktor yang mempengaruhi antara lain, besarnya tingkat kemiripan data citra latih, proses pelacakan (tracking) terutama pada segmentasi objek dengan latar belakang (background) sehingga hasil capture tidak terinterprestasikan maksimal.

Penelitian ini menggunakan metode pelacakan (tracking) yakni segmentasi warna kulit dan center of gravity (COG) berhasil melacak (tracking) gerakan tangan dari setiap frame, serta metode deteksi tepi dan PCA sebagai ekstraksi ciri, dan pengenalannya menggunakan pendekatan jaringan syaraf tiruan  back propagation.

Hasil dari pengujian sistem ini dapat mengenali 26 huruf isyarat, tingkat akurasi pengenalan isyarat tangan 83,43%. Pada berbagai kondisi pencahayan dan jarak objek ke kamera, system ini mengalami perubahan tingkat pengenalan sehingga diperlukan jarak ideal dan tingkat penerangan yang baik. Aplikasi ini perlu adanya pengembangan lebih lanjut terutama pada proses pelacakan dan identifikasi.

Kata kunci—Pelacakan, Ekstraksi ciri, Pengenalan isyarat tangan

Abstract

Sign language is a language that uses hand gestures and lip movements to explain the meaning. For that there needs to be created a system that can connect the disabled with normal human hearing impairment. The study of sign language recognition applications in real-time experience any problems, the factors that affect, among others, high level of similarity of training image data, the process of tracking, especially on the segmentation of objects with the background so the results do not capture the maximum interpretation.

This research uses the tracking method the skin color segmentation and center of gravity (COG) managed to track the hand movements of each frame, as well as edge detection method and the PCA as feature extraction, and familiarity with using artificial neural network approach to back propagation.

The results of testing this system can recognize 26 letters of recognition cues with recognition accuracy 83.43%. In a variety of lighting conditions and object distance to the camera, the system is experiencing changes in the level of recognition so that the required distance of an ideal and a good level of lighting. This application is the need for further development especially in the process of tracking and identification.

Keywords— Tracking, Feature extraction, Hand gesture recognition