Perpustakaan Digital ITB

Bahasa isyarat, sejenis komunikasi berdasarkan gerakan tangan, banyak digunakan oleh penyandang tunarungu. Dua jenis bahasa isyarat yang digunakan di Indonesia adalah SIBI (Sistem Isyarat Bahasa Indonesia) dan BISINDO (Bahasa Isyarat Indonesia). BISINDO lebih umum digunakan dalam kehidupan sehari-hari karena dikembangkan oleh para penyandang tunarungu sehingga lebih mudah dipahami. Masalah komunikasi sering terjadi antara tunarungu dan non-tunarungu. Oleh karena itu, diperlukan media yang dapat membantu mereka berkomunikasi secara lebih efektif. Salah satu teknologi yang dapat digunakan adalah SLR (Sign Language Recognition). SLR berbasis visi adalah salah satu pendekatan yang digunakan dalam SLR. Fakta bahwa SLR berbasis visi tidak memerlukan gadget khusus untuk dipasang di tangan namun hanya bergantung pada pengguna yang membuat gerakan di depan kamera dengan tangan kosong memberikan sejumlah keuntungan untuk SLR berbasis visi. Penelitian ini mengembangkan model pembelajaran mesin yang dapat mengenali gestur statis dan dinamis dari BISINDO, meliputi alfabet (A-Z), angka (1-10), dan tujuh kata yang sering digunakan, menggunakan teknik SLR berbasis visi. Model dibuat menggunakan arsitektur pembelajaran mesin LSTM (Long Short-Term Memory). Model LSTM dilatih dan diuji menggunakan dataset gestur BISINDO. Akurasi validasi model statis adalah 99,69%, dan akurasi validasi model dinamis adalah 99,17%. Untuk pengujian menggunakan dataset pengujian, penelitian ini menghasilkan akurasi 99,63% pada model gestur statis dan 98,33% pada model gestur dinamis. Penelitian ini juga menggabungkan kedua model dalam satu sistem sederhana untuk melakukan pengujian realtime. Pengujian realtime dilakukan 45 kali oleh 15 pengguna BISINDO, menghasilkan akurasi model gestur statis 69,42%, akurasi model gestur dinamis 56,67%, dan akurasi keseluruhan model 66,45%. Pengukuran pengalaman pengguna juga dilakukan menggunakan User Experience Questionnaire Plus (UEQ+) dengan hasil Daya Tarik (DT) sebesar 2.02, Efisiensi (EF) sebesar 1.32, Tingkat Keandalan (TK) sebesar 1.53, Kebaruan (KB) sebesar 1.73, Kegunaan (KG) sebesar 2.37, Penggunaan secara Intuitif (PI) sebesar 1.95, dan Kualitas Respon (KR) sebesar 1.67 yang dapat diinterpretasikan sebagai Baik untuk setiap skala yang diukur. Namun, skala Kualitas Respon (KR), Kegunaan (KG), dan Tingkat Keandalan (TK) yang masing-masing berada pada peringkat 1, 3, dan 4 ii pada peringkat kepentingan skala memiliki nilai yang lebih rendah jika dibandingkan dengan skala yang lain.