Perpustakaan Digital ITB

Bahasa Isyarat Indonesia (BISINDO) merupakan sarana komunikasi utama bagi individu dengan keterbatasan pendengaran dan bicara, namun aksesibilitasnya terbatas karena sedikitnya pengguna yang fasih dan kurangnya pengetahuan masyarakat umum. Perkembangan teknologi computer vision dan deep learning menawarkan solusi untuk mengatasi hambatan komunikasi ini melalui sistem pengenalan gerakan tangan secara otomatis. Tugas akhir ini mengembangkan aplikasi mobile berbasis YOLOV11 untuk mengenali 26 alfabet BISINDO secara real-time melalui kamera ponsel. Aplikasi dilengkapi fitur autentikasi dan media edukasi untuk meningkatkan pemahaman BISINDO, memungkinkan interaksi yang lebih inklusif antara pengguna bahasa isyarat dan masyarakat luas. Evaluasi pada dataset 2.912 citra BISINDO menunjukkan bahwa varian YOLOV11M terkuantisasi mencapai mAP0.5:0.95 sebesar 82,3% dengan presisi 99,2%, melampaui performa YOLOV9E yang hanya mencapai 69,38% mAP pada studi sebelumnya. Metode kuantisasi model dalam format INT8 dan FP16 serta optimasi resolusi masukan 352×352 piksel mampu memangkas ukuran model hingga 50% tanpa penurunan performa yang signifikan. Pengujian real-time menghasilkan throughput 10 FPS pada ponsel Vivo V50 Lite menggunakan varian YOLOV11N dengan kuantisasi INT8, menunjukkan efisiensi yang cocok untuk implementasi mobile dengan sumber daya terbatas. Pengujian menghasilkan latensi minimal sebesar 10 FPS (frame per second) pada ponsel Vivo V50 Lite menggunakan varian YOLOV11N dengan kuantisasi INT8 dan resolusi masukan 320x320 piksel.