Perpustakaan Digital ITB

Pengenalan gerakan tangan (Hand Gesture Recognition atau HGR) berbasis sinyal surface electromyography (sEMG) berpotensi besar sebagai antarmuka manusia dan komputer, tetapi kinerjanya menurun pada kondisi non-ideal seperti pergeseran elektroda, perbedaan antar-subjek, perbedaan antar-hari, dan kelelahan otot. Sebagian besar metode terdahulu dievaluasi pada kondisi ideal atau memerlukan model terpisah untuk tiap kondisi, dan sebagian gestur sulit dibedakan hanya dari sinyal sEMG. Tugas akhir ini mengembangkan pipeline HGR berbasis deep learning dengan kerangka pooled-model, yaitu satu model terpadu dilatih pada data gabungan lalu diadaptasi melalui kalibrasi ringan berbasis regresi logistik pada deep features dan fitur rasio. Model usulan berupa ensemble MSConvGRU dan MSConvFormer dengan front-end multi-scale separable convolution dan channel attention, yang diperluas menjadi versi fusi EMG dan IMU. Pipeline divalidasi pada dataset publik SeNic dan dataset rekaman mandiri MindRove melalui delapan skenario non-ideal. Pada SeNic, ensemble usulan mencapai rerata akurasi terkalibrasi 88,80% lintas skenario, mengungguli seluruh baseline yang berkisar dari Support Vector Machine sebesar 71,94% hingga MESTNet sebesar 82,85%. Pada MindRove, fusi EMG dan IMU meningkatkan akurasi sebesar 5,63% hingga 7,26% dibandingkan model EMG saja, dengan perbaikan terbesar pada pemisahan gestur rotasi pronasi dan supinasi, sehingga model fusi terbaik mencapai 69,24%. Sebagai pembanding modalitas, model versi IMU saja hanya mencapai rerata akurasi terkalibrasi sekitar 43% hingga 50%, jauh di bawah versi EMG saja maupun fusi, sehingga IMU terbukti bersifat komplementer dan bukan pengganti sEMG. Kalibrasi ringan memulihkan akurasi dibandingkan mode zero-shot, dan ensemble usulan tetap layak untuk penerapan real-time dengan latensi inferensi sekitar 103 milidetik per trial pada akselerasi MPS. Hasil ini menunjukkan bahwa kombinasi kerangka pooled-model, kalibrasi ringan, dan fusi multimodal menghasilkan pengenalan gerakan tangan yang lebih robust pada kondisi penggunaan dunia nyata.