Perpustakaan Digital ITB

Engagement recognition berbasis visual menjadi bidang penting dalam pengembangan sistem pembelajaran adaptif maupun pengamatan perilaku pengguna. Namun, sebagian besar dataset yang tersedia bersifat tertutup atau tidak merepresentasikan variasi budaya, sehingga memunculkan bias pada model yang dikembangkan. Penelitian ini bertujuan untuk menangani bias budaya pada sistem engagement recognition dengan menggunakan dua dataset terbuka yang memiliki konteks budaya berbeda, yaitu DaiSEE dan DIPSEER. Dua arsitektur model dasar yang digunakan adalah MLP-Mixer dan Convolutional Bi-LSTM. Hasil evaluasi silang menunjukkan bahwa model yang dilatih pada DIPSEER hanya mampu mencapai akurasi rata-rata 35.5% ketika diuji pada DaiSEE. Sebaliknya, model yang dilatih pada DaiSEE mencapai akurasi rata-rata 33.5% ketika diuji pada DIPSEER. Untuk mengatasi bias budaya, diterapkan pendekatan ensemble learning. Metode stacked ensemble menghasilkan akurasi tertinggi sebesar 75,40% pada pengujian dengan data test DIPSEER dan 58.79% pada pengujian dengan data test DaiSEE. Penelitian ini menyimpulkan bahwa metode ensemble dapat menjadi strategi yang lebih baik untuk sistem engagement recognition yang lebih inklusif terhadap variasi budaya. Penelitian ini juga merekomendasikan pemilihan frame yang lebih selektif, penyeimbangan dataset sejak tahap awal, serta eksplorasi hyperparameter untuk peningkatan kinerja model di masa mendatang.