Perpustakaan Digital ITB

Sistem engagement recognition berperan penting dalam mendukung efektivitas pembelajaran daring, namun masih terkendala bias terhadap karakteristik individu serta keterbatasan jumlah dan kualitas data pada dataset publik seperti DAiSEE. Penelitian ini mengusulkan pendekatan personalisasi adaptif untuk mengenali engagement dengan data pelatihan terbatas. Pendekatan utama meliputi subjectspecific fine-tuning dan augmentasi data berbasis Generative Adversarial Network (GAN). Fine-tuning dilakukan menggunakan data spesifik masing-masing subjek, sedangkan augmentasi dilakukan melalui manipulasi laten dengan StyleGAN. GFPGAN digunakan untuk restorasi wajah guna mengatasi oklusi kacamata yang mengganggu deteksi wajah. Penelitian ini juga menggunakan label berbasis selfreport, memungkinkan model mempelajari engagement dari persepsi internal setiap subjek. Hasil evaluasi menunjukkan bahwa pendekatan fine-tuning meningkatkan kinerja model secara konsisten, dengan rata-rata peningkatan akurasi sebesar 13,4- 19,3% dibandingkan baseline. Pendekatan ini juga mengatasi penurunan kinerja sebesar 14,39% yang dialami model baseline dalam pengujian cross-dataset, menegaskan efektivitas personalisasi dalam menghadapi perbedaan domain. Augmentasi berbasis GAN meningkatkan kinerja sebesar 5,9%, mencapai hasil sebanding atau lebih baik dibanding augmentasi geometris, meskipun menggunakan jumlah data sintetis yang lebih sedikit. Temuan ini menunjukkan bahwa personalisasi dan augmentasi dapat meningkatkan keandalan sistem engagement recognition, terutama dalam kondisi data dunia nyata yang terbatas.