Perpustakaan Digital ITB

Pembelajaran daring menjadi salah satu solusi untuk mendukung pemerataan pendidikan dan meningkatkan fleksibilitas proses belajar mengajar. Namun, efektivitas pembelajaran daring sangat dipengaruhi oleh tingkat keterlibatan peserta didik selama proses pembelajaran berlangsung. Untuk membantu proses pemantauan keterlibatan tersebut, sistem pembelajaran daring dapat dilengkapi dengan sistem engagement recognition yang mampu menganalisis kondisi pengguna secara otomatis. Akan tetapi, implementasi sistem engagement recognition masih menghadapi berbagai tantangan, seperti kondisi pencahayaan rendah, variasi pose wajah, kualitas citra yang rendah, serta oklusi pada area wajah pengguna. Kondisi tersebut menyebabkan proses deteksi wajah dan ekstraksi fitur menjadi kurang optimal sehingga dapat memengaruhi performa sistem dalam mengenali keterlibatan pengguna. Berdasarkan permasalahan tersebut, penelitian tugas akhir ini bertujuan untuk merancang dan mengimplementasikan sebuah sistem pemrosesan citra yang dapat mendukung proses engagement recognition pada pembelajaran daring. Sistem yang dikembangkan meliputi peningkatan kualitas citra pada kondisi pencahayaan rendah, deteksi wajah, facial landmarking, ekstraksi fitur wajah, serta pembentukan representasi fitur untuk mendukung proses klasifikasi keterlibatan (engagement recognition)pengguna. Selain itu, penelitian ini juga memanfaatkan informasi probabilitas emosi dan arah pandangan pengguna sebagai fitur tambahan dalam proses analisis keterlibatan. Hasil evaluasi menunjukkan bahwa sistem pemrosesan citra yang dikembangkan mampu menghasilkan representasi fitur wajah yang lebih kaya dibandingkan pemrosesan dasar. Penerapan proses penyeimbangan dataset juga meningkatkan kemampuan model dalam mengenali kelas minoritas yang ditunjukkan oleh peningkatan nilai F1- score pada kelas nol dari 0,00 menjadi 0,67 dan pada kelas satu dari 0,11 menjadi 0,53. Meskipun peningkatan tersebut diikuti oleh penurunan performa pada beberapa kelas mayoritas, hasil evaluasi menunjukkan bahwa proses balancing membantu mengurangi bias model terhadap distribusi data yang tidak seimbang. Secara keseluruhan, penelitian ini menunjukkan bahwa integrasi enhancement citra, ekstraksi fitur lokal wajah, serta analisis perilaku visual pengguna dapat digunakan untuk mendukung proses engagement recognition pada sistem pembelajaran daring.