Perpustakaan Digital ITB

Transformasi digital dalam pendidikan telah melahirkan ekosistem pembelajaran berbasis teknologi yang semakin kompleks, terutama melalui konsep smart campus yang mengintegrasikan teknologi informasi untuk meningkatkan efisiensi dan fleksibilitas proses belajar. Pandemi COVID-19 mempercepat adopsi pembelajaran daring, yang hingga kini tetap digunakan dalam bentuk pembelajaran asinkron. Namun, model ini menimbulkan tantangan dalam pemantauan engagement peserta didik karena minimnya interaksi langsung dengan pengajar. Untuk menjawab permasalahan tersebut, penelitian ini mengusulkan sistem klasifikasi engagement berbasis Facial Emotion Recognition (FER) yang dikombinasikan dengan indikator visual lain, yaitu arah kepala dan kondisi mata, pada pembelajaran video asinkron. Fokus penelitian diarahkan pada peningkatan ketahanan FER terhadap kondisi wajah yang teroklusi sebagian, khususnya akibat tangan yang menutupi wajah atau orientasi non-frontal. Metode yang dikembangkan berupa pipeline pre-processing berbasis citra 2D. Proses ini meliputi deteksi dan penghapusan objek tangan, koreksi arah kepala, serta rekonstruksi wajah frontal melalui teknik duplikasi bagian wajah yang tidak teroklusi. Hasil rekonstruksi kemudian diproses oleh model FER seperti CNN, DeepFace, dan FaceLib. Eksperimen menunjukkan peningkatan akurasi signifikan pada kasus oklusi vertikal, dengan CNN naik 33,79% dan DeepFace 14,29% dibanding baseline. Pada wajah non-frontal, peningkatan tetap terjadi meski terbatas, sedangkan oklusi di area mulut tidak memberikan perbaikan berarti dan bahkan menurunkan performa beberapa model. Secara keseluruhan, metode pre-processing adaptif ini terbukti meningkatkan robustness FER terhadap oklusi parsial, terutama pada setengah area wajah secara vertikal. Kendati demikian, keterbatasan masih muncul pada performa hand-detector yang digunakan, sehingga penelitian lanjutan dengan model deteksi tangan yang lebih robust serta pendekatan multi-modal sangat disarankan untuk dilakukan improvisasi. Secara umum, penelitian ini berkontribusi pada pengembangan metode pre-processing untuk menangani oklusi wajah, sehingga sistem engagement classification menjadi lebih tangguh terhadap beragam kondisi wajah peserta didik dalam pembelajaran digital.