Perpustakaan Digital ITB

Pengenalan micro-expression merupakan tantangan dalam bidang computer vision akibat durasi ekspresi yang singkat, intensitas rendah, serta keterbatasan data pelatihan. Penelitian ini mengajukan sebuah kerangka kerja spasial-temporal berbasis transfer learning yang efektif untuk mengatasi masalah tersebut. Pendekatan yang diusulkan mengadaptasi dua model state-of-the-art (SOTA) dari domain macro-expression, yaitu DDAMFN++ dan POSTER++, untuk mengekstraksi fitur spasial. Selanjutnya, fitur spasial tersebut diintegrasikan dengan Temporal Convolutional Network (TCN) untuk menangkap dinamika temporal yang sangat penting dalam pengenalan micro-expression. Evaluasi kinerja model dilakukan dengan skema validasi Leave-One-Subject-Out (LOSO) serta cross-dataset validation pada tiga dataset benchmark, yaitu CASME 11, SAMM, dan SMIC. Hasil eksperimen menunjukkan bahwa pendekatan hibrida POSTER++ TCN berhasil mencapai performa terbaik dengan nilai Unweighted F 1-score (UFl) sebesar 90% dan Unweighted Average Recall (UAR) sebesar 90% pada dataset CASME 11 (3 kelas), secara signifikan mengungguli metode-metode baseline. Penelitian ini membuktikan bahwa kombinasi transfer learning dari model ekstraksi fitur spasial yang kuat dengan analisis temporal yang tepat dapat meningkatkan performa pengenalan micro-expression secara efektif.