Perpustakaan Digital ITB

Penelitian ini bertujuan untuk mendeteksi mikro ekspresi dan denyut jantung secara real-time dari video wajah manusia, serta mengeksplorasi hubungan antara keduanya. Pendeteksian mikro ekspresi dan denyut jantung secara bersamaan sangat penting karena keduanya memberikan wawasan mengenai kondisi emosional dan fisiologis seseorang. Mikro ekspresi, yang merupakan ekspresi wajah sangat cepat dan halus, sering kali mengungkapkan emosi yang tidak disadari atau sengaja disembunyikan, sehingga penting dalam deteksi kebohongan serta penilaian kondisi kesehatan mental. Denyut jantung, di sisi lain, mencerminkan respons fisiologis terhadap emosi, seperti stres atau ketenangan, dan dapat dipantau melalui variasi warna pada kulit wajah yang disebabkan oleh aliran darah. Dengan menganalisis keduanya secara bersamaan, dapat memperoleh gambaran yang lebih lengkap dan akurat tentang keadaan emosional dan fisiologis seseorang, yang berguna dalam berbagai konteks seperti keamanan, psikologi, dan kondisi klinis. Metodologi yang digunakan meliputi penggunaan dataset CASME III dan pengembangan dua model utama yaitu Model Klasifikasi Mikro Ekspresi menggunakan arsitektur Transformer dengan teknik Multi-Head Attention dan Micro Attention, serta Model Deteksi Denyut Jantung menggunakan teknik Eulerian Video Magnification (EVM) dan Fast Fourier Transform (FFT). Dataset CASME III digunakan sebagai sumber data utama untuk pelatihan dan pengujian model deteksi mikro ekspresi. Dataset ini berisi gambar mikro ekspresi yang telah diberi label, yang berjumlah enam kelas yaitu anger, happy, sad, fear, disgust, surprise. Model klasifikasi mikro ekspresi dikembangkan menggunakan arsitektur Transformer yang dilengkapi dengan teknik Multi-Head Attention dan Micro Attention. Teknik Multi-Head Attention memungkinkan model untuk menangkap berbagai aspek fitur wajah secara paralel, sementara Micro Attention berfokus pada pengenalan detail kecil yang penting dalam mikroekspresi. Model deteksi denyut jantung menggunakan teknik Eulerian Video Magnification (EVM) untuk memperbesar perubahan halus pada wajah yang terkait dengan denyut jantung. EVM memungkinkan deteksi gerakan yang sangat kecil yang mungkin tidak terlihat oleh mata manusia, seperti perubahan wama kulit akibat aliran darah. Setelah perubahan ini diperbesar, teknik Fast Fourier Transform (FFT) diterapkan untuk menganalisis sinyal denyut jantung dan menghitung frekuensinya. FFT memecah sinyal yang telah diperbesar menjadi komponen frekuensi yang dapat dianalisis untuk mendeteksi ritme jantung. Teknik Eulerian Video Magnification (EVM) memainkan peran ganda dalam metodologi ini. Pertama, EVM digunakan sebagai metode ekstraksi fitur untuk model Transformer yang dikembangkan untuk klasifikasi mikroekspresi. Dengan memperbesar gerakan dan perubahan halus pada wajah yang terkait dengan emosi, EVM membantu model Transformer untuk menangkap fitur-fitur penting yang mungkin tidak terlihat dalam kondisi normal. Ini memastikan bahwa model dapat mendeteksi mikroekspresi dengan akurasi yang lebih baik. Hasil penelitian menunjukkan bahwa metode EVM efektif untuk deteksi denyut jantung dengan Mean Absolute Error (MAE) terendah sebesar 4.078 BPM. Model Multi-Head Attention menunjukkan akurasi terbaik sebesar 99.05% dan nilai loss terbaik sebesar 0.07, sedangkan model Micro Attention mencapai akurasi 98.29% dengan nilai loss 0.14. Penelitian ini menemukan korelasi signifikan antara mikroekspresi dan denyut jantung. Emosi marah cenderung meningkatkan denyut jantung, sedangkan emosi sedih menurunkannya. Emosi bahagia menunjukkan respons fisiologis yang lebih bervariasi. Hasil ini menekankan pentingnya analisis simultan mikroekspresi dan denyut jantung untuk pemahaman yang lebih lengkap tentang kondisi emosional dan fisiologis seseorang. Variasi dalam MAE menunjukkan perlunya model yang lebih canggih untuk menangkap kompleksitas respons fisiologis terhadap emosi. Penemuan ini menunjukkan bahwa mikroekspresi tidak hanya mengungkapkan keadaan emosional tetapi juga dapat mempengaruhi kondisi fisiologis seperti denyut jantung.