Perpustakaan Digital ITB

Ekspresi emosi wajah adalah salah satu cara manusia untuk berinteraksi dengan manusia lainya. Emosi sangat penting dalam interaksi antar manusia. Kemampuan mampu mengenali emosi akan membantu robot dalam berinteraksi dengan manusia secara lebih baik. Salah satu cara mesin dapat mengenali ekspresi manusia adalah dengan menggunakan pembelajaran mesin. Proses pengenalan emosi dilakukan dengan pengambilan gambar dari sebuah webcam, kemudian gambar dideteksi bagian wajahnya dan diklasifikasikan ke dalam beberapa kelas emosi. Penelitian sebelumnya mengenai pendeteksian wajah menghasilkan algoritma Histogram of Oriented Gradient (HOG) dengan Support Vector Machine (SVM) dan Convolutional Neural Network (CNN). Penelitian sebelumnya mengenai penganalan ekspresi emosi wajah menggunakan CNN dan facial landmark dengan SVM. Sejauh ini penelitian mengenai metode pengenalan ekspresi emosi wajah masih dilakukan pada gambar dalam lingkungan terkontrol. Dengan menggunakan data gambar pada lingkungan bebas, diharapkan makin menyerupai kondisi nyata dimana pengenalan ekspresi emosi wajah akan digunakan. Oleh karena itu data latih dan data uji yang digunakan adalah Affectnet. Affectnet merupakan dataset terbesar yang berisi gambar ekspresi wajah dalam lingkungan bebas. Metode yang diajukan pada penelitian ini adalah Fine tune pada pre-trained model VGG-19 dengan model dataset imagenet sebagai bobot awal. Akurasi dari metode ini mencapai 63,31%. Metode ini memberikan peningkatan yang cukup pesat di mana akurasi metode sebelumnya hanya 44,05%. Penelitian ini juga mencoba melakukan threading agar sistem dapat berjalan secara waktu nyata.