Perpustakaan Digital ITB

ABSTRAK PENGENALAN WAJAH BERMASKER MENGGUNAKAN DEEP LEARNING Oleh Fauzan Firdaus NIM: 23520011 (Program Studi Magister Informatika) Akhir tahun 2019 merupakan waktu terjadinya suatu peristiwa yang tidak dapat dilupakan oleh seluruh umat manusia. Waktu tersebut merupakan awal munculnya kasus pertama COVID-19 (Corona Virus Disease) yang terjadi di negara Cina. Berawal dari sana, virus ini merambat dengan cepat hingga ke berbagai wilayah di dunia. Hingga pada sekitar awal tahun 2020, muncullah kasus pertama di Indonesia. Keberadaan COVID-19 di dunia ini memiliki dampak yang sangat masif bagi kehidupan manusia. Aspek-aspek seperti ekonomi, sosial, akademik, hingga lifestyle atau gaya hidup manusia terdampak langsung oleh keberadaan pandemi ini. Salah satu perubahan gaya hidup yang paling terlihat dan terjadi secara cepat adalah penggunaan masker wajah. Meskipun masker wajah tidak bersifat melindungi 100% dari terjangkitnya COVID-19, setidaknya penggunaan masker wajah diyakini dapat menghambat penyebaran COVID-19 itu sendiri. Penggunaan masker wajah tersebut secara tidak langsung memengaruhi kinerja dari sebuah sistem pengenalan wajah yang sudah ada. Berdasarkan penelitian-penelitian yang sudah ada, pengenalan wajah sudah memiliki kinerja akurasi uji hingga mendekati 100%. Disisi lain, penelitian yang dilakukan oleh Mundial dkk. (2020) mengungkapkan bahwa penggunaan masker wajah mengakibatkan akurasi uji hingga dibawah 80% dengan teknik training yang sama. Meskipun akurasi uji lain mereka mencapai 97%, data latih yang mereka gunakan mengandung wajah bermasker. Oleh karena itu, dalam situasi baru ini, dibutuhkan mekanisme baru dalam pembangunan sistem pengenalan wajah bermasker agar memiliki kinerja yang lebih baik, dengan tantangan data latih yang tidak mengandung wajah bermasker. Dengan memakai sebuah masker wajah, artinya terdapat fitur atau informasi yang hilang dalam sebuah wajah. Sisa fitur wajah yang tersedia adalah hanya sekitar bagian dahi dan mata saja. Penelitian yang dilakukan oleh Elmahmudi dkk. (2018 dan 2019) mengungkapkan bahwa recognition rate dari setengah bagian atas wajah memiliki skor yang besar dibandingkan dengan beberapa bagian lain. Berdasarkan pernyataan tersebut, konsep penggunaan data (untuk data latih, validasi dan data uji) pada penelitian ini akan difokuskan pada bagian wajah yang tidak tertutupi oleh masker (setengah bagian atas wajah) saja. Konsep ini menerapkan konsep penglihatan manusia ketika mengenali seseorang yang dikenal menggunakan ii masker. Ketika kita akan mengenali orang yang kita kenal namun mereka dalam kondisi menggunakan masker, maka kita tidak akan mempertimbangkan masker mereka sebagai identitas dari orang tersebut. Kita akan mengenali mereka berdasarkan bagian lain seperti dahi, alis, mata, atau mungkin rambut mereka. Dataset wajah bermasker yang bersifat open-source saat ini masih terbatas. Oleh karena itu, dataset untuk penelitian tesis ini akan dibangun sendiri. Jumlah subjek atau individu yang sudah direkam terkumpul hingga 125 orang. Format datasetnya adalah video dengan durasi lima hingga tujuh detik yang diambil dari sisi kiri hingga sisi kanan orang yang bersangkutan, dengan dua video untuk setiap orangnya (satu untuk wajah bermasker, satu lainnya untuk wajah tidak bermasker). Setelah setiap video dikonversi ke dalam bentuk frame atau gambar, gambar selanjutnya akan dilakukan preprocessing berupa deteksi wajah dan proses lain dengan tujuan menyempurnakan input data untuk tahap ekstraksi fitur. YOLOv4 digunakan sebagai metode deteksi wajah pada penelitian tesis ini. Pendekatan atau metode ekstraksi fitur yang digunakan dalam penelitian tesis ini serupa dengan penelitian rujukan (Elmahmudi dkk. 2018 dan 2019), yaitu VGG-Face (pre-train model). Selain itu, sebagai perbandingan digunakan VGG-16 (non pre-train model yang merupakan arsitektur dasar VGG-Face) dan ANN (Artificial Neural Network) sebagai classifiernya. Untuk VGG-Face digunakan ANN dan CS (Cosine Similarity) untuk classifiernya. Berdasarkan hasil eksperimen, kinerja terbaik didapatkan oleh metode ekstraksi fitur VGG-Face dan classifier ANN dengan akurasi uji sebesar 99.57% Disisi lain, kinerja dari teknik training sebelumnya (Mundial dkk. 2020) menghasilkan akurasi uji sebesar 79.58% dengan dataset dan metode yang sama. Hal ini membuktikan teknik training yang diusulkan memiliki dampak yang sangat besar terhadap kinerja dari sistem pengenalan wajah bermasker yang telah dibangun. Kata kunci: Wajah Bermasker, Pengenalan Wajah, Deep Learning, Training Wajah Bermasker.