Perpustakaan Digital ITB

Pengenalan wajah merupakan topik penelitian sudah cukup lama, sejak awal tahun 1970an dan berkembang pesat pada era deep learning saat ini. Ada 2 tugas utama dalam pengenalan wajah yaitu verifikasi wajah dan identifikasi wajah. Tantangan pada problem pengenalan wajah masih pada 4 problem dasar yaitu pose, oklusi, ekspresi wajah dan pencahayaan. Dan 3 dari 4 problem dasar ini adalah bagian dari problem bagian wajah yang tertutup sehingga membentuk wajah parsial, yang menyulitkan untuk melakukan pengenalan wajah. Salah satu bentuk wajah parsial adalah wajah profil yaitu wajah yang memiliki sudut simpang 90o berlawanan arah jarum jam, sedangkan wajah standar tegak lurus menghadap ke depan kamera disebut dengan wajah frontal. Pengenalan wajah frontal adalah closed problem sehingga bisa dijadikan acuan sebagai identitas individu. Penelitian ini berfokus pada investigasi problem identifikasi wajah frontal seseorang dari wajah profilnya dengan basis data sebuah dataset yang sangat terbatas dari sisi jumlah foto wajah per-subyek dan pose yang dimiliki. Untuk keperluan riset ini dipersiapkan dataset bernama ITB Frontal Profile Limited Dataset (IFPLD) di mana untuk setiap individu hanya terdiri atas 1 wajah frontal dan 1 wajah profil. Dataset wajah seperti ini masih ada di beberapa institusi seperti kepolisian yang menyimpan data individu bersamaan dengan wajah frontal dan wajah profil individu tersebut. Problem identifikasi wajah pada dataset yang sangat terbatas ini di-investigasi melalui dua pendekatan yaitu menggunakan pendekatan supervised learning dan pendekatan meta-learning. Pada pendekatan supervised learning, fitur diekstraksi dengan metode klasik yaitu SIFT dan metode deep learning yaitu FaceNet. Vektor embedding FaceNet wajah frontal dan wajah profil digabungkan sebagai input sistem verifikasi wajah, yang proporsinya sangat imbalanced antara data wajah yang sama (minoritas) dan wajah berbeda (mayoritas). Sistem klasifikasi dilatih dengan metode standar pelatihan dan metode yang disebut 2k-balanced batch training untuk memastikan proporsi data kelas wajah yang sama maupun berbeda seimbang. Dari percobaan, disimpulkan bahwa sistem verifikasi wajah memiliki kinerja akurasi tinggi tapi presisi dan sensitivitas yang rendah. Tetapi pendekatan ii supervised learning untuk verifikasi wajah memiliki akurasi rendah ketika digunakan untuk tugas identifikasi wajah yang menjadi topik utama penelitian. Pendekatan kedua adalah menggunakan metode meta-learning dengan menganggap identifikasi wajah pada dataset IFPLD sebagai problem Few-shot learning atau lebih tepatnya N-way-1-shot learning yang kemudian diinvestigasi menggunakan Siamese Network dan Prototypical Network. Kedua metode ini adalah metode meta-learning berbasis metrik dimana kualitas fitur vektor embedding sangat menentukan kinerja model yang dihasilkan. Untuk menghasilkan fitur yang representatif pada dataset IFPLD, dilakukan fine-tuning pada model ResNet-18 yang sudah di-pretrained dengan ImageNet dengan berbagai metode pelatihan untuk mendapatkan vektor embedding yang representatif seperti menggunakan siamese network dengan contrastive loss dan triplet loss dan metode pelatihan SimCLR yang merupakan sebuah metode Self Supervised Learning (SSL). Pada metode prototypical network diusulkan dua metode perhitungan jarak data query ke prototypes yang berpengaruh pada tingkat akurasi. Prototypical Network memberikan kinerja akurasi lebih baik dibanding siamese network, dengan mengubah problem 1-shot learning menjadi k-shot learning, di mana terdapat k-1 data augmentasi dalam episode pelatihan dan pengujian untuk mendapatkan kinerja yang baik. Data augmentasi didapatkan dari lima macam operasi pengolahan gambar sederhana dan terbukti penggunaannya pada prototypical network meningkatkan kinerja model. Dari pengujian yang dilakukan model ResNet- 18_IN* menghasilkan akurasi terbaik sebesar 97%, 89% dan 82%, untuk mengidentifikasi 5, 20 dan 40 individu secara berurutan pada dataset IFPLD dalam skema N-way-1-shot learning.