Perpustakaan Digital ITB

Sistem verifikasi wajah yang terdapat pada Sistem Pemerintahan Berbasis Elektronik (SPBE) memiliki kerentanan berupa adanya kemungkinan serangan face spoofing. Face spoofing tersebut dapat diatasi melalui metode liveness detection. Salah satu jenis face spoofing yang akan diatasi oleh penulis adalah serangan berupa 3D mask attack. Dalam hal ini, metode yang digunakan adalah metode liveness detection aktif, yaitu proses untuk mendeteksi liveness dengan cara memberikan serangkaian pertanyaan yang diacak urutannya, kemudian pengguna harus mengikuti semua pertanyaan tersebut supaya dapat dikategorikan sebagai real. Jika pengguna tidak mampu mengikuti pertanyaan yang diberikan, maka akan dikategorikan sebagai fake. Model yang digunakan untuk liveness detection adalah ActivenessNet, yang merupakan gabungan dari tiga pre-trained model, yaitu emotion detection, profile detection, dan blink detection. Pengujian dilakukan terhadap masing-masing pre-trained model tersebut menghasilkan nilai akurasi pada validation set sebesar 70% pada model emotion detection. Nilai tersebut adalah nilai tertinggi ketika dilakukan perbandingan dengan model lain. Untuk model profile detection, diperoleh nilai akurasi sebesar 95% pada validation set yang berisi wajah menghadap ke kiri dan ke kanan. Sedangkan untuk model blink detection diuji untuk mendeteksi 10 kedipan pada video dan memperoleh nilai recall 100% pada kondisi pencahayaan terang dan gelap saat pengguna tidak memakai kacamata. Ketika memakai kacamata, terdapat penurunan performa model dengan nilai recall 80% pada kondisi terang dan 60% pada kondisi cahaya gelap. Sistem liveness detection Aktif yang dirancang sebagai produk tugas akhir kemudian dikembangkan dalam bentuk website.