Perpustakaan Digital ITB

Media digital telah menjadi bagian kehidupan sehari-hari. Produksi dan distribusi media seperti gambar, video, dan audio menjadi sangat mudah karena adanya platform seperti media sosial. Hal ini menimbulkan kekhawatiran akan video palsu yang sangat realistis yang diproduksi melalui teknologi deepfake. Tugas akhir ini mencoba menyelesaikan masalah tersebut dengan mengembangkan model deteksi deepfake berbasis deep learning dengan menggunakan pretrained model 2D CNN yaitu EfficientNet-B3, ResNet50, dan Xception. Hasil yang didapatkan adalah ketiga model memiliki performa yang baik dalam mendeteksi video deepfake. Model EfficientNet-B3 mendapatkan akurasi sebesar 89,6%, precision sebesar 89%, recall sebesar 87%, dan f1-score sebesar 88%. Model ResNet50 mendapatkan akurasi sebesar 88,96%, precision sebesar 88%, recall sebesar 86%, dan f1-score sebesar 87%. Model Xception mendapatkan akurasi sebesar 83,3%, precision sebesar 83%, recall sebesar 79%, dan f1-score sebesar 80%. Proses hyperparameter tuning yang dilakukan juga menunjukkan ketiga model telah teroptimasi. Meskipun demikian, ketiga model tersebut masih memiliki kesulitan dalam mengidentifikasi video asli yang ditunjukkan dengan nilai recall yang lebih rendah pada kelas real. Hal tersebut dapat terjadi karena ukuran data yang digunakan, video yang digunakan dalam proses pelatihan model, dan daerah wajah yang menjadi fokus model.