Perpustakaan Digital ITB

Video deepfake yang beredar di media sosial Indonesia umumnya mengalami kompresi berat, sementara model deteksi state-of-the-art seperti XceptionNet hanya mengandalkan informasi visual dan tidak memiliki jalur khusus untuk mendeteksi manipulasi suara (voice clone). Penelitian ini bertujuan mengembangkan model deteksi deepfake yang memanfaatkan informasi visual dan audio sekaligus serta dirancang agar lebih tahan terhadap kompresi video pada konten video etnis Indonesia. Model yang diusulkan, Multi-Domain Audio-Visual Network (MultiDAV), mengintegrasikan empat cabang fitur (spasial, frekuensi, temporal, dan audio) melalui Gated Fusion Module dan Audio Gating Mechanism, dilengkapi komponen fairness untuk membantu menjaga kesetaraan performa antar suku. Model dilatih dan diuji pada gabungan dataset IndoDeepfake (Indo-MM, Indo-FS, Indo-VC) dan FaceForensics++ (FF-DF, FF-F2F, FF-NT), dibandingkan dengan baseline XceptionNet pada tiga kondisi resolusi/kompresi. Hasil evaluasi menunjukkan MultiDAV memiliki nilai Area Under the Curve (AUC) yang lebih tinggi dibanding XceptionNet pada seluruh kombinasi dataset di kondisi kompresi berat (Low-Res), serta menunjukkan selisih AUC yang cukup besar pada dataset manipulasi audio murni Indo-VC (AUC 0,77–0,85 dibanding 0,46–0,56). Dari sisi fairness, model menunjukkan penurunan nilai Gap in False Positive Rate (GFPR) yang cukup konsisten khususnya pada Indo- VC, meski metrik Equalized Odds (EO) masih relatif tinggi dan sulit ditekan lebih jauh akibat keterbatasan ukuran batch pada penelitian ini. Secara umum, pendekatan multi-domain ini menunjukkan kecenderungan lebih tahan terhadap kompresi dan mampu menangkap sinyal manipulasi audio yang tidak terjangkau oleh model SOTA berbasis visual murni, meskipun kecenderungan ini belum seragam pada seluruh kondisi pengujian dan kesetaraan performa antar suku masih menjadi tantangan yang belum sepenuhnya terselesaikan.