Perpustakaan Digital ITB

Penyebaran berita palsu melalui fenomena timpa teks merupakan permasalahan yang semakin ramai di media sosial seperti Instagram dan Facebook. Pendekatan pengolahan citra tradisional terbukti tidak efektif dalam menangani kasus ini karena rentan terhadap false positive pada latar belakang yang kompleks atau berkontras rendah. Penelitian ini mengusulkan sistem deteksi berbasis deep learning multimodal yang menggabungkan EfficientNetV2-L untuk modalitas visual, IndoBERT untuk modalitas teks hasil EasyOCR, dan modul fusi scaled dot-product attention tiga arah untuk mengintegrasikan kedua modalitas secara terintegrasi. Dataset yang digunakan dibangun secara khusus untuk penelitian ini, terdiri atas 2400 citra berita yang seimbang antara citra asli dan citra palsu, yang dikumpulkan dari grup Facebook dan akun media sosial resmi berita Indonesia, yang dibagi menjadi 2000 data latih, 200 data validasi, dan 200 data uji. Hasil pengujian pada data uji menunjukkan bahwa pendekatan multimodal yang diusulkan mencapai accuracy sebesar 0.8950 dan F1-score sebesar 0.8923, mengungguli pendekatan lainnya seperti unimodal visual, tekstual, maupun pendekatan konvensional.