Perpustakaan Digital ITB

Penyebaran gangguan informasi meningkat seiring pesatnya perkembangan teknologi. Ditinjau dari aspek kesalahan informasi (falseness), gangguan informasi mencakup misinformasi dan disinformasi. Untuk mengatasi kedua bentuk gangguan tersebut, proses pengecekan kebenaran klaim umumnya melibatkan berbagai sumber bukti. Gambar klaim juga dapat memberikan petunjuk visual dalam proses verifikasi. Pada dataset berbahasa Inggris, pendekatan multibukti dan multimodalitas terbukti meningkatkan kinerja model pengecekan fakta. Namun, penelitian dalam bahasa Indonesia masih terbatas pada pendekatan berbasis teks dengan pasangan klaim dan fakta hasil pengecekan manual, bukan bukti dari kumpulan artikel atau sumber rujukan yang menjadi dasar penarikan fakta. Tugas Akhir ini mengembangkan model klasifikasi gangguan informasi berbahasa Indonesia dengan pendekatan multibukti dan multimodalitas. Setiap klaim diklasifikasikan sebagai false context, false connection, manipulated content, misleading content, fabricated content, imposter content, satire, atau true. Pendekatan multibukti menggunakan arsitektur Graph-based sEmantic sTructure mining framework with conTRAstive Learning (GETRAL), sedangkan pendekatan multimodalitas menggunakan deteksi objek, image encoder, atau image captioning. Pendekatan multibukti menghasilkan skor F1-Macro 0,569, lebih tinggi dibandingkan bukti tunggal (0,465). Lebih lanjut, pendekatan multimodalitas mencapai skor F1-Macro 0,598, melampaui modalitas tunggal teks (0,569). Peningkatan ini juga terlihat pada kinerja per kelas, terutama pada kelas false connection dan manipulated content yang membutuhkan informasi visual. Temuan ini menunjukkan bahwa penerapan pendekatan multibukti dan multimodalitas mampu memperkaya representasi informasi, sehingga meningkatkan kinerja dalam mendeteksi berbagai bentuk misinformasi dan disinformasi.