Perpustakaan Digital ITB

Perkembangan Large Language Model (LLM) sebagai salah satu teknologi AI terkini membuka peluang besar dalam otomatisasi proses pemeriksaan fakta, namun masih sering menghasilkan konten halusinasi. Karena pencegahannya memerlukan sumber daya yang cukup banyak, maka deteksi menjadi solusi yang lebih efisien. Penelitian ini mengusulkan sistem pemeriksaan fakta otomatis untuk klaim berbahasa Inggris yang mengintegrasikan pengambilan evidence dari web, Natural Language Inference (NLI), Explainable AI (XAI) dan LLM sebagai satu pipeline. Sistem mengambil evidence untuk sebuah klaim menggunakan sebuah search engine dan mengurutkannya berdasarkan kredibilitas, lalu diverifikasi dengan NLI untuk memperoleh confidence per label. Evidence dan nilai confidence dari NLI kemudian diteruskan ke LLM pertama untuk memperoleh label faktualitas dari klaim. XAI kemudian diterapkan pada NLI untuk memperoleh nilai atribusi token, sebelum diteruskan ke LLM kedua untuk penciptaan penjelasan akhir. Evaluasi sistem terhadap 450 klaim menunjukkan macro F1-score sebesar 44,0% pada 3-class dan 62,3% pada kelas biner. Performa evidence retrieval menunjukkan Recall@10 di atas 47% untuk semua label, namun Precision@10 berada di kisaran 20%. Penilaian penjelasan dengan LLM-as-a-judge mengidentifikasi faithfulness sebagai kriteria terkuat dengan rata-rata 4,1, sementara signal integration menjadi kriteria terlemah dengan rata-rata 3,23-3,51. Judge juga mengidentifikasi 115-124 klaim dengan kesalahan kritis pada penjelasannya akibat halusinasi fakta, penegasan hasil NLI yang salah, misinterpretasi hasil XAI, dan adanya kontradiksi internal. Hasil yang diperoleh menunjukkan bahwa integrasi berbagai komponen cukup menjanjikan untuk otomatisasi pemeriksaan fakta, namun peningkatan performa secara keseluruhan masih memerlukan perbaikan dari setiap komponen, terutama pada modul evidence retrieval dan integrasi sinyal dari NLI dan XAI.