Perpustakaan Digital ITB

Penyebaran misinformasi di Indonesia menunjukkan perlunya sistem pengecekan fakta otomatis yang keputusannya dapat ditelusuri ke bukti pendukungnya. Retrievalaugmented generation (RAG) bentuk dasar berbasis vektor tidak memodelkan hubungan antarbukti, sedangkan keunggulan pendekatan graf bergantung pada jenis tugas. Manfaat LightRAG untuk pengecekan fakta berbahasa Indonesia belum teruji. Penelitian ini merancang sistem tersebut, lalu menentukan aspek keunggulan masing-masing sistem terhadap sistem acuan naive RAG pada kualitas dan waktu pengambilan bukti serta kinerja klasifikasi. Sistem usulan adalah LightRAG yang diadaptasi untuk pengecekan fakta berbahasa Indonesia melalui lima modifikasi, yaitu penggantian tahap pembangkitan jawaban dengan modul klasifikasi pada ruang label tertutup, perluasan skema graf menjadi sebelas tipe entitas dan empat belas tipe relasi domain pengecekan fakta, dekomposisi klaim beserta penetapan pernyataan inti, augmentasi takarir citra dengan visionlanguage model Gemma 3 12B, dan penetapan kriteria keputusan antarlabel pada prompt klasifikasi. Sistem acuan adalah naive RAG berbasis dense retrieval tanpa komponen graf. Kedua sistem dievaluasi pada 4.437 klaim MAFINDO (Masyarakat Anti Fitnah Indonesia) dan korpus tertutup 9.293 dokumen bukti. Seluruh pengaturan eksperimen, yaitu korpus, model embedding BGE-M3, reranker, sepuluh bukti teratas per klaim, model bahasa besar (LLM), dan prosedur evaluasi, dibuat sama pada kedua sistem sehingga yang dibandingkan adalah dua sistem lengkap. Pada tahap pengambilan bukti, sistem acuan naive RAG sedikit lebih unggul dengan Recall@10 sebesar 0,9120, sedangkan sistem usulan berbasis LightRAG memperoleh 0,9013. Jalur graf pada sistem usulan juga menaikkan rata-rata waktu pengambilan bukti dari 1,19 detik menjadi 16,61 detik per klaim. Pada tahap klasifikasi, sebaliknya, akurasi per klaim meningkat dari 0,9477 pada sistem acuan menjadi 0,9669 pada sistem usulan, dan uji McNemar berpasangan menunjukkan perbedaan tersebut signifikan dengan p = 3,98 × 10?11. Klaim Refuted yang keliru diprediksi sebagai Supported turun dari 123 menjadi 69. Recall kelas Supported turun dari 0,5656 menjadi 0,4754. Pada data dan konfigurasi yang diuji, sistem usulan lebih berhati-hati memberi label Supported, tetapi recall kelas Supported lebih rendah dan waktu pengambilan buktinya jauh lebih lama daripada sistem acuan.