Perpustakaan Digital ITB

Large Language Model (LLM) memiliki kelemahan berupa halusinasi, yakni kecenderungan menghasilkan informasi yang tidak akurat atau tidak dapat diverifikasi. Pada domain sejarah Indonesia, kelemahan ini diperparah oleh dugaan bahwa sebagian topik sejarah nasional periode 1945–1998 minim representasi pada model bahasa global yang dilatih dominan pada teks berbahasa Inggris. Penelitian ini bertujuan merancang sistem tanya jawab berbasis Retrieval-Augmented Generation (RAG) yang sesuai dengan karakteristik domain sejarah Indonesia untuk mengurangi halusinasi, serta mengukur efektivitasnya dibandingkan LLM tanpa RAG dan mengidentifikasi karakter pertanyaan tempat efektivitasnya paling menonjol. Tiga arsitektur RAG diimplementasikan di atas komponen yang konsisten sebagai analisis pendukung trade off. Tiga arsitektur yang diimplementasikan adalah Naive RAG, Advanced RAG dengan reranking, dan Modular RAG dengan query rewriting, dengan komponen dasar berupa hybrid retrieval (BM25 dan dense embedding), generator Llama 3.1 8B Instruct kuantisasi 4-bit yang dijalankan secara lokal, dan korpus empat buku sejarah Indonesia. Evaluasi dilakukan dalam dua eksperimen berurutan pada 150 pertanyaan yang sama, dengan Eksperimen 2 menambahkan perbaikan struktur chat template baseline untuk menutup celah false refusal yang teridentifikasi pada Eksperimen 1. Metrik acuan utama adalah answer correctness dari framework RAGAS, yang mengukur kebenaran jawaban terhadap ground truth? faithfulness, answer relevancy, context precision, serta EM dan F1 token-overlap diperlakukan sebagai metrik pendukung. Hasil evaluasi menunjukkan efektivitas RAG bersifat kondisional terhadap karakter pertanyaan. Berdasarkan answer correctness, Advanced RAG mengungguli baseline pada pertanyaan faktual (0,386 versus 0,335) dan tokoh/peristiwa (0,550 versus 0,439), sedangkan pada pertanyaan kronologis baseline masih kompetitif akibat efek distractor retrieval. Advanced RAG juga memimpin faithfulness sebagai indikator keterikatan jawaban pada sumber. Advanced RAG direkomendasikan sebagai konfigurasi yang paling sesuai untuk domain sejarah Indonesia, dengan aturan pemakaian per kategori: efektif mengurangi halusinasi pada pertanyaan faktual dan tokoh/peristiwa, sementara pertanyaan kronologis memerlukan penanganan lanjutan.