Perpustakaan Digital ITB

Platform RAG multidomain berbasis plugin seperti OMNI-RAG membutuhkan lapisan penjelasan portabel agar pengguna dapat memverifikasi dasar jawaban dan jejak pemrosesannya tanpa bergantung pada klaim model. Studi kasusnya, chatbot hukum berbasis Retrieval- Augmented Generation (RAG) dan knowledge graph untuk peraturan pendidikan Indonesia, belum menyediakan dasar verifikasi itu. Tugas akhir ini merancang, mengimplementasikan, dan mengevaluasi lapisan explainability berbasis plugin di atasnya, mencakup atribusi kueri per tahap, atribusi sumber independen dari klaim model, penelusuran relasi antarperaturan pada knowledge graph, antarmuka yang menyatukannya, dan orkestrasi deterministik yang memetakan intent ke rencana retrieval tetap, dengan metode penjelasan tiap tahap dapat ditukar lewat profil tanpa mengubah kode inti. Atas 30 kueri per metode, atribusi kueri deterministik mendekati LIME pada fidelitas (fidelity) hanya di tahap retrieval (gain +0,161 berbanding +0,211, latensi 1.116 ms berbanding 7.034 ms) dan tertinggal jelas di tahap intent (+0,050 berbanding +0,160, 513 ms berbanding 1.080 ms), tetapi stabil sempurna pada keduanya (Jaccard@3 = 1,000 berbanding 0,513–0,792). Pemeriksaan dukungan sitasi dengan entailment NLI mencapai presisi batas atas 0,958 pada pemetaan klaim–pasal (audit subset bertarget 30/64), menghasilkan presisi teramati lebih tinggi daripada kemiripan embedding pada sistem berjalan (0,476) pada label yang tersedia atas 64 pernyataan yang sama, tetapi berstatus pembanding audit yang belum menggantikan metode produksi. Penyajian status keberlakuan dan jalur relasi peraturan memiliki kesetiaan (faithfulness) penuh terhadap knowledge graph (118/118 sisi yang ditampilkan ada di graf), kelengkapan 89,47%, dan keterpakaian (usability) 95,76% yang diukur sebagai kemudahan dikenali (recognizability) pada ujung relasi (113/118 ujung berjudul), dengan ekstraksi relasinya dikerjakan anggota tim lain. Orkestrasi yang dirutekan intent menjaga rencana tetap pada 25 pertanyaan, dengan langkah sekitar lima kali lebih sedikit dan himpunan bukti stabil 84% berbanding 56%. Penilaian satu evaluator yang memahami konteks hukum Indonesia atas 26 respons (Likert 1–5) menempatkan kelima kriteria pada median 5,0 (rerata 4,69– 4,92), dengan selisih support terhadap ketepatan atribusi +0,04. Portabilitas mekanisme ditunjukkan secara deskriptif dengan mengonfigurasi ulang arsitektur yang sama bagi user manual NETGEAR (dukungan 0,6512, relevansi 0,9963 pada 108/110 pertanyaan).