Perpustakaan Digital ITB

Model bahasa besar (Large Language Model/LLM) rentan menghasilkan halusinasi faktual dan bergantung pada pengetahuan statis dari data pelatihan, sehingga jawaban yang diberikan dapat menyesatkan dalam konteks akademik institusional yang menuntut keakuratan dan kejelasan sumber. Pendekatan Retrieval-Augmented Generation (RAG) diterapkan untuk mengatasi keterbatasan tersebut dengan menggabungkan pencarian dokumen relevan dari korpus internal ITB sebagai konteks tambahan sebelum LLM menghasilkan jawaban. Dokumen akademik ITB menuntut penanganan khusus karena bersifat hierarkis dengan struktur Bab, Pasal, dan Ayat, sebagian berasal dari hasil pemindaian yang rawan kesalahan pengenalan karakter, memuat nilai eksak seperti batas SKS dan tarif UKT yang tidak boleh keliru, serta memiliki versi tahunan yang harus dibedakan secara tepat, sehingga menuntut perancangan pipeline RAG yang disesuaikan, bukan penerapan komponen generik. Penelitian ini menggunakan metodologi Design Science Research Methodology (DSRM) untuk merancang dan mengimplementasikan core engine sistem tanya jawab akademik yang menjawab tiga persoalan: faktor teknis yang memengaruhi kualitas jawaban, perancangan pipeline hybrid retrieval yang optimal untuk dokumen berbahasa Indonesia, dan penyeimbangan antara kualitas jawaban, keamanan data, dan efisiensi sistem. Solusi yang diimplementasikan menggabungkan pencarian leksikal BM25 dan pencarian semantik berbasis vektor melalui ChromaDB, difusikan dengan Reciprocal Rank Fusion, kemudian disaring lebih lanjut oleh cross-encoder re-ranker sebelum diteruskan ke LLM yang diakses melalui API eksternal, dengan dokumen sumber dan seluruh indeks tetap disimpan di infrastruktur lokal. Evaluasi menggunakan kerangka RAGAS menunjukkan skor Faithfulness 0,9442, Answer Relevancy 0,9735, Context Precision 0,8276, dan Context Recall 1,0000, seluruhnya melampaui ambang batas yang ditetapkan dan melampaui baseline NaiveRAG pada rentang 0,60 sampai 0,66. Evaluasi akurasi manual terhadap 20 pertanyaan uji mencapai 100%, sedangkan akurasi atribusi sumber mencapai 90% kecocokan persis terhadap ground truth. Hasil ini menunjukkan bahwa arsitektur hybrid retrieval dengan LLM berbasis API dapat menghasilkan sistem tanya jawab akademik yang faktual, akurat, dan aman bagi dokumen internal institusi.