Perpustakaan Digital ITB

Pengetahuan institusional di laboratorium akademik sering kali terkumpul namun sulit diakses kembali. Penelitian ini merancang, membangun, dan mengevaluasi LKC v4, sebuah sistem pengetahuan Large Language Model Retrieval-Augmented Generation (RAG) lokal untuk korpus 461 tesis (2002–2025) di Laboratorium Sistem Informasi dan Keputusan (LSIK) ITB. Tujuannya mencakup karakterisasi kebutuhan peneliti, perancangan arsitektur, pembuatan prototipe, dan evaluasi kinerja yang sesuai dengan domain akademik. Menggunakan metode Design Science Research yang dioperasionalkan melalui CRISP-ML(Q), sistem ini dirancang berdasarkan analisis wawancara pemangku kepentingan. Prototipe beroperasi sepenuhnya pada workstation VRAM 16 GB, menggabungkan embedding mxbai-embed-large, indeks Milvus, cross-encoder bge-reranker-v2-m3, generator qwen3:14b, metadata SQLite, dan Accuracy Gate. Evaluasinya menggunakan kerangka RAGAS dengan model juri 7B independen. Sistem berhasil melakukan retrieval tingkat dokumen (Source Recall@10 = 0,754) dan penolakan jujur (Refusal F1 = 0,863). Namun, aspek asal-usul data (provenance) yang paling dibutuhkan pengguna justru masih lemah (Faithfulness in-corpus = 0,696; Citation F1 = 0,426). Latensi sistem (rata-rata 28,4 detik) melebihi batas waktu interaktif, di mana temuan diagnostik menunjukkan bahwa fitur HyDE memakan ~92% latensi tanpa memberikan peningkatan retrieval yang berarti, sehingga penghapusannya sangat disarankan. Kesimpulannya, semantic retrieval dan honest refusal dapat dicapai secara lokal. Namun, hal ini juga menegaskan bahwa konfigurasi standar RAG tidak bisa langsung diterapkan pada korpus institusional Indonesia. Asal-usul yang dapat diverifikasi (verifiable provenance), bukan sekadar pengambilan data mentah, adalah syarat mutlak untuk manajemen pengetahuan akademik. Studi ini telah menetapkan prototipe awal sebagai tolok ukur (baseline) sistem yang dapat diukur, memberikan landasan evaluatif yang jelas untuk optimasi dan penyempurnaan lebih lanjut.