Perpustakaan Digital ITB

Penelusuran peraturan perundang-undangan memerlukan mekanisme retrieval yang mampu menemukan ketentuan hukum yang relevan, mempertahankan struktur dokumen, serta menelusuri hubungan perubahan dan pencabutan regulasi. Penelitian ini bertujuan merancang dan mengevaluasi retrieval orchestrator berbasis plugin pada sistem OMNI-RAG multidomain, dengan studi kasus utama penelusuran peraturan perundang-undangan Indonesia bidang pendidikan dan validasi portabilitas pada manual pengguna produk NETGEAR. Rancangan mengintegrasikan dense retrieval, sparse retrieval, hybrid retrieval, reranking, perluasan konteks berbasis Knowledge Graph, resolusi revisi, serta dua strategi orkestrasi, yaitu legal-hybrid retrieval deterministik dan legal-agentic retrieval. Arsitektur diterapkan sebagai plugin yang dapat menggunakan profil dan komponen retrieval sesuai karakteristik domain dokumen. Evaluasi utama menggunakan korpus 1.100 regulasi dan 60 kueri berbahasa Indonesia dengan unit penilaian pada tingkat Pasal atau parent chunk. Kualitas retrieval diukur menggunakan Precision@K, Recall@K, Mean Reciprocal Rank, dan Normalized Discounted Cumulative Gain pada K=3, K=5, dan K=8. Hasil menunjukkan bahwa hybrid retrieval dengan Qwen reranker menghasilkan kualitas peringkat awal tertinggi, dengan Precision@3 sebesar 0,778. Pada perbandingan strategi orkestrasi, legal-agentic retrieval memperoleh kualitas konteks agregat sedikit lebih tinggi dibandingkan pendekatan deterministik, tetapi memerlukan latensi rata-rata yang lebih besar. Evaluasi fungsional Knowledge Graph dan resolusi revisi menunjukkan bahwa seluruh relasi target langsung pada kueri pengujian dapat ditemukan dan ditelusuri ke konteks regulasi terkait. Validasi portabilitas pada 100 kueri manual pengguna berbahasa Inggris menunjukkan bahwa generic structure-aware chunking dengan ukuran maksimum 800 memberikan hasil terbaik, dengan Hit@10 sebesar 0,730. Validasi pada domain dokumen user manual juga menunjukkan bahwa rancangan retrieval orchestrator dapat digunakan pada struktur dokumen yang berbeda dari domain hukum. Evaluasi utama penelitian difokuskan pada kualitas dan keterlacakan konteks hasil retrieval, sedangkan evaluasi jawaban akhir dilakukan secara terbatas sebagai evaluasi tambahan end-to-end untuk mengamati dampak strategi retrieval terhadap keluaran yang diterima pengguna.