Perpustakaan Digital ITB

Penulis mengkaji permasalahan sulitnya memperoleh informasi dari dokumen hukum yang begitu banyak secara cepat dan akurat—terdapat lebih dari sembilan juta dokumen putusan Mahkamah Agung Republik Indonesia. Sejalan dengan rumusan masalah yang telah ditetapkan, Penulis (1) merancang bagaimana membangun sistem question-answering berbasis Retrieval-Augmented Generation (RAG) untuk menganalisis putusan pengadilan, dan (2) menilai kinerja berbagai model Large Language Model (LLM) dalam kerangka tersebut. Metodologi CRISP-DM diterapkan; dimulai dari tahapan business dan data understanding guna memahami kebutuhan serta karakteristik data. Pada tahap data preparation, teks putusan di-chunk dan dipetakan ke dalam representasi vektor, lalu disimpan di vector database. Tahap modelling menyusun empat komponen utama—embeddings model, vector database, retriever, dan LLM agent—yang diintegrasikan untuk menghasilkan jawaban kontekstual dari dataset yang begitu besar tanpa menggunakan resources yang banyak. Evaluasi menggunakan framework RAGAS terhadap 100 pasangan tanya-jawab menunjukkan konfigurasi terbaik—menggunakan GPT-4o—mencapai context precision 0,86 dan answer relevancy 0,72. Penilaian kualitatif oleh target pengguna seperti praktisi hukum mengonfirmasi kemudahan serta relevansi pencarian informasi dalam knowledge base. Hasil ini membuktikan bahwa pemisahan proses retrieval dan generation pada RAG mampu menekan latensi sekaligus menjaga akurasi, bahkan ketika model dioptimasi untuk biaya inferensi lebih rendah. Berdasarkan hasil evaluasi tersebut, sistem dinilai berhasil menjawab rumusan masalah dan memenuhi tujuan dari Tugas Akhir ini.