Perpustakaan Digital ITB

Identifikasi kemiripan peraturan perundang-undangan hukum kesehatan Indonesia merupakan tantangan besar akibat jumlahnya yang sangat besar. Di sisi lain, Large Language Model (LLM) menunjukkan potensi di domain hukum, namun kemampuannya untuk analisis kemiripan peraturan belum banyak dieksplorasi. Selain itu, belum ada platform publik yang mengintegrasikan fungsi tersebut dengan fitur retrieval pada sistem tanya jawab peraturan perundang-undangan. Penelitian ini bertujuan untuk mengevaluasi kemampuan LLM dalam menganalisis kemiripan peraturan dan merancang aplikasi web yang tepat untuk mengintegrasikannya dengan sistem tanya jawab hukum. Tiga model LLM yakni GPT-4o mini, Gemini 1.5 Flash, dan Llama 3 8B diuji menggunakan empat teknik prompting berbeda yakni zero-shot, few-shot, chain-of-thought, dan few-shot-chain-of-thought. Evaluasi dilakukan terhadap 14 kasus uji yang diambil dari Kajian Akademik DPR RI, dengan kinerja model diukur melalui metrik kuantitatif precision, recall, F1-score, accuracy, serta evaluasi hasil secara kualitatif. Hasil eksperimen menunjukkan bahwa pada kinerja dasarnya dengan zero-shot, LLM mampu digunakan untuk menganalisis isu yang tertulis secara eksplisit pada pasal, namun masih kesulitan dengan isu hukum yang implisit seperti hierarki peraturan. Di antara model yang diuji, GPT-4o mini adalah model yang paling unggul dengan teknik 7-shot memberikan performa terbaik di seluruh metrik dengan nilai cosine similiarity 89,1%, precision 47,6%, recall 44,61%, F1-score 43,85%, dan accuracy 71,43%. Berdasarkan temuan tersebut, konfigurasi GPT-4o mini dengan 7-shot diimplementasikan ke dalam LexMedica, sebuah aplikasi web berbasis microservices dengan komunikasi client-server melalui REST API. LexMedica berhasil mengintegrasikan sistem analisis kemiripan peraturan dengan fitur tanya jawab hukum. Disimpulkan bahwa LLM dengan teknik prompting yang tepat dapat menjadi solusi awal untuk mendeteksi kemiripan peraturan, dan LexMedica menjadi bukti konsep platform yang efektif untuk kebutuhan tersebut.