Perpustakaan Digital ITB

Analisis kepatuhan kontrak pengadaan barang/jasa pemerintah di Indonesia saat ini masih bergantung pada proses manual yang berpotensi memakan waktu, mahal, dan rentan terhadap inkonsistensi antarpemeriksa. Penelitian ini mengembangkan sebuah subsistem berbasis Large Language Model (LLM) dan Retrieval-Augmented Generation (RAG) untuk melakukan deteksi inkonsistensi data dan menganalisis kepatuhan dokumen kontrak publik terhadap regulasi pengadaan Lembaga Kebijakan Pengadaan Barang/Jasa Pemerintah (LKPP) secara otomatis. Subsistem yang dibangun terdiri atas dua pipeline utama yang saling melengkapi, yaitu pipeline analisis kepatuhan yang membandingkan klausul kontrak terhadap regulasi dan pipeline analisis entitas yang mendeteksi inkonsistensi kualitas data internal kontrak dan kepatuhan entitas. Untuk menentukan konfigurasi optimal, dilakukan serangkaian eksperimen komparatif yang mencakup strategi chunking dalam dua tipe embedding (mean-pooling dan CLS-pooling), strategi retrieval, penerapan reranking, perbandingan model, serta strategi prompting. Evaluasi dilakukan menggunakan kerangka RAGAS dengan metrik context relevance, faithfulness, response relevancy, dan metrik tambahan format validity. Eksperimen dilakukan menggunakan dataset uji berupa 79 dokumen kontrak publik dengan basis pengetahuan regulasi yang bersumber dari JDIH LKPP. Hasil menunjukkan konfigurasi berbasis hybrid retrieval memberikan kinerja retrieval terbaik, sementara model bahasa berukuran kecil yang dijalankan secara lokal belum mampu menghasilkan analisis dengan validitas format yang konsisten sebagaimana yang dicapai model berbasis API.