Perpustakaan Digital ITB

Evaluasi tingkat kematangan kebijakan Sistem Pemerintahan Berbasis Elektronik (SPBE) masih bergantung pada proses verifikasi manual oleh asesor, yang membu-tuhkan waktu dan beban kognitif tinggi serta berpotensi menghasilkan inkonsistensi akibat perbedaan interpretasi. Penelitian sebelumnya telah mencoba mengotomati-sasi proses tersebut melalui Automated Compliance Checking (ACC) berbasis atur-an, tetapi pendekatan berbasis pola seperti regular expression memiliki keterbatas-an dalam menangkap variasi penyusunan bahasa yang memiliki kesamaan makna. Penelitian ini bertujuan membangun sistem penilaian tingkat kematangan kebijakan SPBE berbasis Large Language Model (LLM) yang mampu memanfaatkan konteks dokumen dan menangani variasi penyusunan bahasa yang tidak dapat ditangkap oleh pendekatan berbasis aturan. Sistem yang dikembangkan menggunakan model Gemini 2.5 Flash dengan strategi Few-Shot Chain-of-Thought (CoT). Strategi tersebut memanfaatkan In-Context Le-arning (ICL) dengan memberikan tiga contoh penilaian sebagai konteks, kemudian mengarahkan model untuk melakukan penalaran secara bertahap sebelum menentuk-an status keterpenuhan indikator. Sistem dibangun melalui pipeline yang mencakup ekstraksi dokumen secara hibrida menggunakan pembacaan teks digital dan Opti-cal Character Recognition (OCR), inferensi LLM, serta agregasi tingkat kematang-an menggunakan aturan deterministik. Evaluasi dilakukan pada Domain Kebijakan Internal hingga tingkat kematangan level 3 menggunakan dokumen kebijakan dari sembilan pemerintah daerah, dengan dua daerah digunakan sebagai dataset develo-pment dan tujuh daerah sebagai dataset tes. Hasil evaluasi menunjukkan akurasi sebesar 0,95 pada dataset development dan 0,97 pada dataset tes yang mencakup 70 indikator. Analisis kesalahan menunjukkan bah-wa perbedaan prediksi terutama berkaitan dengan kekakuan pemeriksaan verba nor-matif pada rubrik serta ketidaksesuaian ground truth.