Perpustakaan Digital ITB

Pemantauan dan evaluasi dan audit Teknologi Informasi dan Komuniasi (TIK) Sistem Pemerintahan Berbasis Elektronik (SPBE) menjadi instrumen penting dalam menilai kesiapan digital Instansi Pusat dan Pemerintah Daerah (IPPD). Namun, keterhubungan antara indikator evaluasi SPBE Kementerian PANRB dengan indikator pada audit tools SPBE untuk berbagai data dukung khususnya pada domain kebijakan, tata kelola, dan manajemen SPBE seringkali berbeda penerapannya di setiap IPPD, sehingga menyulitkan proses pemadanan indikator secara konsisten. Untuk mengatasi hal ini, diusulkan pendekatan pemadanan indikator berbasis kecerdasan buatan, dengan membandingkan metode Pre-trained Language Model dengan pendekatan Sentence-BERT (SBERT) dan Cosine similarity serta K-Nearest Neighbors (KNN) sebagai model baseline dengan Hierarchical Attention Network (HAN) dan Soft Schema Matching (SSM) sebagai metode utama. Ketiga metode diuji menggunakan data dukung evaluasi SPBE dari berbagai instansi dan dievaluasi menggunakan metriks evaluasi Precision, Recall, dan F1-Score untuk mengukur tingkat akurasi pemadanan indikator. Hasil penelitian menunjukkan bahwa metode utama (SBERT + HAN + SSM) menghasilkan performa terbaik (nilai macro F1-score = 0.83) jika dibandingkan dengan dua metode baseline, SBERT + Cosine Similarity (nilai macro F1-score = 0.18), dan SBERT + KNN (nilai macro F1-score = 0.68). Hasil ini juga diperkuat melalui pengujian hipotesis menggunakan Wilcoxon Signed-Rank Test, yang membuktikan bahwa perbedaan performa antar model bersifat signifikan secara statistik. Sehingga dapat diambil kesimpulan bahwa, model yang diusulkan, yaitu HAN + SSM memiliki performa yang secara signifikan lebih baik jika dibandingkan dengan kedua model baseline, baik SBERT + Cosine Similarity maupun SBERT + KNN. Selanjutnya, skor pemadanan indikator yang dihasilkan diintegrasikan ke dalam bobot penilaian dan predikat indeks evaluasi SPBE untuk memperbaiki model evaluasi kesiapan digital dengan pendekatan Weighted Scoring Model. Dengan demikian, model pemadanan indikator yang diusulkan dapat digunakan sebagai salah satu alat pendukung keputusan yang saling melengkapi dalam prosedur evaluasi pemerintahan digital secara lebih efektif dan konsisten.