digilib@itb.ac.id +62 812 2508 8800

Pelatihan Fungsional Penera merupakan salah satu kegiatan yang dilaksanakan untuk mengembangkan Sumber Daya Manusia Kemetrologian. Evaluasi pelatihan digunakan untuk menentukan untuk perbaikan dan pengembangan dalam rangka meningkatkan kualitas Pelatihan Fungsional Penera di masa yang akan datang. Hasil evaluasi pelatihan selalu menghasilkan hasil yang baik sehingga sistem (pelatihan dan proses evaluasinya) sulit dalam mencari peluang perbaikan. Evaluasi terhadap pelatihan bisa saja menunjukkan bahwa tidak terdapat permasalahan dalam pelatihan, namun belum tentu dengan evaluasinya. Padahal, kekurangan pada proses evaluasi dapat menghasilkan temuan dan rekomendasi yang kurang tepat sehingga pada akhirnya dapat merugikan pemangku kepentingan. Oleh karena itu, evaluasi terhadap evaluasi (meta-evaluasi) menjadi penting. Melalui meta-evaluasi, proses evaluasi akan diketahui kualitasnya melalui penilaian terhadap standar. Upaya meta-evaluasi sudah dilakukan namun belum dapat menjawab permasalahan yang ada. Gejala permasalahan pada proses evaluasi dapat diidentifikasi berdasarkan utilitasnya, kelayakannya, kepatutannya, akurasinya, akuntabilitasnya dan kualitas laporan evaluasinya. Hasil studi literatur menunjukkan bahwa belum adanya model meta-evaluasi yang mampu menjawab permasalahan tersebut. Oleh karena itu, tujuan penelitian ini adalah mengembangkan dan mengimplementasikan model meta-evaluasi yang mampu menjawab permasalahan di lapangan serta mengisi gap penelitian sebelumnya. Pengembangan model terdiri dari 6 standar yaitu utilitas, kelayakan, kepatutan, akurasi, akuntabilitas dan kualitas laporan. Dari 6 standar tersebut terdapat total 30 kriteria di dalamnya. Model meta-evaluasi ini kemudian menjadi panduan bagi evaluator untuk mampu menilai sistem evaluasi pelatihan Fungsional Penera pada tahun 2019, 2020 dan 2021. Penelitian ini akan menggunakan pendekatan metode kualitatif mengingat studi meta-evaluasi merupakan studi kualitatif. Teknik pengumpulan data menggunakan Focus Group Discussion (FGD). Panel beranggotakan total 9 (sembilan) evaluator yang berasal dari internal dan eksternal organisasi. Pengumpulan data dilakukan dengan dua tahap menggunakan metode Analytical Hierarchy Process (AHP) dan metode delphi. Berdasarkan model penelitian, diketahui kualitas sistem evaluasi yang berupa rata-rata persentase ketercapaian sistem dibanding standar (skor) pada tahun 2019 adalah 29,56%, pada tahun 2020 adalah 30,30% dan pada tahun 2021 adalah 33%. Berdasarkan data kategori kriteria, didapatkan bahwa 56,67% kriteria mendapatkan nilai yang tetap, 13,33% kriteria mendapatkan nilai yang naik dan 30% kriteria belum dipertimbangkan. Hasil analisis mengidentifikasi beberapa faktor penyebabnya yaitu lingkup evaluasi yang dilaksanakan oleh PPSDK belum mencakup evaluasi pasca pelatihan, lingkup evaluasi yang baru mempertimbangkan kepentingan pemangku kepentingan internal organisasi serta keterbatasan orang-orang yang terlibat dalam evaluasi. Hasil analisis juga menunjukkan bahwa kekuatan sistem pelatihan berada pada tahap implementasi sedangkan kelemahannya berada pada tahap evaluasi (tindak lanjut). Hasil penelitian ini mampu memberikan manfaat yang dapat langsung diterapkan pada organisasi. Manfaat tersebut antara lain adalah standar meta-evaluasi yang dikembangkan dapat menjadi panduan evaluator, kegiatan meta-evaluasi dapat dipertimbangkan dalam sistem, meningkatkan perhatian terhadap kualitas sistem evaluasi melalui berbagai pelatihan maupun seminar dan menyesuaian tahapan proses evaluasi model ADIIE berdasarkan literatur. Rekomendasi yang dapat diberikan untuk sistem evaluasi pelatihan di masa mendatang yaitu perbaikan tahapan evaluasi (tindak lanjut) merupakan prioritas pertama, perbaikan tahapan perencanaan merupakan prioritas kedua dan perbaikan tahapan implementasi merupakan prioritas ketiga.