Perpustakaan Digital ITB

Assessment Center adalah sarana penilaian yang dilakukan dengan penggunaan multi simulasi, multi asesor, serta proses agregasi penilaian yang seluruhnya bersifat mandatory dalam pelaksanaan asesmen. Kondisi saat ini, Laporan Dinamika Cluster Kompetensi, salah satu komponen laporan asesmen, dibuat oleh asesor. Hal ini menyebabkan asesor membutuhkan lebih banyak waktu dalam melaksanakan tugas. Dengan kondisi permintaan pelaksanaan Assessment Center yang semakin banyak dan jumlah asesor yang terbatas, perlu dilakukan upaya agar produktivitas pelaksanaan Assessment Center dapat ditingkatkan. Penelitian ini mengusulkan penggunaan Natural Language Generation (NLG) sebagai alternatif solusi untuk pembuatan Laporan Dinamika Cluster Kompetensi. NLG merupakan suatu sub task dalam Natural Language Processing (NLP) pembuatan teks bahasa alami dari data terstruktur, yang merupakan sumber data yang digunakan asesor dalam pembuatan laporan tersebut. Penelitian ini melakukan 3 pendekatan dalam pembuatan model NLG tersebut. Model template-based dapat membuat paragraf secara langsung dari data tabular, model dibuat dengan mendefinisikan kerangka kalimat kemudian mengisi kerangka tersebut dengan informasi yang relevan. Kemudian dilakukan juga pendekatan Data-to-Text dengan mentransformasikan data tabular menjadi format flat string (linearization) sebagai input model yang digunakan untuk melatih pre-trained language model. Terakhir pendekatan text-to-text yang merupakan model parafrase dengan melakukan pelatithan pada pre-trained language model dari input berupa data teks menggunakan output dari template-based sebagai input model. Dalam implemetasinya, model template-based dapat langsung diimplementasikan terhadap data, namun proses pembuatan model memakan waktu cukup lama dikarenakan pembuatannya secara manual. Pendekatan data-to-text relatif lebih mudah implementasinya, sementara itu, model text-to-text membutuhkan pipeline agar dapat digunakan sebagai pemroses data tabular menjadi data teks sehingga model dapat bekerja. Kedua metode tersebut sama-sama membutuhkan data yang banyak, sehingga dilakukan augmentasi untuk membuat data sintesis dengan tujuan agar model dapat bekerja lebih baik. iii Setelah melakukan evaluasi secara kuantitatif dan evaluasi secara kualitatif, model text-to-text menjadi model dengan output laporan terbaik. Hasil evaluasi kualitatif oleh asesor menunjukkan bahwa model text-to-text menghasilkan laporan yang dianggap lebih baik dibandingkan pendekatan lainnya. Dari sisi fluency (skor 3.60) model tersebut mendapatkan skor yang sama dengan laporan asli (skor 3.60), selain itu untuk kategori faithfulness (skor 3.31) dan coherence (skor 3.60) dapat melebihi skor evaluasi laporan asli (skor faithfulness 3.23 dan coherence 3.53). Sedangkan template-based (skor 3.33) mengungguli laporan oleh manusia dan model text-totext pada kategori faithfulness. Sedangkan pendekatan Data-to-Text mendapatkan skor evaluasi paling kecil dari semua model.