Perpustakaan Digital ITB

Automated Essay Scoring merupakan sistem yang menjadi perangkat bantu dalam dunia pendidikan, khususnya untuk mengetahui kemampuan seorang individu dalam menggunakan bahasa asing. Begitu juga dengan grammatical error correction yang digunakan untuk membantu melakukan koreksi kesalahan grammar kalimat dalam teks. Model ALBERT digunakan sebagai model pralatih yang akan dilakukan fine-tuning terhadap dataset EFCAMDAT untuk prediksi level CEFR dari suatu teks/esai. Model pralatih ALBERT dipilih karena memiliki efisiensi yang baik dengan ukuran parameter yang kecil tetapi memiliki kinerja yang baik seperti halnya model pralatih lain dengan ukuran yang lebih besar. Model grammatical error correction dikembangkan dengan melakukan fine-tuning terhadap model pralatih bertipe decoder language model. Decoder language model yang dipilih dalam proses eksperimentasi adalah Mistral dan LLaMa. Pemilihan decoder language model dikarenakan hasil evaluasi yang lebih baik dibandingkan model tipe lainnya pada permasalahan grammatical error correction. Selain itu, pemilihan model Mistral dan LLaMa dikarenakan efisiensi pelatihan yang baik dengan mempertahankan kinerja yang baik dibandingkan model decoder dengan ukuran yang lebih besar. Berdasarkan analisis hasil pengujian, model automated essay scoring dengan ALBERT mampu memprediksi level CEFR dengan baik, terbukti dengan nilai akurasi sebesar 95.85%. Begitu pula dengan model grammatical error correction mendapatkan kinerja nilai GLEU+ yang cukup baik dibandingkan dengan model lain dari penelitian terkait, yaitu sebesar 53.57%. Selain itu, pengembangan sistem yang menggabungkan kedua model berhasil menampilkan hasil gabungan inferensi kedua model dari suatu input teks. Sistem dapat menampilkan level CEFR serta koreksi grammar kalimat dalam teks berdasarkan input yang diberikan.