Perpustakaan Digital ITB

The Common European Framework of Refereneces for Languages atau sering disingkat sebagai CEFR merupakan sebuah standar pengukuran tingkat kemahiran bahasa yang saat ini digunakan secara internasional. Salah satu metode yang digunakan dalam menilai kemahiran seseorang adalah melalui kemampuan menulis yang diuji dengan sebuah ujian berbasis esai. Penelitian ini bertujuan untuk membangun sebuah sistem penilaian esai ujian kemahiran bahasa Inggris dalam skala CEFR secara otomatis. Penelitian ini dilakukan dengan membangun dua buah model, yaitu sebuah model LSTM dan sebuah model yang menggabungkan DistilBERT dengan LSTM. Hyperparameter tuning akan dilakukan pada kedua model sebelum dilakukan training. Dari hyperparameter yang telah diperoleh, dilakukan training pada masing-masing model. Kinerja model dipantau selama training menggunakan nilai akurasi dan F1 masing-masing epoch. Setelah proses training selesai, dilakukan pengujian menggunakan data uji. Dari hasil pengujian tersebut, diperoleh nilai akurasi dan F1 dari setiap model, confusion matrix, serta kinerja model dalam memprediksi enam kelas tingkatan kemahiran CEFR dalam bentuk precision, recall, dan nilai F1. Dari hasil tersebut, dilakukan evaluasi lebih lanjut dan dapat disimpulkan bahwa model DistilBERT-LSTM menghasilkan kinerja terbaik dalam memprediksi esai ujian kemahiran bahasa Inggris dalam skala CEFR.