Perpustakaan Digital ITB

Penilaian jawaban pendek secara otomatis adalah pekerjaan untuk menilai jawaban pendek secara otomatis menggunakan metode komputasi. Terdapat beberapa metode dalam menyelesaikan penilaian jawaban pendek secara otomatis. Tugas akhir ini berfokus pada metode statistical-based dengan pendekatan reference-based. Dalam metode statistical-based dengan pendekatan reference-based, penilaian jawaban pendek dapat menggunakan machine learning tradisional maupun deep learning. Tugas akhir ini berfokus menggunakan deep learning. Terdapat beberapa komponen penting dalam penilaian jawaban pendek secara otomatis menggunakan deep learning, yaitu mengubah jawaban menjadi vektor dan menilai jawaban berdasarkan vektor jawaban. Terdapat 2 metode yang digunakan dalam mengubah jawaban menjadi vektor jawaban. Metode pertama menggunakan word embedding, dan metode kedua menggunakan sentence embedding. Model word embedding yang digunakan adalah FastText. Model sentence embedding yang digunakan adalah BERT dan DistilBERT. Dalam komponen menilai jawaban metode yang digunakan adalah model linear regression. Model terbaik pada dataset menggunakan Bahasa Indonesia dengan 36 pertanyaan dan 7605 jawaban pendek adalah model dengan menggunakan pre-trained sentence embedding distilbert-base-multilingual-cased dengan kinerja root mean squared error 1.304 dan mean absolute error 1.029. Fine tuning juga dilakukan pada model yang memberikan kinerja yang terbaik. Kinerja dari model setelah fine tuning adalah root mean squared error 1.239 dan mean absolute error 0.9545 yang lebih baik dari model sebelum fine tuning.