Perpustakaan Digital ITB

Pertanyaan jawaban pendek adalah jenis pertanyaan yang bertujuan untuk mendapatkan pemahaman yang dimiliki oleh peserta, jenis pertanyaan yang diajukan pada pertanyaan jawaban pendek bersifat objektif dan memiliki panjang antara satu frasa sampai dengan satu paragraf. Pada Tugas Akhir ini, metode komputasi yang digunakan adalah dengan menggunakan berbagai teknik BERT. Data yang digunakan adalah data dari ”Edukasystem” pada mata pelajaran Biologi dan Geografi. Pada dataset ini terdapat tiga jenis pertanyaan, yaitu pertanyaan definisi, penjelasan, dan memberikan contoh. BERT merupakan state-of-the-art dari berbagai task NLP. Teknik BERT yang menjadi fokus penelitian adalah siamese BERT, fine tuning BERT, dan auxiliary BERT. Pada siamese BERT dilakukan sentence embedding, yaitu metode mengubah sebuah kalimat menjadi bentuk vektor. Selanjutnya, vektor tersebut dilihat kemiripannya dengan menggunakan perhitungan cosine similarity pada model regresi linear. Metode fine tuning BERT yang digunakan adalah memodifikasi BERT menjadi sentence pair classification. Pada auxiliary BERT, metode yang dilakukan juga menggunakan BERT untuk sentence pair classification dengan tambahan kalimat auxiliary berupa kalimat pertanyaan dan label data yang dilengkapi dengan kalimat semu. Sedangkan, model pre-trained yang digunakan adalah DistilBERT, IndoBERT, dan XLM-RoBERTa. Kinerja terbaik secara keseluruhan adalah dengan menggunakan teknik Siamese BERT dan model pre-trained DistilBERT. Nilai error yang dihasilkan adalah RMSE 1.4495 dan MAE 1.0398. Perbedaan karakteristik pada setiap jenis pertanyaan menghasilkan perbedaan model dengan kinerja terbaik untuk setiap jenis pertanyaan. Pada jenis pertanyaan definisi, kinerja model yang terbaik adalah dengan menggunakan teknik auxiliary BERT. Pada jenis pertanyaan penjelasan dan memberikan contoh di mata pelajaran Biologi model yang terbaik adalah dengan menggunakan teknik siamese BERT dengan model pre-trained DistilBERT. Pada jenis pertanyaan penjelasan dan memberikan contoh di mata pelajaran Geografi model terbaik dengan menggunakan teknik fine tuning BERT.