Perpustakaan Digital ITB

Proyek ini mengeksplorasi pemrosesan bahasa alami (NLP) untuk mengotomatisasi pembuatan soal cerita matematika. Secara khusus, proyek ini berfokus pada fine-tuning model bahasa pra-latih idT5 untuk menghasilkan soal cerita matematika dari teks kontekstual. Motivasi penelitian ini berangkat dari proses penilaian berbasis kompetensi, seperti Asesmen Nasional di Indonesia, yang menekankan keterampilan pemecahan masalah dalam konteks dunia nyata. Dengan memanfaatkan kemampuan model idT5, proyek ini bertujuan untuk memudahkan proses pembuatan soal, terutama yang melibatkan literasi matematika. Proyek ini melibatkan penerjemahan dan modifikasi dataset soal cerita matematika GSM8K ke dalam bahasa Indonesia, diikuti oleh fine-tuning model idT5 pada dataset. Kinerja model akan dievaluasi untuk mengukur kemampuannya dalam menghasilkan soal matematika berkualitas tinggi dan relevan secara kontekstual. Proyek ini menggunakan skor ROUGE sebagai acuan penentuan kualitas model. Eksperimen menunjukkan skor ROUGE yang cukup baik, artinya model hasil fine-tuning dapat melakukan tugas question generation dengan baik. Melalui evaluasi manusia, ditemukan bahwa soal yang dihasilkan oleh model memenuhi kontekstual secara matematika. Meskipun model menunjukkan hasil yang menjanjikan, masih ada ruang untuk perbaikan, seperti meningkatkan ukuran dataset dan mengeksplorasi metrik evaluasi yang berbeda.