Perpustakaan Digital ITB

Berdasarkan hasil penelitian, Indonesia memiliki kemampuan berbahasa Inggris yang rendah, diperburuk oleh kurangnya sumber daya pengajar dan ketidakmerataan pendidikan di Indonesia. Oleh karena itu, pada tugas akhir ini, dikembangkan solusi berupa Intelligent Tutoring System (ITS) untuk pembelajaran bahasa Inggris menggunakan Large Language Model dengan few shot prompting. Modul chatbot dari ITS dikembangkan untuk menciptakan pembelajaran terpersonalisasi dan meningkatkan efektivitas proses pembelajaran. Modul chatbot ini diimplementasikan sebagai aplikasi backend yang mengakomodasi berbagai interaksi dengan chatbot. Pengembangan chatbot dimulai dengan eksperimen perbandingan LLM dasar untuk mendapatkan model dasar terbaik. Dalam eksperimen ini, berbagai kandidat model dasar diaplikasikan dengan berbagai prompt berbeda, lalu tiap kombinasi tersebut diuji kualitas keluarannya. Dilakukan juga pengembangan model dasar menjadi 8 use case berbeda, yaitu student qa, feedback generation, translation, grammar correction, tutor qa, question generation, answer generation, dan explanation generation. Pengembangan use case dan peningkatan kinerja model menggunakan teknik few-shot prompting, yaitu dengan memberi beberapa contoh task. Dari eksperimen perbandingan model didapatkan model terbaik yaitu llama 3 7B instruct, dengan prompt jenis simple task instruction. Setelah itu, dari eksperimen peningkatan kinerja, terdapat peningkatan kinerja model dasar sebesar 7.97% dengan nilai akhir informativeness sebesar 0,958 dan accuracy sebesar 0,9649. Model dikembangkan menjadi chatbot pembelajaran bahasa Inggris yang terintegrasi dengan aplikasi Intelligent Tutoring System dalam bentuk API. Hasil functional testing menyatakan bahwa modul chatbot telah berfungsi sesuai tujuan.