Perpustakaan Digital ITB

Salah satu kekurangan platform pembelajaran pemrograman daring yang telah dikembangkan adalah minimnya sarana interaksi antara pelajar dan mentor. Pada tugas akhir ini, dikembangkan sebuah intelligent tutoring system dengan fitur sistem question-answering (QA) interaktif untuk memungkinkan interaksi langsung antara pelajar dan model tutor. Sistem QA interaktif dikembangkan menggunakan large language model (LLM) beserta retrieval-augmented generation (RAG) sebagai alternatif untuk menjawab pertanyaan pengguna berdasarkan dokumen materi pembelajaran. Pipeline sistem QA dikembangkan menggunakan kakas LangChain dan dapat diintegrasikan secara langsung ke situs web. Pemrosesan dokumen dilakukan untuk mengubah dokumen materi pembelajaran ke bentuk embedding dalam basis data vektor. Sistem QA memanfaatkan mekanisme history-aware retriever untuk membuat jawaban dan query pencarian yang sesuai dengan chat history. Mekanisme RAG digunakan bersama dengan prompt engineering untuk mengarahkan kemampuan model untuk menjawab sesuai dengan konteks pembelajaran pemrograman. Evaluasi yang dilakukan bersifat kualitatif dengan perbandingan proses retrieval dan evaluasi kualitatif terhadap hasil jawaban sistem QA. Evaluasi subjektif dilakukan dengan membandingkan hasil jawaban berbagai LLM quantized 4-bit dalam skenario pertanyaan satu arah serta percakapan multiturn. Selain evaluasi subjektif, dilakukan penyebaran kuesioner penilaian kualitas jawaban model ke empat belas responden, dengan data uji berupa lima buah pertanyaan dan jawaban dari setiap model terhadap setiap pertanyaan. Hasil evaluasi menunjukkan bahwa model Llama 3 menunjukkan hasil yang lebih konsisten dibandingkan model lainnya, dan hasil RAG dapat lebih efektif dengan penggunaan dokumen yang berukuran lebih besar.