![](https://digilib.itb.ac.id/assets/icon/pdf.gif)
Dokumen Asli
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Salah satu kekurangan platform pembelajaran pemrograman daring yang telah
dikembangkan adalah minimnya sarana interaksi antara pelajar dan mentor. Pada
tugas akhir ini, dikembangkan sebuah intelligent tutoring system dengan fitur sistem
question-answering (QA) interaktif untuk memungkinkan interaksi langsung antara
pelajar dan model tutor. Sistem QA interaktif dikembangkan menggunakan large
language model (LLM) beserta retrieval-augmented generation (RAG) sebagai
alternatif untuk menjawab pertanyaan pengguna berdasarkan dokumen materi
pembelajaran.
Pipeline sistem QA dikembangkan menggunakan kakas LangChain dan dapat
diintegrasikan secara langsung ke situs web. Pemrosesan dokumen dilakukan untuk
mengubah dokumen materi pembelajaran ke bentuk embedding dalam basis data
vektor. Sistem QA memanfaatkan mekanisme history-aware retriever untuk membuat
jawaban dan query pencarian yang sesuai dengan chat history. Mekanisme RAG
digunakan bersama dengan prompt engineering untuk mengarahkan kemampuan
model untuk menjawab sesuai dengan konteks pembelajaran pemrograman.
Evaluasi yang dilakukan bersifat kualitatif dengan perbandingan proses retrieval dan
evaluasi kualitatif terhadap hasil jawaban sistem QA. Evaluasi subjektif dilakukan
dengan membandingkan hasil jawaban berbagai LLM quantized 4-bit dalam skenario
pertanyaan satu arah serta percakapan multiturn. Selain evaluasi subjektif, dilakukan
penyebaran kuesioner penilaian kualitas jawaban model ke empat belas responden,
dengan data uji berupa lima buah pertanyaan dan jawaban dari setiap model terhadap
setiap pertanyaan. Hasil evaluasi menunjukkan bahwa model Llama 3 menunjukkan
hasil yang lebih konsisten dibandingkan model lainnya, dan hasil RAG dapat lebih
efektif dengan penggunaan dokumen yang berukuran lebih besar.