Dokumen Asli
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
ABSTRAK - Samuel Christopher Swandi
PUBLIC Dessy Rondang Monaomi
Masalah ketidakseimbangan antara jumlah lulusan teknologi informasi (TI) dan
kebutuhan talenta Information and Communication Technology (ICT) di Indonesia
mendorong perlunya inovasi dalam bidang pendidikan. Codebuddy.ai adalah sebuah
intelligent tutoring system (ITS) yang bertujuan untuk menyelesaikan masalah
tersebut dengan menggunakan artificial intelligence (AI). CodeBuddy.ai, bertujuan
untuk memberikan pembelajaran pemrograman C++ yang terpersonalisasi kepada
siswa.
Salah satu fitur utama dari Codebuddy.ai adalah automated hint generation.
Automated hint generation telah terbukti meningkatkan pemahaman dan kecepatan
pembelajaran. Dalam implementasi automated hint generation perlu dilakukan
evaluasi terhadap berbagai faktor, seperti foundation model, prompt, dan fine tuning
untuk menentukan teknik terbaik dalam menggunakan large language model
(LLM). Selain itu, karena keterbatasan resource, deployment LLM tidak dapat
langsung me-load model. Untuk melakukan deployment LLM dengan sumber daya
terbatas, cara yang dipilih adalah dengan quantization.
Penelitian ini melakukan evaluasi terhadap teknik terbaik untuk membuat automated
hint generation menggunakan LLM. Evaluasi dilakukan secara kualitatif dengan
metrik yang sudah ditentukan berdasarkan penelitian ahli. LLM lalu dioptimasi
sehingga dapat di-deploy di sumber daya yang terbatas. Hasil evaluasi menunjukkan
bahwa model Phi-3 yang telah dilakukan prompt engineering serta fine tuning
memiliki hasil inferensi yang tepat untuk memberikan hint serta dapat di-deploy di
low memory GPU.