Perpustakaan Digital ITB

Masalah ketidakseimbangan antara jumlah lulusan teknologi informasi (TI) dan kebutuhan talenta Information and Communication Technology (ICT) di Indonesia mendorong perlunya inovasi dalam bidang pendidikan. Codebuddy.ai adalah sebuah intelligent tutoring system (ITS) yang bertujuan untuk menyelesaikan masalah tersebut dengan menggunakan artificial intelligence (AI). CodeBuddy.ai, bertujuan untuk memberikan pembelajaran pemrograman C++ yang terpersonalisasi kepada siswa. Salah satu fitur utama dari Codebuddy.ai adalah automated hint generation. Automated hint generation telah terbukti meningkatkan pemahaman dan kecepatan pembelajaran. Dalam implementasi automated hint generation perlu dilakukan evaluasi terhadap berbagai faktor, seperti foundation model, prompt, dan fine tuning untuk menentukan teknik terbaik dalam menggunakan large language model (LLM). Selain itu, karena keterbatasan resource, deployment LLM tidak dapat langsung me-load model. Untuk melakukan deployment LLM dengan sumber daya terbatas, cara yang dipilih adalah dengan quantization. Penelitian ini melakukan evaluasi terhadap teknik terbaik untuk membuat automated hint generation menggunakan LLM. Evaluasi dilakukan secara kualitatif dengan metrik yang sudah ditentukan berdasarkan penelitian ahli. LLM lalu dioptimasi sehingga dapat di-deploy di sumber daya yang terbatas. Hasil evaluasi menunjukkan bahwa model Phi-3 yang telah dilakukan prompt engineering serta fine tuning memiliki hasil inferensi yang tepat untuk memberikan hint serta dapat di-deploy di low memory GPU.