Perpustakaan Digital ITB

Penilaian kode program secara manual oleh dosen atau asisten memakan waktu, rentan bias, dan tidak konsisten, sementara sistem otomatis seperti Online Judge hanya mampu menilai kebenaran fungsional (black-box) tanpa memperhatikan kualitas kode seperti keterbacaan, maintainability, dan efisiensi algoritma. Tugas akhir ini merancang dan mengimplementasikan sebuah layanan penilaian kode program berbasis Large Language Model (LLM) yang mampu memberikan skor numerik sekaligus umpan balik kualitatif terstruktur berdasarkan rubrik penilaian. Layanan dibangun dengan arsitektur modular yang terdiri atas empat komponen utama, yaitu Input Handler, Prompt Orchestrator, LLM Interface, dan Response Parser. Sejumlah teknik prompt engineering, termasuk rubrik terstruktur berbasis bukti dan Chain-of-Thought, diuji dan dibandingkan untuk memperoleh konfigurasi terbaik. Evaluasi dilakukan dengan membandingkan hasil penilaian layanan terhadap penilaian manual oleh manusia, diukur melalui konsistensi (ICC) dan kesesuaian (korelasi Pearson dan Mean Absolute Error). Hasil pengujian menunjukkan layanan lulus seluruh lapisan pengujian fungsional dan non-fungsional, mencapai skor ICC hingga 1,000 pada lingkungan deterministik dan 0,882 pada lingkungan stokastik, serta MAE sebesar 10,97 poin dengan korelasi Pearson 0,724. Analisis ANOVA menegaskan bahwa rubrik terstruktur dan Chain-of-Thought berpengaruh signifikan terhadap kualitas penilaian, meskipun masih ditemukan bias sistematis berupa penilaian yang lebih ketat pada kode berkualitas rendah-menengah (rentang nilai 50–69).