Perpustakaan Digital ITB

Penilaian tugas pemrograman berskala besar umumnya mengandalkan online judge yang membandingkan keluaran program terhadap kasus uji. Pendekatan black-box ini tidak menunjukkan kebutuhan mana yang telah dan belum diimplementasikan, pada bagian kode mana, dan mengapa, sehingga kesesuaian kode terhadap kebutuhan tidak terukur dan mahasiswa tidak memperoleh umpan balik per kebutuhan yang dapat ditindaklanjuti. Kesenjangan kosakata antara kebutuhan berbahasa alami dan kode menjadikan penautan keduanya persoalan keterlacakan yang menuntut pemahaman makna. Penelitian ini membangun dan mengevaluasi TraceGrade, kakas penilaian kode sumber berbasis Large Language Model (LLM) yang menautkan tiap kebutuhan ke unit kode yang mengimplementasikannya, memutuskan keterpenuhannya secara dapat dijelaskan, lalu menghasilkan umpan balik penjelas bagi mahasiswa. Pengembangan mengikuti metodologi Design Science Research dan menghasilkan pipeline advanced Retrieval-Augmented Generation (RAG) lima tahap yang memadukan pencarian semantik, perluasan struktur pemanggilan, reranking lintas-encoder, penentuan empat verdik keterpenuhan, dan pembuatan umpan balik yang merujuk unit kode bukti. Evaluasi pemulihan tautan pada korpus iTrust pada granularitas kelas membandingkan TraceGrade terhadap baseline naive RAG dan penelitian terdahulu pada protokol yang sama. Konfigurasi terbaik mencapai F1-score 0,4642, melampaui capaian terbaik terdahulu sebesar 0,290, dengan reranking lintas-encoder sebagai pengungkit terbesar sedangkan penalaran perantara tidak memperbaiki metrik penautan. Studi persepsi terhadap 23 responden menunjukkan umpan balik dipersepsikan tepat, jelas, dan berguna, dengan rerata sekitar 4,1 hingga 4,4 dari skala lima. Kebaruan penelitian terletak pada pemanfaatan keterlacakan kebutuhan-ke-kode sebagai landasan penilaian, bukan sebagai keluaran akhir seperti pada penelitian keterlacakan terdahulu, sehingga TraceGrade menyumbangkan pendekatan penilaian kode berbasis spesifikasi yang menjelaskan kebutuhan mana yang terpenuhi, pada bagian kode mana, dan mengapa, beserta umpan balik yang dapat ditindaklanjuti mahasiswa.