Perpustakaan Digital ITB

Inkonsistensi antara komentar dan kode (code-comment inconsistency atau CCI) dapat menurunkan kualitas dokumentasi perangkat lunak, mempersulit proses pemeliharaan, serta meningkatkan risiko kesalahan pemahaman terhadap implementasi kode. Deteksi CCI secara manual memerlukan waktu dan sering kali tidak dilakukan secara konsisten selama proses pengembangan. Penelitian ini bertujuan merancang, mengimplementasikan, dan mengevaluasi sebuah pipeline pendeteksian dan perbaikan CCI yang terintegrasi secara just-intime dengan GitLab CI/CD. Pipeline yang diusulkan mencakup empat jenis pemeriksaan konsistensi, yaitu self consistency check, docs consistency check, callee consistency check, dan caller consistency check. Untuk mendukung proses analisis, penelitian ini menerapkan kombinasi pendekatan structured chain of thought, one-shot prompting, dan retrieval-augmented generation (RAG) pada setiap modul prompt. Evaluasi dilakukan menggunakan 198 data uji yang menghasilkan 13 true positive, 170 true negative, 2 false positive, dan 13 false negative. Berdasarkan hasil tersebut, sistem memperoleh precision sebesar 86,7%, recall sebesar 50,0%, F1-score sebesar 63,4%, dan accuracy sebesar 92,4%. Hasil evaluasi menunjukkan bahwa pipeline memiliki kemampuan klasifikasi yang baik dengan tingkat kesalahan prediksi positif yang rendah, meskipun masih memerlukan peningkatan dalam mendeteksi seluruh kasus inkonsistensi yang ada. Selain itu, hasil analisis berhasil diintegrasikan ke dalam format gl-code-quality-report.json serta komentar inline pada merge request, sehingga pengembang dapat memperoleh umpan balik secara otomatis tanpa mengubah alur kerja GitLab yang telah ada. Dengan demikian, penelitian ini berhasil menghasilkan mekanisme deteksi dan usulan perbaikan CCI yang terintegrasi secara just-in-time dalam proses continuous integration.