Perpustakaan Digital ITB

Abstrak: Kualitas commit-message yang baik berperan penting dalam pengembangan perangkat lunak. Namun, banyak pengembang mengalami kesulitan dalam menulis commit-message yang informatif dan bermakna. Oleh karena itu, berbagai penelitian telah dilakukan untuk mengembangkan sistem pembangkitan commit-message otomatis. Sayangnya, banyak dari penelitian-penelitian sebelumnya lebih berfokus pada penyediaan konteks pada tingkat implementasi (low-level) tanpa mempertimbangkan penyediaan konteks pada tingkat proyek (high-level). Selain itu, penelitian lain yang memanfaatkan konteks high-level tidak memperhatikan aspek tracebility ataupun kemampuan pendekatan yang diusulkan untuk diaplikasikan dalam kasus nyata. Penelitian ini bertujuan untuk mengembangkan metode pembangkitan commit-message berbasis LLM dengan menambahkan konteks high-level untuk meningkatkan kualitas hasil yang dibangkitkan sekaligus menyediakan tracebility di dalamnya. Untuk mencapai tujuan tersebut, penelitian ini mengusulkan pendekatan berbasis retrieval-augmented generation (RAG) dan few-shot. Pendekatan ini digunakan dalam membangun rantai pemanggilan fungsi dan API (chain) untuk menghasilkan commit-message yang berkualitas. Selain itu, pendekatan yang diusulkan dirancang agar dapat diaplikasikan dalam kasus nyata. Proses evaluasi dilakukan dengan membandingkan pendekatan yang diusulkan dengan pendekatan yang hanya memanfaatkan konteks low-level. Hasil penilaian yang dilakukan menunjukkan bahwa pendekatan yang diusulkan mampu meningkatkan kualitas commit-message pada aspek rationality (31,01%, termasuk aspek tracebility di dalamnya), comprehensiveness (9,29%), conciseness (6,22%), dan correctness (18,63%). Selain itu, perbandingan tambahan (teknik zero-shot dengan teknik few-shot) juga mengindikasikan adanya trade-off antara aspek comprehensiveness dan conciseness, tantangan yang berhasil diatasi dengan penambahan konteks high-level tersebut.