Perpustakaan Digital ITB

Pengujian perangkat lunak merupakan elemen fundamental dalam rekayasa perangkat lunak yang dapat mencakup hingga 80% dari total anggaran proyek untuk mengurangi risiko terkait kompleksitas sistem yang tinggi. Pendekatan Test-Driven Development (TDD) terbukti mampu menurunkan cacat produk, tetapi metodologi ini memerlukan waktu dan usaha yang besar dalam penulisan test case di tahap awal pengembangan. Berbagai metode otomatisasi telah dikembangkan, namun sebagian besar masih membutuhkan kode program sebagai masukan. Oleh karena itu, terdapat kebutuhan akan pendekatan otomatis yang mampu menggunakan dokumen kebutuhan sebagai masukan untuk menghasilkan skenario pengujian yang komprehensif. Kami mengembangkan sistem Retrieval-Augmented Generation (RAG) untuk menghasilkan test purpose dan test case ID secara otomatis dari dokumen spesifikasi kebutuhan Bluetooth. Kami menemukan bahwa sistem ini menghasilkan test purpose dengan nilai rubrik antara 2,72 hingga 3,18 (skala 1-5), serta mencapai nilai faithfulness rata-rata hingga 0,87 pada pasangan test purpose. Selain itu, test case ID yang dihasilkan menunjukkan tingkat kemiripan melebihi 0,9 terhadap test suite Bluetooth, meskipun tantangan dalam memproses data visual dan tabel masih ditemukan. Hasil menunjukkan bahwa LLM dapat menjembatani kesenjangan antara dokumen spesifikasi kebutuhan dan artefak pengujian untuk mendukung proses TDD. Pendekatan ini dapat menjadi landasan bagi pengembangan sistem multimodal di masa depan yang mampu menafsirkan spesifikasi teknis kompleks guna mempercepat siklus peluncuran produk perangkat lunak.