Perpustakaan Digital ITB

Transformasi digital pada PT Pegadaian melahirkan inovasi sistem gadai tebus barang otomatis. Namun, sistem otomatis berbasis PLC yang hanya mengandalkan sensor non-visual sebagai umpan balik tidak mampu mendeteksi pergeseran aktual yang terjadi di lapangan. Pada intensitas tinggi, deviasi kecil yang terjadi berulang akan membentuk akumulasi error yang terus membesar. Jika tidak ada intervensi, error ini berpotensi menciptakan kegagalan sistem yang fatal seperti tabrakan mekanis antar komponen robotik. Oleh karena itu, penelitian ini bertujuan untuk merancang, membangun, dan mengimplementasikan modul visi komputer untuk mengatur ulang gerak robot. Selain kendala pada pergerakan, terdapat juga kebutuhan mendesak akan adanya sistem validasi otomatis untuk memantau isi inventaris secara berkala sehingga sistem mampu mengetahui apakah paket masih sama atau tidak. Metodologi yang digunakan adalah engineering research dengan pendekatan research by project. Dikembangkan secara iteratif mengadopsi prinsip kerja Scrum. Modul deteksi lokasi paket yang dikembangkan menggunakan algoritma YOLOv8 sebagai single-stage detector. Sementara itu, untuk memitigasi risiko manipulasi barang dibangun modul verifikasi vision pada proses opname, sistem verifikasi citra dibangun berbasis OpenCV dengan pendekatan analisis multiparameter yang menggabungkan empat indikator meliputi Structural Similarity Index (SSIM), Object Area Difference, Color Histogram Comparison, dan AKAZE Feature Matching. Kedua modul tersebut digabungkan dalam aplikasi desktop berbasis JavaFX yang menjadi pusat sistem. Hasil penelitian menunjukkan model YOLOv8 yang dilatih untuk mendeteksi objek berhasil konvergen pada 200 epoch. Model ini menghasilkan performa Precision (98,2%), Recall (97,5%), dan mean Average Precision (99,1%). Sementara untuk komposisi terbaik dalam menggunakan multiparameter dalam proses validasi adalah SSIM 35%, Object Area 30%, Histogram 20%, dan AKAZE 15%.