Perpustakaan Digital ITB

Sistem Persepsi merupakan salah satu komponen dalam kendaraan otonom yang memiliki objektif untuk mengenali kondisi lingkungan di sekitar kendaraan otonom. Dalam konteks trem otonom, sistem persepsi menerima masukan dari berbagai jenis modal sensor untuk melakukan proses deteksi objek. Modul persepsi dari sisi sensor radar bertujuan untuk mendeteksi objek, jarak dan kecepatan. Pengembangan modul persepsi sensor radar dengan pendekatan fusi dilakukan karena sulitnya melakukan deteksi objek dengan radar tunggal. Point cloud yang ditangkap oleh radar sangatlah jarang dan tersebar sehingga sulit untuk menentukan keberadaan objek dengan hanya berdasarkan point cloud radar. Salah satu algoritma state-of-the-art untuk fusi kamera dan radar adalah CenterFusion. Algoritma ini melakukan deteksi awal dengan menggunakan gambar yang ditangkap kamera untuk mendapatkan hasil deteksi awal, kemudian melakukan deteksi kedua dengan mengasosiasikan hasil deteksi awal dengan point cloud radar untuk memperbaiki hasil deteksi awal. Pada tugas akhir ini akan dicari arsitektur terbaik untuk algoritma CenterFusion dengan mempertimbangkan berbagai aspek sesuai dengan kebutuhan sistem persepsi trem otonom. Setelah itu modul persepsi akan dikembangkan dengan menggunakan model CenterFusion dan akan diintegrasikan dengan modul persepsi sensor lain. Dari Hasil benchmark yang dilakukan, diperoleh arsitektur terbaik yaitu EfficientNetV2-T karena memiliki kinerja yang paling baik dari sisi akurasi, waktu inferensi, serta penggunaan storage. Model CenterFusion dengan arsitektur EfficientNetV2-T memperoleh skor NDS 0.42 dan waktu inferensi 24.92ms. Setelah itu, integrasi modul persepsi fusi kamera dan radar dilakukan dimulai dengan deployment model, optimasi model dengan kuantisasi, hingga integrasi dengan multithreading.