Perpustakaan Digital ITB

Kendaraan otonom membutuhkan informasi atas keadaan objek-objek di sekelilingnya untuk dapat melakukan navigasi dengan selamat. Informasi ini umumnya diperoleh dengan melakukan deteksi objek tiga dimensi (3D). Selain informasi bounding box 3D objek, deteksi objek juga mengestimasi kecepatan objek. Metode deteksi objek 3D berbasis fusi radar-kamera berpotensi memberikan performa deteksi objek yang akurat dan dapat diandalkan pada segala kondisi pencahayaan dan cuaca dengan harga yang lebih murah dari metode berbasis lidar. Akan tetapi, akurasi metode deteksi objek 3D berbasis fusi radar-kamera saat ini masih jauh lebih rendah dari metode berbasis lidar. Karena itu, tesis ini mengembangkan metode deteksi objek 3D berbasis deep learning yang melakukan fusi radar-kamera pada level fitur. Tesis ini berfokus pada tiga masalah: perancangan mekanisme ekstraksi serta rumusan fitur klaster radar, pengembangan backbone detektor objek berbasis citra untuk fusi, dan eksplorasi konfigurasi arsitektur kepala regresi untuk fitur fusi radar-kamera yang efektif dan efisien. Dengan kombinasi solusi dari ketiga masalah tersebut, diperoleh arsitektur final yang diujikan pada validation slice dari dataset nuScenes dan meraih nuScenes detection score (NDS) sebesar 0,479. Arsitektur tersebut mampu beroperasi secara robust dalam segala kondisi cuaca dan pencahayaan, serta mampu memprediksi posisi, orientasi, dan kecepatan objek lebih baik dari arsitektur referensi. Terakhir, tesis ini mengimplementasikan suatu metode deteksi objek 3D berbasis fusi radar- kamera pada platform NVIDIA AGX DRIVE Pegasus dan meraih NDS sebesar 0,414 dengan frekuensi 24 Hz.