Perpustakaan Digital ITB
Deteksi objek tiga dimensi (3D) multi-modal merupakan komponen penting pada
sistem persepsi kendaraan otonom karena bertugas mengklasifikasikan objek dan
mengestimasi kotak pembatas 3D yang memuat posisi, dimensi, orientasi, serta
skor keyakinan dari kombinasi data kamera dan Light Detection and Ranging
(LiDAR). Pendekatan fusi berbasis Bird’s Eye View (BEV), seperti BEVFusion,
mampu menyatukan informasi semantik kamera dan struktur geometris LiDAR
dalam representasi tampak atas yang konsisten. Namun, model semacam ini
umumnya memiliki kebutuhan komputasi, memori, dan latensi inferensi yang
tinggi. Kondisi tersebut membatasi penerapannya pada perangkat dengan sumber
daya terbatas, misalnya platform edge computing atau sistem komputasi onboard
kendaraan otonom. Penelitian ini berangkat dari masalah tersebut dengan mengkaji
apakah arsitektur BEVFusion dapat dikompresi melalui model student yang lebih
ringan, lalu dipulihkan performanya melalui distilasi pengetahuan bertingkat tanpa
menambah beban pada fase inferensi.
Metode yang diusulkan menggunakan kerangka teacher–student. Model teacher
didefinisikan sebagai BEVFusion standar hasil reproduksi internal, sedangkan dua
model student, yaitu Student S dan Student Extra Small (XS), dirancang melalui
pengurangan kapasitas backbone kamera, cabang LiDAR, modul fusi, dan backbone
BEV. Distilasi pengetahuan diterapkan pada lima komponen: fitur kamera, fitur
LiDAR, representasi BEV hasil fusi, relasi pada detection head, dan logit keluaran
akhir. Komponen fitur dan relasi menggunakan adaptasi Interchange Transfer-based
Knowledge Distillation (itKD), sedangkan distilasi logit menyelaraskan distribusi
probabilitas kelas yang dilunakkan. Selain pembobotan statis, penelitian ini
mengevaluasi Dynamic Weight Averaging (DWA) untuk menyesuaikan kontribusi
setiap loss berdasarkan dinamika konvergensi. Evaluasi dilakukan pada dataset
nuScenes dengan metrik akurasi Mean Average Precision (mAP) dan nuScenes
Detection Score (NDS), serta metrik efisiensi berupa jumlah parameter, ukuran
model, alokasi memori Graphics Processing Unit (GPU), latensi, dan Frames Per
Second (FPS).
Hasil eksperimen menunjukkan bahwa kompresi langsung tanpa distilasi
menurunkan akurasi secara jelas, terutama pada Student XS. Distilasi fitur pada
cabang kamera dan LiDAR memberikan kontribusi pemulihan terbesar. Student S
dengan konfigurasi distilasi statis terbaik mencapai mAP 67,16% dan NDS 69,80%,
sangat dekat dengan teacher reproduksi yang mencapai mAP 67,36% dan NDS
70,76%. Model ini sekaligus menurunkan parameter dari 40,80 juta menjadi 5,95
juta, sehingga menghasilkan reduksi 6,9× dengan alokasi memori GPU yang lebih
rendah. Pada NVIDIA RTX 3090 dengan TensorRT FP16, throughput meningkat
dari 55,24 FPS pada teacher menjadi 83,70 FPS pada Student S. Student XS
mencapai ukuran yang lebih ringkas, yaitu 3,86 juta parameter, 14,85 MB, dan
alokasi memori GPU 731 MB, dengan throughput 97,25 FPS pada RTX 3090
TensorRT FP16. Validasi pada NVIDIA Drive Orin menunjukkan peningkatan
throughput dari 13,32 FPS pada teacher menjadi 36,43 FPS pada Student S dan
48,41 FPS pada Student XS.
Analisis lebih lanjut menunjukkan bahwa manfaat DWA bersifat kondisional. Pada
Student S, pembobotan statis lebih stabil dan menghasilkan akurasi terbaik. Pada
Student XS, DWA meningkatkan mAP secara marginal terhadap konfigurasi S3,
tetapi konfigurasi S2 tetap menjadi pilihan terbaik berdasarkan NDS. Selain itu,
evaluasi per kelas memperlihatkan bahwa Student XS mengalami degradasi besar
pada kendaraan berukuran besar seperti truck dan bus. Dengan demikian, Student
S lebih sesuai sebagai kompromi antara efisiensi dan akurasi, sedangkan Student
XS lebih tepat untuk skenario dengan batas komputasi ketat dan toleransi terhadap
penurunan akurasi. Seluruh hasil perlu dibaca dalam konteks evaluasi single-run,
sehingga klaim peningkatan marginal masih memerlukan validasi statistik melalui
pelatihan berulang.