Perpustakaan Digital ITB

Sebagian besar kecelakaan disebabkan oleh kesalahan manusia sehingga keberadaan kendaraan otonom (autonomous vehicle) berpotensi menurunkan angka kecelakaan. Kendaraan otonom perlu memahami lalu lintas dan pemahaman tersebut dapat diwujudkan dalam visualisasi 3D yang dapat memberikan rasa aman bagi penumpang. Pada tugas akhir ini, pemahaman dan rekonstruksi lalu lintas dilakukan dengan melakukan pemrosesan rekaman video dari kamera monokuler yang terpasang pada kendaraan. Beberapa tahap pemrosesan yang dilakukan adalah pemahaman kendaraan, pemahaman jalan, dan rekonstruksi akhir 3D. Deteksi kendaraan dilakukan dengan model pralatih YOLOv9 yang mampu mendeteksi berbagai jenis kendaraan dan objek, tetapi hanya kendaraan bertipe mobil yang diproses lebih lanjut. Kendaraan yang terdeteksi diasosiasikan dan dilacak lebih lanjut dengan metode SORT yang berbasis penapis Kalman agar menghasilkan pergerakan yang lembut. Deteksi jalan diimplementasikan dengan pengolahan citra klasik yang berbasis deteksi tepi marka dan transformasi Hough sehingga menghasilkan titik- titik ujung garis lurus yang merepresentasikan tiap lajur. Titik-titik tersebut kemudian diasosiasikan dan dilacak lintas frame dengan metode SORT. Rekonstruksi bentuk kendaraan menggunakan GPLVM berdasarkan siluet bentuk kendaraan yang telah disegmentasi dengan YOLOv9-seg. Berbagai tahap dan metode tersebut diintegrasikan sehingga dihasilkan program yang mampu merekonstruksi lalu lintas dalam tiga dimensi. State dan bentuk kendaraan dan jalan dapat diestimasi sehingga dapat ditempatkan dengan tepat dalam ruang tiga dimensi. Beberapa peningkatan yang masih dapat dilakukan pada program adalah pengurangan waktu pemrosesan, peningkatan akurasi pada berbagai komponen, dan integrasi dengan data/sensor lain.