SISTEM PENDETEKSIAN DAN PELACAKAN OBJEK DUA DIMENSI BERBASIS DATA KAMERA DAN LIDAR UNTUK KENDARAAN OTONOM TUGAS AKHIR Oleh Arlin Nur Ramadhani 13316007 Wayan Rezaldi Widyanatha 13316021 PROGRAM STUDI TEKNIK FISIKA FAKULTAS TEKNOLOGI INDUSTRI INSTITUT TEKNOLOGI BANDUNG 2020 Koleksi digital milik UPT Perpustakaan ITB : Hanya di pergunakan di area kampus ITB untuk keperluan pendidikan dan penelitian i ABSTRAK SISTEM PENDETEKSIAN DAN PELACAKAN OBJEK DUA DIMENSI BERBASIS DATA KAMERA DAN LIDAR UNTUK KENDARAAN OTONOM Oleh Arlin Nur Ramadhani NIM: 13316007 Wayan Rezaldi Widyanatha NIM: 13316021 (Program Studi Teknik Fisika) Kendaraan otonom memerlukan sistem yang terdiri dari sensor yang mampu mempersepsikan lingkungan sekitarnya, seperti mendeteksi dan melacak objek di sekitar kendaraan, agar bisa bernavigasi dengan intervensi manusia yang minim. Namun, tiap sensor memiliki kelebihan dan kelemahannya sendiri-sendiri dan sistem kendaraan otonom yang kompleks tidak bisa mempercayai satu jenis sensor sepenuhnya untuk membaca lingkungan. Salah satu solusinya adalah memanfaatkan teknik sensor fusion; menggabungkan data kedua sensor sehingga dapat mengurangi ketidakpastian dalam mempersepsikan lingkungan. Penelitian ini menggunakan dua sensor kamera dengan teknik stereo vision dan LiDAR dua dimensi. Kamera stereo vision merupakan sensor yang memiliki dua lensa kamera untuk membaca kedalaman objek yang terbaca sehingga mampu mendeteksi jarak objek terhadap sensor. LiDAR merupakan sensor yang memanfaatkan pancaran laser untuk memindai lingkungan di sekitarnya. Sensor kamera memiliki akurasi yang lebih rendah dari LiDAR dan sudut pandang yang sempit, namun resolusi dan laju datanya lebih tinggi. Bacaan kamera stereo vision akan diolah terlebih dahulu menjadi point cloud berbentuk 2D sehingga struktur datanya sama dengan pembacaan LiDAR. Point cloud dari keluaran kedua sensor selanjutnya diolah untuk mendapatkan pengelompokan point cloud objek dengan menggunakan metode Density-based clustering. Selanjutnya hasil deteksi objek dari masing-masing sensor digabungkan dan objek diestimasi keadaan dinamiknya menggunakan filter partikel. Dari penelitian ini dihasilkan sistem yang mampu melakukan pendeteksian dan pelacakan objek baik dalam keadaan diam maupun bergerak dengan nilai Root Mean Square Error terendah mencapai 0.046 m untuk posisi x objek, 0.012 m untuk posisi y objek, 0.007 m untuk radius objek, 0.141 m/s untuk kecepatan objek, dan 0.099 m/s 2 untuk percepatan objek yang dilacak. Sensor fusion berhasil mengurangi mayoritas error variabel yang bisa diukur langsung oleh sensor seperti posisi dan radius. Sistem juga dipasang pada mobil golf dan berhasil mendeteksi dan melacak pejalan kaki dan motor yang bergerak dengan baik ketika diuji untuk menyusuri kampus Politeknik Negeri Bandung. Kata kunci: Objek, pendeteksian, pelacakan, sensor fusion, stereo vision, LiDAR. Koleksi digital milik UPT Perpustakaan ITB : Hanya di pergunakan di area kampus ITB untuk keperluan pendidikan dan penelitian ii ABSTRACT 2D OBJECT DETECTION AND TRACKING BASED ON CAMERA AND LIDAR DATA FOR AN AUTONOMOUS VEHICLE By Arlin Nur Ramadhani NIM: 13316007 Wayan Rezaldi Widyanatha NIM: 13316021 (Engineering Physics Study Program) Environmental perception is a fundamental function of an autonomous vehicle that requires sensing devices from which the vehicle obtains crucial information of the surrounding environment, including detecting and tracking nearby objects. But every sensor has its own limitations, hence it would be naïve to fully believe data from an individual sensor. One of the proposed solutions is to fuse data from multiple sensors such that the extracted information has less uncertainty, Our study uses two different and separate sensors to detect objects: stereo vision camera and LiDAR. Stereo vision camera can extract depth information from every captured pixel by using two imaging sensors. LiDAR measures distance by illuminating targets with rotating laser beams and create a digital representation of the environment. Stereo vision camera has less accuracy and smaller field of view than LiDAR but has a higher data rate and richer resolution.