Saat ini, kendaraan otonom terus berkembang pesat untuk memenuhi perkembangan transportasi masa depan. Inovasi tersebut muncul akibat 94% alasan terjadinya kecelakaan lalu lintas disebabkan oleh faktor manusia, dengan rincian data; 41% akibat kegagalan rekognisi dan 33% akibat kegagalan dalam pengambilan keputusan. Selain itu, ditunjang pula oleh kebijakan presiden untuk menerapkan kendaraan otonom sebagai transportasi di ibu kota baru. Banyaknya skenario yang terjadi di jalan serta tingginya permintaan industri, membuat beberapa perusahaan mulai melakukan riset serta pengembangan mobil otonom seperti Tesla, Waymo, Motional dan lainnya. Perusahaan tersebut berusaha untuk membangun teknologi Advanced Driver Assistance Systems (ADAS) pada kendaraan yang mampu untuk menganalisa lingkungan sekitar jalan sama seperti manusia. Pada penelitian ini dikembangkan sebuah sistem ADAS yang mampu mengambil keputusan berdasarkan posisi dan jarak kendaraan di depan kendaraan uji serta jenis marka jalan yang terdeteksi. Untuk mendeteksi serta melacak objek digunakan metode Yolov5 dan DeepSORT, sedangkan untuk mendeteksi marka jalan digunakan metode instance segmentation dengan jenis backbone ERFNet. Digunakan dua set data latih dengan jenis berbeda, masing-masing digunakan untuk melatih deteksi objek dan deteksi marka jalan. Untuk melatih metode deteksi objek digunakan dataset COCO sedangkan metode deteksi marka jalan dilatih oleh dataset TUSimple. Selanjutnya untuk klasifikasi marka jalan yang sudah dideteksi sebelumnya, digunakan pembelajaran mendalam LCNet untuk mengklasifikasi jenisnya berdasarkan dua kategori yaitu marka jalan garis utuh dan putus-putus. Dari data posisi, jarak kendaraan di depan relatif terhadap kendaraan uji, serta jenis jalur, didefinisikan sebuah pengambilan keputusan pada kendaraan untuk memutuskan apakah kendaraan bisa berpindah lajur ke lajur kiri ataupun kanan serta memberikan peringatan tabrakan. Hasil pengujian algoritma yang dikembangkan baik menggunakan dataset maupun data riil memberikan hasil deteksi yang akurat. Untuk deteksi objek menggunakan metode Yolov5 dan DeepSORT mampu menghasilkan akurasi hingga 90%, sedangkan deteksi marka jalan menggunakan pendekatan instance segmentation ERFNet dan klasifikasi marka jalan menggunakan LCNet berturut-turut menghasilkan akurasi sekitar 96% dan 74%. Eksperimen dilakukan dengan merekam data menggunakan sensor kamera di beberapa jalan Bandung dengan variasi jalan lurus dan berbelok. Algoritma pemberian keputusan yang diajukan juga sudah mampu memberikan visualisasi untuk peringatan perpindahan lajur serta peringatan tabrakan.