Perpustakaan Digital ITB

Traffic sign recognition (TSR) adalah bagian dari advanced driving assistance system (ADAS) yang berfungsi mengenali rambu lalu lintas dari tangkapan kamera yang dipasang pada kendaraan otonom. Model TSR terkini telah banyak menggunakan deep learning, tetapi model deep learning terbukti rentan terhadap serangan adversarial yang dapat membuat model mengeluarkan prediksi yang keliru. Oleh karena itu, diperlukan evaluasi dan peningkatan ketahanan model TSR terhadap serangan adversarial. Tugas akhir ini mengevaluasi model YOLOv8, YOLOv11, ViT, dan Swin terhadap dataset berisi 21 rambu lalu lintas di Indonesia terhadap serangan FGSM, PGD, dan adversarial patch. Hasil evaluasi model benign menunjukkan model ViT dan Swin memiliki robustness tertinggi terhadap serangan adversarial, dilihat dari akurasi dan attack success rate. Selanjutnya, dilakukan peningkatan adversarial robustness kepada model YOLOv8 dan ViT dengan dua metode adversarial training, yaitu dengan PGD saja serta FGSM dan PGD. Hasil adversarial training menunjukkan bahwa model yang diperkuat dengan FGSM dan juga PGD memiliki performa tertinggi dibandingkan model yang hanya diperkuat dengan PGD, bahkan terhadap adversarial patch yang tidak diikutsertakan dalam training. Hasil tugas akhir ini diharapkan dapat membantu penerapan strategi pertahanan proaktif pada sistem TSR.