Perpustakaan Digital ITB

Traffic Sign Recognition System (TSRS) merupakan komponen krusial pada kendaraan otonom, namun sangat rentan terhadap serangan adversarial. Serangan berbasis patch yang ada saat ini seringkali tidak realistis dan tidak tangguh dalam kondisi dunia nyata yang dinamis. Penelitian ini bertujuan untuk mengembangkan sebuah metode pembangkitan adversarial patch yang naturalistik dan efektif untuk mengevaluasi ketahanan TSRS. Metode ini menggunakan Generative Adversarial Network (GAN) dengan menambahkan modul transformasi yang menyimulasikan penempatan dan pencahayaan realistis, serta menargetkan model deteksi objek modern, YOLOv8. Eksperimen dilakukan menggunakan dataset rambu lalu lintas Indonesia yang dikustomisasi dan dataset Quick, Draw! sebagai sumber seed patch untuk meniru vandalisme umum. Hasil eksperimen menunjukkan bahwa patch yang dihasilkan berhasil menurunkan kinerja model target YOLOv8x dengan Attacking Success Rate (ASR) mencapai 8.02% pada metrik mAP50-95 dalam skenario white-box. Serangan ini juga menunjukkan kemampuan transferabilitas yang cukup tinggi, dengan ASR mencapai 9.85% pada model YOLO12x dalam skenario black-box. Namun, survei subjektif yang melibatkan 24 partisipan mengungkap adanya trade-off fundamental: patch yang paling efektif menyerang secara konsisten dinilai paling tidak natural, dengan skor kenaturalan rata-rata untuk adversarial patch (32.6%) lebih rendah dibandingkan dengan seed patch asli (43.1%). Penelitian ini menggarisbawahi tantangan dalam menyeimbangkan efektivitas serangan dan realisme visual, serta memberikan kontribusi berupa kerangka kerja untuk menghasilkan serangan yang lebih realistis guna pengujian ketahanan TSRS.