Perpustakaan Digital ITB

Sistem traffic sign recognition (TSR) berbasis deep learning pada kendaraan otonom rentan terhadap serangan adversarial patch, yaitu stiker atau pola yang ditempelkan pada objek untuk menyebabkan kesalahan deteksi. Efektivitas yang hanya teruji secara digital tidak menjamin efektivitas yang sama di dunia nyata karena sudut pandang dan jarak pengamatan terhadap patch terus berubah. Patch perlu memiliki ketahanan (robustness) terhadap variasi sudut pandang dan jarak, yaitu tetap efektif meskipun diamati dari sudut dan jarak yang berbeda-beda. Penelitian sebelumnya, AngleRoCL (Angle-Robust Concept Learning), memperlihatkan bahwa ketahanan terhadap sudut pandang dapat dipelajari sebagai konsep dalam bentuk embedding yang disisipkan ke dalam prompt model text-to-image diffusion. Pada tugas akhir ini, AngleRoCL dikembangkan menjadi Angle-DistRoCL (Angle-Distance Robust Concept Learning) untuk mempelajari ketahanan terhadap variasi sudut pandang dan jarak secara bersamaan. Pendekatan yang digunakan memanfaatkan textual inversion pada Stable Diffusion 1.5, dengan Expectation over Transformation (EoT) diperluas dari sudut pandang saja menjadi kombinasi sudut pandang dan jarak, dengan variasi jarak disimulasikan melalui komposit scene yang menyampel ukuran tampak patch pada berbagai jarak. Pelatihan dilakukan menggunakan fungsi loss binary cross-entropy pada logit, dengan memanfaatkan embedding konsep tahan sudut yang sudah dilatih oleh AngleRoCL. Evaluasi diterapkan pada empat model TSR (YOLO11s, YOLO26s, ViT, Swin-T) melalui pengujian digital dan fisik. Hasil menunjukkan tingkat keberhasilan serangan (attack success rate, ASR) all-mean sebesar 35,3% pada YOLO11s dan mean top-50 patch sebesar 85%, dengan peningkatan ASR yang konsisten pada seluruh model target (YOLO26s, ViT, Swin-T). Pada uji fisik, patch terbaik mencapai ASR 90,5% pada YOLO11s. Naturalisme patch tercatat sebesar 41,9% dan stealthiness sebesar 77,1% berdasarkan user study dengan 63 partisipan. Pendekatan ini mampu menghasilkan adversarial patch yang naturalistik dan efektif secara fisik, meskipun tingkat efektivitas tersebut lebih tinggi pada patch yang mempertahankan fitur canonical stop sign dengan perubahan minimal, seperti modifikasi teks.