Perpustakaan Digital ITB

Model KNN yang memprediksi data uji dengan menggunakan k buah data terdekat ingin ditingkatkan lebih lanjut kinerjanya agar dapat bersaing dengan model yang sifatnya black-box, namun tetap mempertahankan sifat explainability dari KNN. Untuk itu, pada tugas akhir ini terdapat 3 buah varian Model Nearest Neighbors (NN) yang diujikan sebagai alternatif model berbasis NN dengan kinerja yang lebih baik, yaitu: Pseudo Nearest Neighbors (PNN), Local Mean Pseudo Nearest Neighbors (LMPNN), dan Multi Voter Multi Commision Nearest Neighbors (MVMCNN). Masing-masing varian model NN dibangun menggunakan dataset untuk mengklasifikasi serangan DDOS. Proses pembangunan model tersebut terinspirasi dari standar crisp-DM. Hasil kinerja masing-masing model dibandingkan dengan metrik evaluasi kinerja (accuracy, recall, precision, F1-score). Hasil dari model yang dibangun juga dijelaskan cara kerjanya menggunakan 2 pendekatan: white-box dan black-box (SHAP dan LIME). Hasil penjelasan tersebut dibandingkan dengan bantuan 3 domain expert pada bidang keamanan data melalui wawancara one-on-one. Kinerja dari ketiga varian model NN berhasil melampaui kinerja KNN pada nilai k = 2. Hasil wawancara dengan domain expert menunjukkan bahwa Model MVMCNN memberikan hasil penjelasan terbaik dengan menggunakan metode pendekatan white-box. Berikutnya untuk penjelasan dengan metode post-hoc, kedua Model KNN dan Model MVMCNN memberikan hasil penjelasan terbaik. Berdasarkan perbandingan hasil yang diberikan masing-masing metode untuk menjelaskan Model NN, metode dengan pendekatan white-box yang dirancang belum dapat mengungguli metode post-hoc (SHAP dan LIME).