Perpustakaan Digital ITB

Penulis mengkaji permasalahan deteksi anomali pada web server log dalam konteks meningkatnya volume data dan perubahan distribusi (concept drift). Penelitian ini bertujuan untuk mengevaluasi teknik deteksi anomali yang adaptif terhadap concept drift serta mengimplementasikannya dalam sistem pemrosesan data secara streaming. Metodologi yang digunakan adalah CRISP-DM, mencakup pemahaman masalah, eksplorasi dan pemrosesan data web server log hingga siap digunakan untuk pemodelan, evaluasi, dan deployment. Tiga pendekatan online unsupervised learning dibandingkan: iForestASD, MemStream, dan xStream, menggunakan data dari SCAR generator untuk tiga jenis concept drift—sudden, gradual, dan incremental. Selain itu, dilakukan perbandingan terhadap stream processor—Apache Flink dan Spark Structured Streaming—serta model serving—FastAPI dan MLflow Model Serve, untuk menentukan arsitektur deployment yang sesuai dengan kebutuhan fungsional dan nonfungsional. Hasil evaluasi menunjukkan bahwa iForestASD memiliki kinerja terbaik pada sudden drift (ROC-AUC 0,972) dan gradual drift (0,921), sedangkan MemStream unggul pada incremental drift (0,911). xStream menunjukkan kinerja rendah pada semua skenario. Dari sisi sistem, Flink unggul dalam end-to-end latensi dan efisiensi memori dibandingkan Spark. Untuk model serving, MLflow Model Serve menunjukkan latensi inferensi yang lebih rendah dan stabil dibandingkan FastAPI. Kombinasi Flink dan MLflow membentuk alur sistem deteksi anomali yang efisien dalam lingkungan real-time. Berdasarkan hasil evaluasi tersebut, sistem dinilai berhasil menjawab rumusan masalah dan memenuhi tujuan dari Tugas Akhir ini.