Perpustakaan Digital ITB

Pertumbuhan sistem digital modern telah menyebabkan peningkatan volume data log yang signifikan sehingga dibutuhkan sistem monitoring yang responsif, efisien, dan skalabel. Penelitian ini mengusulkan arsitektur sistem monitoring log yang dirancang untuk mengatasi tantangan dalam visualisasi dan pengolahan data log berskala besar secara real-time. Arsitektur ini terdiri dari komponen web server, Fluentbit, Kafka, Flink, ClickHouse, dan Grafana. Untuk tujuan evaluasi, arsitektur ini dibandingkan dengan arsitektur referensi yang diadaptasi dari Zhang et al. (2023), yang menggunakan Nginx, Flume, Kafka, Flink, dan Apache Doris sebagai database log. Evaluasi dilakukan terhadap empat metrik utama: latensi data, throughput, efisiensi penyimpanan, dan konsumsi sumber daya. Hasil pengujian menunjukkan bahwa arsitektur usulan memiliki latensi rata-rata yang jauh lebih rendah, throughput lebih stabil, efisiensi penyimpanan yang lebih baik, serta penggunaan CPU dan memori yang lebih ringan dibandingkan arsitektur referensi. Salah satu faktor kunci keberhasilan arsitektur usulan adalah penggunaan ClickHouse sebagai database log time-series dan penerapan logging terstruktur menggunakan Zap pada level aplikasi.