Perpustakaan Digital ITB

Perkembangan teknologi telah membawa era baru dalam pemanfaatan data. Pemanfaatan teknologi big data digunakan untuk melakukan ekstraksi dan pengolahan data sehingga menghasilkan suatu wawasan. Salah satu sumber big data yang dapat diperoleh dengan memiliki akses akun pengembang adalah Twitter. Tweet pengguna yang bersifat publik dapat diperoleh melalui Twitter API sehingga bisa digunakan untuk dianalisis menjadi sebuah wawasan terkait domain yang dikaji. Oleh karena itu, dikembangkan sebuah dasbor multi-domain untuk analisis aliran data tweet secara mini-batch. Permasalahan utama dalam solusi tersebut adalah menentukan bentuk visualisasi yang tepat dan alur serta tahapan pemrosesan aliran data dengan kecepatan yang tinggi dan volume yang besar. Bentuk visualisasi yang dipilih dibuat bervariasi sesuai dengan data yang ditampilkan agar dapat mencakup lebih banyak domain. Pemrosesan aliran data secara mini-batch dengan menggunakan Apache Spark mampu mengatasi kecepatan aliran data serta volumenya. Solusi diuji dengan menggunakan pengujian fungsional dan non-fungsional. Rata-rata penilaian visualisasi data adalah 4,27 dari skala 1-5 yang menunjukkan bahwa visualisasi data yang disajikan pada dasbor termasuk kategori yang baik. Visualisasi data yang digunakan membuat pengguna lebih mudah mengerti dan memahami secara efektif keseluruhan hasil sehingga mendapatkan wawasan. Pemrosesan data berjalan dengan baik ketika banyak pesan per detik kurang atau sama dengan 3.000. Penerapan rule mempersempit cakupan tweet yang dialirkan sehingga rata-rata tweet yang diperoleh lebih kecil. Dengan ini, pemrosesan aliran data tweet dapat dikategorikan baik dan berjalan dengan lancar.