Perpustakaan Digital ITB

Jejaring sosial sering digunakan di masa sekarang. Maka terdapat potensi besar dari data yang dihasilkan oleh pengguna. Salah satu pemanfaatannya dengan melakukan pengelompokan data yang memuat informasi yang seragam. Untuk mengolahnya dapat menggunakan teknik data stream yang mengolah data menjadi potongan-potongan kecil, tetapi langsung bereaksi terhadap perubahan data. Pada penelitian yang sudah ada sebelumnya menggunakan mesin pengolah data stream bernama Apache Flink yang cukup sulit karena perlu mengirimkan kompilasi program ke sistem terdistribusi dan menggunakan bahasa Java. Sehingga akan sulit jika ingin mengolah data teks, yang lebih berkembang di bahasa Python. Dari masalah ini, dikembangkan framework yang mempermudah pengembangan aplikasi clustering data stream di atas Apache Flink Statefun dan FastAPI. Framework ini bekerja dengan membaca konfigurasi dari pengguna, kemudian menjalankan proses yang dibentuk untuk mengolah data stream. Framework juga menyediakan kustomisasi proses apabila pengguna ingin mengimplementasi secara mandiri dan digunakan sebagai proses. Framework dapat mempercepat pengembangan dengan cara efisiensi kode sumber yang perlu dibangkitkan oleh pengguna. Bantuan percepatan jumlah baris kode yang dibangkitkan terdapat jika pengguna melibatkan proses, baik yang disediakan oleh application framework maupun proses yang dikustomisasi.