Perpustakaan Digital ITB

Apache Spark merupakan sebuah framework pemrosesan data skala besar secara terdistribusi. Pemrosesan terdistribusi pada Apache Spark yaitu dengan menggunakan beberapa komputer yang membentuk sebuah cluster. Dengan pemrosesan terdistribusi maka terdapat satu keuntungan yaitu pemrosesan tersebut scalable. Dengan teknologi Kubernetes pemrosesan terdistribusi menjadi lebih mudah. Apache Spark telah mendukung untuk berjalan di atas Kubernetes. Namun, alokasi sumber daya komputasi yang digunakannya masih bersifat statis. Alokasi sumber daya yang bersifat statis memiliki beberapa keterbatasan, diantaranya adalah utilisasi sistem yang kurang optimal, dan jumlah eksekutor yang tidak dapat menyesuaikan sumber daya yang ada. Untuk itu, perlu pengembangan agar alokasi sumber daya komputasi Apache Spark di atas Kubernetes dapat bersifat dinamis sehingga dapat meningkatkan utilisasi sistem sekaligus meningkatkan kinerja Apache Spark. Pengembangan alokasi sumber daya dinamis dapat diimplementasikan dan menghasilkan kinerja yang cukup beragam. Dari hasil penelitian yang dilakuka, menjalankan Apache Spark diatas Kubernetes dengan alokasi sumber daya dinamis kinerja lebih rendah dibandingkan dengan alokasi sumber daya statis. Namun untuk kasus dimana pod eksekutor sering mengalami kegagalan, Apache Spark di atas Kubernetes dengan alokasi sumber daya dinamis memiliki kinerja lebih baik.