Perpustakaan Digital ITB

Hadoop merupakan sebuah framework perangkat lunak yang digunakan untuk menyimpan dan memproses big data secara terdistribusi. Untuk mengatasi failure dari sebuah node, Hadoop memiliki fitur bernama speculative execution. Namun sebuah penelitian berjudul Limplock menyatakan bahwa speculative execution tidak dapat mendeteksi node yang mengalami kerusakan pada network interface card (NIC). Sebuah penelitian lain berjudul Path Based Speculative Execution (PBSE) telah mencoba menyelesaikan permasalahan ini, namun masih belum dapat mendeteksi adanya node dengan slow NIC pada fase startup dan cleanup MapReduce. Tugas Akhir ini akan mencoba menyempurnakan solusi PBSE dengan membuat sebuah mekanisme deteksi node dengan slow NIC pada fase startup (operasi localization) MapReduce. Solusi yang ditawarkan ialah dengan membuat heartbeat baru yang dikirimkan oleh NodeManager ke ApplicationMaster (AM). Heartbeat tersebut berisi progres tahap localization tiap node. Dengan data heartbeat seluruh node sebagai input, akan dijalankan sebuah algoritma yang dapat mendeteksi letak node dengan slow NIC. Pada kasus normal, sistem pendeteksi yang dibuat telah berhasil mendeteksi lokasi node yang memiliki NIC yang lambat dan memiliki kinerja yang tidak jauh berbeda dengan original hadoop.