Perpustakaan Digital ITB

Deep learning training terdistribusi pada saat ini menggunakan alokasi sumber daya statis. Menggunakan arsitektur parameter server, training pada saat ini memiliki jumlah ps node dan worker node yang tetap selama training berjalan hingga selesai. Bagi training yang berjalan pada klaster umum, yang sumber dayanya dibagi dengan proses-proses yang lain, adakalanya sumber daya menjadi bebas ketika training sedang berjalan, misalnya ketika proses lain yang menggunakan sumber daya tersebut telah selesai. Dengan alokasi sumber daya statis, training tidak dapat memanfaatkan sumber daya bebas ini. Pada tugas akhir ini, dirancang dan diimplementasikan sistem alokasi sumber daya dinamis untuk training menggunakan TensorFlow yang berjalan pada klaster Kubernetes. Implementasi ini dilakukan dengan membangun sebuah komponen baru bernama ConfigurationManager (CM). Komponen tersebut berperan untuk mengetahui informasi sumber daya klaster serta menentukan penambahan ps node dan worker node pada training. Selain itu, training diimplemetasikan agar dapat berkomunikasi dengan CM secara periodik. Hasil pengujian menunjukkan bahwa training dengan alokasi sumber daya dinamis lebih unggul daripada training dengan alokasi sumber daya statis pada beberapa metrik kinerja, yakni penggunaan sumber daya klaster, waktu per epoch, dan total waktu training. Namun demikian, training dengan alokasi sumber daya dinamis memiliki akurasi yang sedikit lebih rendah dibandingkan training dengan alokasi sumber daya statis.