Perpustakaan Digital ITB

Untuk mengatasi masalah komputasi yang mahal pada deep learning, dibutuhkan cara agar proses training dapat menggunakan lebih banyak sumber daya seperti deep learning yang terdistribusi di Kubernetes. Sebelumnya telah dikembangkan sebuah scheduler pada Kubernetes bernama DRAGON yang merupakan sebuah custom controller pada Kubernetes yang bertugas untuk mengatur proses scheduling dan scaling dari custom resource berupa job training. Scheduler Weighted Autoscaling merupakan pengembangan DRAGON dengan pembobotan pada job, dan perubahan pada pemanggilan fungsi autoscaling. Pada Tugas Akhir ini, Scheduler Weighted Autoscaling akan dikembangkan dengan penambahan suatu metode pada job yang dapat meningkatkan akurasi deep learning yang terdistribusi. Fokus dari metode adalah meningkatkan akurasi dari training yang terdistribusi. Metode yang dipilih untuk ditambahkan pada job adalah algoritma SALR (Sharpness Aware Learning Rate) yang merupakan sebuah teknik yang diciptakan oleh Yue et al. (2020) untuk membantu memperbaiki generalisasi dari algoritma deep learning. Dengan menggunakan algoritma SALR pada job berupa TFJob yang dijadwalkan oleh scheduler, didapatkan peningkatan akurasi yang beragam bergantung dengan jumlah worker yang menjalankan job tersebut dan jumlah epoch yang digunakan. Peningkatan akurasi paling tinggi mencapai 0.59% pada pengujian dengan jumlah worker 6 dan jumlah epoch 100. Penggunaan algoritma SALR pada job yang dijadwalkan oleh Scheduler Weighted Autoscaling tetap menghasilkan kinerja berupa kecepatan yang lebih tinggi jika dibandingkan dengan scheduler DRAGON. Peningkatan kecepatan terbesar mencapai 2.74% dengan rata-rata 1% untuk pengujian fungsi autoscaling dan mencapai 23.22% dengan rata-rata 9.86% untuk pengujian fungsi pembobotan.