Perpustakaan Digital ITB

Pembelajaran mesin terdistribusi merupakan salah satu metode dalam mempercepat proses pelatihan dengan memperbesar batch size. Akan tetapi, penggunaan batch size yang besar cenderung menurunkan akurasi dikarenakan jumlah iterasi yang berkurang berdasarkan penelitian sebelumnya. Salah satu metode menangani pengurangan akurasi akibat peningkatan batch size adalah menggunakan LARS. LARS memperkenalkan adanya local adaptive learning rate (LR lokal) yang berbeda tiap layer model. Akan tetapi penelitian LARS masih menggunakan model ResNet-50 dan AlexNet yang relatif sederhana dengan parameter yang sedikit. Penelitian ini melakukan pelatihan menggunakan model Mask-RCNN dengan tugas deteksi dan segmentasi objek pada dataset COCO. Model tersebut memiliki layer dan parameter yang lebih banyak daripada model yang digunakan pada LARS. Adapun metrik yang digunakan adalah mAP. Penelitian ini melakukan tiga eksperimen, yaitu (1) melakukan eksperimen baseline dengan pengaturan yang sama seperti penelitian sebelumnya, (2) melakukan eksperimen menggunakan LARS pada model deteksi objek dengan warm-up dan beberapa LR scheduler, dan (3) melakukan eksperimen menggunakan multi-host dengan batch size besar dan SyncBN. Dari pengujian penelitian ini, menemukan bahwa LR lokal pada model tersebut cenderung meningkat. Oleh karena itu, penelitian ini mengadaptasi LARS pada model yang lebih kompleks dengan mengusulkan framework baru dalam melakukan pelatihan deteksi objek menggunakan warm-up, SyncBN, dan cosine annealing. Cosine annealing digunakan untuk menurunkan LR global pada LARS. Dengan menggabungkannya dengan warm-up dan SyncBN, penelitian ini mendapatkan mAP 38.68 yang melebihi penelitian sebelumnya dengan pengaturan model yang sama.