Pembelajaran mesin terdistribusi merupakan salah satu metode dalam mempercepat
proses pelatihan dengan memperbesar batch size. Akan tetapi, penggunaan batch
size yang besar cenderung menurunkan akurasi dikarenakan jumlah iterasi yang
berkurang berdasarkan penelitian sebelumnya. Salah satu metode menangani
pengurangan akurasi akibat peningkatan batch size adalah menggunakan LARS.
LARS memperkenalkan adanya local adaptive learning rate (LR lokal) yang
berbeda tiap layer model. Akan tetapi penelitian LARS masih menggunakan model
ResNet-50 dan AlexNet yang relatif sederhana dengan parameter yang sedikit.
Penelitian ini melakukan pelatihan menggunakan model Mask-RCNN dengan
tugas deteksi dan segmentasi objek pada dataset COCO. Model tersebut memiliki
layer dan parameter yang lebih banyak daripada model yang digunakan pada
LARS. Adapun metrik yang digunakan adalah mAP. Penelitian ini melakukan
tiga eksperimen, yaitu (1) melakukan eksperimen baseline dengan pengaturan
yang sama seperti penelitian sebelumnya, (2) melakukan eksperimen menggunakan
LARS pada model deteksi objek dengan warm-up dan beberapa LR scheduler, dan
(3) melakukan eksperimen menggunakan multi-host dengan batch size besar dan
SyncBN. Dari pengujian penelitian ini, menemukan bahwa LR lokal pada model
tersebut cenderung meningkat.
Oleh karena itu, penelitian ini mengadaptasi LARS pada model yang lebih
kompleks dengan mengusulkan framework baru dalam melakukan pelatihan deteksi
objek menggunakan warm-up, SyncBN, dan cosine annealing. Cosine annealing
digunakan untuk menurunkan LR global pada LARS. Dengan menggabungkannya
dengan warm-up dan SyncBN, penelitian ini mendapatkan mAP 38.68 yang
melebihi penelitian sebelumnya dengan pengaturan model yang sama.