
Dokumen Asli
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Multi-task learning merupakan suatu teknik machine learning yang
menggunakan satu model untuk mempelajari dan menyelesaikan lebih dari satu task,
sehingga model dapat melakukan generalisasi lebih baik daripada model machine
learning pada umumnya. Model multi-task learning dapat ditingkatkan performanya
karena memiliki tantangan optimasi yang belum ditangani dengan baik, yaitu learning
rate yang berbeda antar task, area datar pada optimization landscape, dan konflik
yang terjadi antar 2 task akibat gradien yang berbeda. Penelitian dengan
bahasa-bahasa lokal di Indonesia yang memiliki keterbatasan sumber daya
mendorong penelitian multilingual learning untuk menggunakan dataset yang
mengandung bahasa-bahasa lokal di Indonesia.
Metode gradient manipulation merupakan proses mengubah nilai gradien
dalam bentuk besaran maupun arah dari task yang berbeda selama proses pelatihan
model. Penelitian ini mengevaluasi efektivitas metode gradient manipulation yang
memiliki kemampuan untuk mengatasi konflik gradien antar task seperti metode
PCGrad, GradVac, dan CAGrad dalam multi-task learning terhadap bahasa-bahasa
lokal di Indonesia. PCGrad memproyeksikan arah gradien yang mengalami konflik
menjadi bidang normal. GradVac memanfaatkan hubungan antar task untuk
menetapkan objektif yang serupa. Metode CAGrad bekerja dengan mencari vektor
gradien baru yang optimal dalam sebuah lingkaran lokal berdasarkan gradien
rata-rata. Penelitian ini menggunakan dataset dari NusaX dan NusaCrowd yang
mencakup tiga jenis task, yaitu analisis sentimen, klasifikasi emosi, dan pemodelan
topik.
Hasil eksperimen dari model dengan metode multi-task learning yang berbeda
ketika diujikan pada bahasa Jawa, Madura, dan Sunda, serta pada bahasa-bahasa lokal
di Indonesia lain yang belum pernah terlihat menunjukkan adanya peningkatan
terhadap kualitas multilingual multi-task learning dengan metode gradient
manipulation (PCGrad, GradVac, CAGrad) dibandingkan dengan metode multilingual
multi-task naive dalam konteks penggunaan bahasa-bahasa lokal di Indonesia. Serta,
metode gradient manipulation memiliki kemampuan generalisasi terhadap
bahasa-bahasa lokal di Indonesia yang belum pernah di lihat.