digilib@itb.ac.id +62 812 2508 8800

Dokumen Asli
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan

Multi-task learning merupakan suatu teknik machine learning yang menggunakan satu model untuk mempelajari dan menyelesaikan lebih dari satu task, sehingga model dapat melakukan generalisasi lebih baik daripada model machine learning pada umumnya. Model multi-task learning dapat ditingkatkan performanya karena memiliki tantangan optimasi yang belum ditangani dengan baik, yaitu learning rate yang berbeda antar task, area datar pada optimization landscape, dan konflik yang terjadi antar 2 task akibat gradien yang berbeda. Penelitian dengan bahasa-bahasa lokal di Indonesia yang memiliki keterbatasan sumber daya mendorong penelitian multilingual learning untuk menggunakan dataset yang mengandung bahasa-bahasa lokal di Indonesia. Metode gradient manipulation merupakan proses mengubah nilai gradien dalam bentuk besaran maupun arah dari task yang berbeda selama proses pelatihan model. Penelitian ini mengevaluasi efektivitas metode gradient manipulation yang memiliki kemampuan untuk mengatasi konflik gradien antar task seperti metode PCGrad, GradVac, dan CAGrad dalam multi-task learning terhadap bahasa-bahasa lokal di Indonesia. PCGrad memproyeksikan arah gradien yang mengalami konflik menjadi bidang normal. GradVac memanfaatkan hubungan antar task untuk menetapkan objektif yang serupa. Metode CAGrad bekerja dengan mencari vektor gradien baru yang optimal dalam sebuah lingkaran lokal berdasarkan gradien rata-rata. Penelitian ini menggunakan dataset dari NusaX dan NusaCrowd yang mencakup tiga jenis task, yaitu analisis sentimen, klasifikasi emosi, dan pemodelan topik. Hasil eksperimen dari model dengan metode multi-task learning yang berbeda ketika diujikan pada bahasa Jawa, Madura, dan Sunda, serta pada bahasa-bahasa lokal di Indonesia lain yang belum pernah terlihat menunjukkan adanya peningkatan terhadap kualitas multilingual multi-task learning dengan metode gradient manipulation (PCGrad, GradVac, CAGrad) dibandingkan dengan metode multilingual multi-task naive dalam konteks penggunaan bahasa-bahasa lokal di Indonesia. Serta, metode gradient manipulation memiliki kemampuan generalisasi terhadap bahasa-bahasa lokal di Indonesia yang belum pernah di lihat.