Perpustakaan Digital ITB

Continual learning merupakan konsep pembelajaran mesin dengan sebuah model yang mempelajari banyak task secara berurutan. Continual learning dapat mengatasi masalah catastrophic forgetting yang terjadi karena model lupa terhadap task yang sudah dilatih sebelumnya. Saat ini, continual learning sudah banyak digunakan pada berbagai task pemrosesan bahasa alami. Namun, penggunaan continual learning untuk pembelajaran bahasa low-resource, seperti bahasa-bahasa lokal di Indonesia masih sangat terbatas. Untuk mengetahui pengaruh continual learning pada pembelajaran bahasa-bahasa lokal di Indonesia, dilakukan eksperimen menggunakan tiga metode continual learning. Pertama, A-GEM yang menggunakan memori episodik untuk menyimpan sampel setiap task. Kedua, EWC yang menggunakan regularisasi dengan menambahkan penalti pada loss function berdasarkan matriks Fisher information. Ketiga, HAT yang menggunakan mekanisme hard attention untuk menjaga informasi pada task yang sudah dipelajari. Eksperimen pada penelitian ini mencakup pembelajaran 17 task yang terdiri dari analisis sentimen dan klasifikasi emosi, 12 bahasa lokal di Indonesia, dan 4 domain yang berbeda. Dengan menggunakan 7 dataset dari NusaCrowd, hasil eksperimen menunjukkan bahwa A-GEM, EWC, dan HAT belum berhasil untuk mengatasi catastrophic forgetting. Padahal, terdapat penelitian terkait continual learning untuk pemrosesan bahasa alami yang dapat menangani catastrophic forgetting. Namun, penelitian tersebut memiliki desain eksperimen yang berbeda dengan penelitian ini, seperti jenis task, jumlah task, dan jumlah bahasa yang tercakup. Terdapat beberapa faktor lain yang memengaruhi kinerja continual learning, seperti pre-trained model dan arsitektur model yang digunakan. Oleh karena itu, dapat dilakukan pengembangan metode continual learning yang secara khusus dapat mempelajari banyak bahasa.