Perpustakaan Digital ITB

Kurangnya data berlabel merupakan masalah yang sudah lama terdapat di bidang pemrosesan bahasa alami (NLP), terutama untuk bahasa dengan sumber daya rendah, seperti Bahasa Indonesia. Transfer learning melalui model bahasa (LM) berbasis transformer yang telah dikenai pretraining menjadi pendekatan yang umum digunakan. Terdapat dua jenis model pretrained yang paling populer yaitu model encoder-only seperti BERT dan model decoder-only seperti GPT. Standard finetuning merupakan metode defacto untuk digunakan pada transfer learning. Akan tetapi terdapat metode lain yang dapat digunakan dalam kondisi jumlah data sangat rendah yaitu metode few-shot learning. Untuk memahami keefektifan penerapan pretrained LM pada pengaturan sumber daya rendah (low-resource), disajikan studi komprehensif tentang metodologi prompt-based few-shot learning terhadap IndoNLU sebagai benchmark natural language understanding Bahasa Indonesia yang sudah ada. Metode yang diujikan terbagi menjadi tiga yaitu standard finetuning dan dua metode few-shot learning yaitu prompt-based finetuning (LM-BFF), dan few-shot in-context learning. Model bahasa yang diujikan dibagi menjadi tiga, yaitu model multilingual dengan XGLM dan XLM-R, model monolingual Inggris dengan GPT-Neo, dan model monolingual Indonesia dengan IndoBERT dan IndoGPT. Hasil eksperimen menunjukkan in-context learning menggunakan model decoder multilanguage, XGLM mengungguli model GPT-Neo Bahasa Inggris dan IndoGPT Bahasa Indonesia. Ditunjukkan juga bahwa prompt-based tuning menggunakan LM-BFF dengan XLM-R umumnya mengungguli metode in-context learning dengan perbedaan hingga ~20 skor F1-macro-average.