Perpustakaan Digital ITB

Metode fine-tuning digunakan sebagai metode pelatihan untuk melakukan evalua- si pada berbagai evaluasi NLU. Tugas evaluasi IndoLEM yang merupakan pionir dari evaluasi NLU berbahasa Indonesia menggunakan fine-tuning sebagai metode pelatihannya. Fine-tuning melatih model dengan mengubah seluruh parameter mo- del. Hal ini bisa menjadi tantangan dari segi memori dan juga waktu pelatihannya. Terdapat metode parameter-efficient fine-tuning yang dapat melatih model dengan kinerja yang sebanding dengan metode fine-tuning. Dalam tugas akhir ini, ber- bagai metode parameter-efficient fine-tuning, yaitu LoRA, Prefix-Tuning, Adapter, dan UniPELT dimaanfaatkan dalam tugas evaluasi IndoLEM tersebut. Tujuan dari tugas akhir ini adalah untuk memanfaatkan metode PEFT pada IndoLEM. Pemanfa- atan tersebut mencakup, penggunaan metode PEFT pada IndoLEM, perbandingkan kinerja terhadap setiap metode PEFT, dan analisis terkait penggunaan parameter dan waktu pelatihan. Tugas akhir ini berhasil memanfaatkan metode PEFT pada IndoLEM. Dengan dilakukan refaktorisasi terhadap IndoLEM, metode PEFT dapat dimanfaatkan. Selanjutnya, Eksperimen dilakukan dengan melatih model dengan metode fine-tuning dan metode PEFT. Pengujian dilakukan pada 3 tugas evaluasi, yaitu named entity recognition (NER), sentiment analysis, dan summarization. Ha- sil eksperimen menunjukkan bahwa PEFT hanya menggunakan sekitar 0,2% sam- pai 15% dari parameter pelatihan model, dengan menggunakan waktu pelatihan yang lebih cepat. Kinerja yang didapatkan untuk tugas NER dan sentiment analysis berkisar pada rentang -0,8% sampai -6,2%. Hal ini menunjukkan adanya trade off antara penggunaan parameter pelatihan dengan kinerja yang dihasilkan. Namun, metode Prefix-Tuning dan UniPELT gagal untuk memberikan hasil yang konsisten pada tugas summarization.