digilib@itb.ac.id +62 812 2508 8800

Multi-task learning adalah pendekatan yang memanfaatkan pembelajaran beberapa task secara sekaligus untuk meningkatkan kinerja suatu model bahasa dalam menyelesaikan task-task pemrosesan bahasa alami. Multi-task learning dapat membantu meningkatkan natural language understanding suatu model, yaitu pemahaman model terhadap teks berbahasa alami secara umum, karena sifatnya yang berorientasi pembelajaran beberapa task untuk mendapatkan representasi informasi secara umum dan minimalisasi overfit terhadap task spesifik tertentu. Penelitian natural language understanding berbahasa Indonesia sejauh ini berorientasi pada model single task, sehingga kinerja pendekatan tersebut dapat dibandingkan dengan pendekatan multi-task. Salah satu model multi-task learning yang dapat dimanfaatkan untuk penelitian task-task natural language understanding berbahasa Indonesia adalah MACHAMP (Massive Choice, Ample Tasks). MACHAMP mengintegrasikan model pralatih sebagai encoder layer yang menyediakan shared representation untuk diproses oleh lapisan task- specific. Selain itu, MACHAMP juga menyediakan konfigurasi untuk variasi task yang lebih beragam dan lebih mudah untuk dimodifikasi dibandingkan dengan framework-framework multi-task learning sebelumnya sehingga dapat digunakan untuk melatih task-task NLU berbahasa Indonesia. Penelitian memanfaatkan 5 task klasifikasi teks dan 6 task sequence labelling untuk dilatih dan diujikan dengan MACHAMP yang menggunakan IndoBERT sebagai encoder layer. Selain perbandingan dengan model single-task, penelitian juga menguji variasi kombinasi task yang berbeda dan panjang epoch pengujian. Hasil yang didapatkan adalah model multi-task dengan algoritma MACHAMP yang diintegrasikan dengan IndoBERT memiliki rata-rata kinerja yang lebih baik yang signifikan secara statistik dibandingkan model single-task IndoBERT dengan rata-rata nilai F1-score 83.48 untuk semua task yang dilatih dibandingkan dengan 82.99 pada model IndoBERT. Hasil eksperimen juga menunjukkan bahwa model yang dilatih dengan kelompok task dengan similaritas lebih tinggi memiliki kinerja lebih baik.