Multi-task learning adalah pendekatan yang memanfaatkan pembelajaran beberapa task secara
sekaligus untuk meningkatkan kinerja suatu model bahasa dalam menyelesaikan task-task
pemrosesan bahasa alami. Multi-task learning dapat membantu meningkatkan natural
language understanding suatu model, yaitu pemahaman model terhadap teks berbahasa alami
secara umum, karena sifatnya yang berorientasi pembelajaran beberapa task untuk
mendapatkan representasi informasi secara umum dan minimalisasi overfit terhadap task
spesifik tertentu.
Penelitian natural language understanding berbahasa Indonesia sejauh ini berorientasi pada
model single task, sehingga kinerja pendekatan tersebut dapat dibandingkan dengan
pendekatan multi-task. Salah satu model multi-task learning yang dapat dimanfaatkan untuk
penelitian task-task natural language understanding berbahasa Indonesia adalah MACHAMP
(Massive Choice, Ample Tasks). MACHAMP mengintegrasikan model pralatih sebagai
encoder layer yang menyediakan shared representation untuk diproses oleh lapisan task-
specific. Selain itu, MACHAMP juga menyediakan konfigurasi untuk variasi task yang lebih
beragam dan lebih mudah untuk dimodifikasi dibandingkan dengan framework-framework
multi-task learning sebelumnya sehingga dapat digunakan untuk melatih task-task NLU
berbahasa Indonesia.
Penelitian memanfaatkan 5 task klasifikasi teks dan 6 task sequence labelling untuk dilatih dan
diujikan dengan MACHAMP yang menggunakan IndoBERT sebagai encoder layer. Selain
perbandingan dengan model single-task, penelitian juga menguji variasi kombinasi task yang
berbeda dan panjang epoch pengujian. Hasil yang didapatkan adalah model multi-task dengan
algoritma MACHAMP yang diintegrasikan dengan IndoBERT memiliki rata-rata kinerja yang
lebih baik yang signifikan secara statistik dibandingkan model single-task IndoBERT dengan
rata-rata nilai F1-score 83.48 untuk semua task yang dilatih dibandingkan dengan 82.99 pada
model IndoBERT. Hasil eksperimen juga menunjukkan bahwa model yang dilatih dengan
kelompok task dengan similaritas lebih tinggi memiliki kinerja lebih baik.