Perpustakaan Digital ITB

Klasifikasi teks multi-label adalah persoalan mengkategorikan setiap teks ke dalam satu atau beberapa kategori. MAGNET adalah arsitektur model deep learning yang menggabungkan Graph Attention Networks, BiLSTM, dan BERT embeddings untuk menangani persoalan klasifikasi teks multi-label. MAGNET memanfaatkan Graph Attention Networks untuk mendapatkan informasi dependensi antar label dengan memberi atensi pada dependesinya. MAGNET memiliki batasan dalam menangani data dengan label yang sangat banyak. Hal ini menyebabkan matriks ajasensi yang terbentuk akan sangat besar dan menyulitkan dalam melatih model karena memerlukan sumber daya komputasi yang besar. Pada penelitian ini, klasterisasi label digunakan untuk mengurangi dimensi matriks ajasensi. Label – label dikelompokkan ke dalam beberapa klaster terlebih dahulu, kemudian label – label yang berada pada klaster yang sama membentuk matriks ajasensinya sendiri. Algoritma Louvain digunakan untuk melakukan klasterisasi label, dimana Algoritma Louvain digunakan pada struktur data graf. Untuk itu, matriks ajasensi dapat merepresentasikan graf dari dependensi antar label dan digunakan sebagai input untuk Algoritma Louvain. Di lain hal penggunaan finetuning layer dengan BiGRU dan metode embedding menggunakan XLNet dapat dicoba karena BiGRU dan XLNet memiliki kinerja yang lebih baik dibandingkan dengan BiLSTM dan BERT pada penelitian lain. Dari hasil penelitian, dua arsitektur yang diajukan yang dicoba pada tiga data berbeda mampu menghasilkan kinerja yang mirip atau lebih baik dibandingkan dengan arsitektur dasar MAGNET. Namun, pada saat kondisi dimana terlalu banyak bobot dependensi antar label yang hilang akibat klasterisasi, arsitektur yang diajukan tidak dapat menghasilkan kinerja sebaik model yang menggunakan arsitektur dasar MAGNET. Sementara kombinasi BiGRU dan XLNet embeddings mengungguli kinerja dari kombinasi BiLSTM dengan BERT embeddings yang digunakan pada penelitian sebelumnya.