Perpustakaan Digital ITB

Kemampuan untuk memahami emosi dan penyebabnya merupakan aspek penting dalam pengembangan sistem kecerdasan buatan yang mampu memahami percakapan secara lebih kontekstual. Tugas Multimodal Emotion-Cause Pair Extraction (MECPE) bertujuan untuk mengekstraksi pasangan antara ujaran yang mengandung emosi dan ujaran yang menjadi penyebab emosi dengan memanfaatkan informasi dari berbagai modalitas, yaitu teks, audio, dan visual. Penelitian ini menggunakan dataset Emotion-Cause-in-Friends (ECF) 2.0 yang berisi percakapan multimodal dari serial Friends. Permasalahan utama dalam tugas ini adalah penyebab emosi tidak selalu berada pada ujaran yang sama dengan emosi yang muncul, dapat bersifat implisit, serta dapat melibatkan lebih dari satu ujaran penyebab. Penelitian ini menggunakan pendekatan pipeline dua tahap. Tahap pertama melakukan klasifikasi emosi pada setiap ujaran menggunakan RoBERTa, sedangkan tahap kedua melakukan ekstraksi ujaran penyebab menggunakan representasi multimodal dari RoBERTa, Wav2Vec2, dan Video Swin Transformer. Representasi teks, audio, dan visual digabungkan menggunakan pendekatan fusion berbasis konkatenasi untuk menentukan apakah suatu kandidat pasangan merupakan pasangan emosi dan penyebab yang valid. Evaluasi dilakukan pada tahap klasifikasi emosi, tahap ekstraksi penyebab, serta evaluasi akhir secara end-to-end dengan membandingkan model final terhadap baseline berbasis teks. Hasil penelitian menunjukkan bahwa pendekatan multimodal memberikan peningkatan pada tahap ekstraksi penyebab dibandingkan pendekatan unimodal berbasis teks. Pada evaluasi isolated cause only, pendekatan Fusion memperoleh F1-score sebesar 0,4383, lebih tinggi dibandingkan RoBERTa berbasis teks yang memperoleh F1-score sebesar 0,3248. Pada evaluasi akhir, model final memperoleh weighted-average F1 sebesar 0,2758, lebih tinggi dibandingkan baseline yang memperoleh weighted-average F1 sebesar 0,2584. Meskipun demikian, peningkatan performa masih relatif terbatas karena sistem dipengaruhi oleh kesalahan klasifikasi emosi dan kesulitan dalam menangani penyebab yang implisit, berada pada ujaran lain, atau melibatkan beberapa ujaran penyebab.