Perpustakaan Digital ITB

Perkembangan dalam Pemrosesan Bahasa Alami (NLP) telah menimbulkan berbagai tantangan dalam menangani ketidaksepakatan dalam dataset beranotasi, khususnya dalam klasifikasi teks. Proyek akhir ini mengeksplorasi metode baru untuk mengatasi ketidaksepakatan anotasi dengan menerapkan pemodelan multi-anotator dan prediksi yang didukung oleh Large Language Models (LLM). Tujuan utama penelitian ini adalah meningkatkan akurasi prediksi dengan mengintegrasikan pembobotan anotator serta memanfaatkan LLM untuk menangani konflik. Penelitian ini berfokus pada dataset dari SemEval 2023, yang mencakup berbagai domain dengan variasi anotasi yang beragam. Dua strategi utama dikembangkan: (1) mekanisme pembobotan anotator untuk mengevaluasi dan menyesuaikan kontribusi individu berdasarkan tingkat kesepakatan, dan (2) sistem prediksi berbantuan LLM untuk membantu pengambilan keputusan dalam kasus ketidaksepakatan. Eksperimen dilakukan dengan menggunakan dataset yang telah disampel ulang serta pre-trained model untuk meningkatkan efisiensi komputasi dan ketahanan terhadap data yang ambigu. Hasil penelitian menunjukkan bahwa strategi gabungan metode Pembobotan Anotator dan Prediksi Berbantuan LLM meningkatkan kinerja prediksi hingga 0,13 dalam skor F1-Micro dan 0,059 dalam skor Cross Entropy dibandingkan dengan baseline. Metode pembobotan anotator menyoroti pengaruh individu anotator, sementara metode berbantuan LLM membantu menyelesaikan prediksi berdasarkan ketidaksepakatan. Temuan ini memberikan wawasan lebih dalam mengenai konflik dalam tugas NLP, sehingga memungkinkan klasifikasi teks yang lebih akurat.