Perpustakaan Digital ITB

Analisis sentimen adalah task komputasi untuk menganalisa, mengidentifikasi dan mengekstraksi opini atau sentimen pengguna terhadap sebuah produk, layanan, dll pada sebuah teks yang biasanya diungkapkan melalui blog, jejaring sosial, forum diskusi atau situs web e-commerce. Berbeda dengan analisis sentimen umum (analisis sentimen level dokumen dan analisis sentimen level kalimat), yang menganggap sentimen pada keseluruhan dokumen atau kalimat adalah sama, analisis sentimen level aspek atau analisis sentimen berbasis aspek (ASBA), memprediksi polaritas sentimen terhadap target tertentu dari sebuah kalimat opini. Aspek atau disebut juga target opini adalah konsep dimana sebuah opini diekspre-sikan dalam kalimat yang diberikan. Sebagai contoh, kalimat ulasan ”Great food but the service was dreadful” mempunyai dua aspek yaitu food dengan sentimen positif dari kata ”great” dan service dengan sentimen negatif dari kata ”dreadful”. Telah banyak penelitian yang dilakukan untuk menyelesaikan persoalan dalam ASBA. Awal penelitian tentang ABSA adalah pendekatan non deep learning, diikuti oleh model berbasis deep learning dengan word embedding. Kemudian pendekatan deep learning dengan embedding kontekstual yang mendasari penggunaan PLMs (pre-trained language models) modern baik yang berbasis bi-directional LSTM seperti eLMo, maupun berbasis Transformer seperti BERT, RoBERTa, GPT, BART dan T5, banyak digunakan untuk meningkatkan kinerja pada task NLP, termasuk ASBA. Dan saat ini, PLM dengan ukuran yang lebih besar, atau lebih populer dengan nama model bahasa besar (large language models/LLMs), seperti GPT-3 dan GPT-4 (yang digunakan pada aplikasi ChatGPT) dan Llama, mulai menarik banyak penelitian untuk mengevaluasi kinerja LLM dalam menyelesaikan task ASBA. Meskipun demikian, mayoritas penelitian tentang ASBA hanya fokus ke klasifikasi sentimen dua kelas (positif dan negatif) atau tiga kelas (positif, negatif dan netral) saja, dan tidak memasukkan sentimen konflik pada klasifikasi sentimennya. Sebuah aspek mempunyai sentimen konflik jika aspek tersebut mengekspresikan sentiment positif dan negatif sekaligus seperti pada contoh kalimat berikut, ”The service is a quite slow, but friendly.” Kalimat tersebut mempunyai sentimen konflik untuk aspek ”service.” Mengabaikan sentimen konflik akan menyebabkan hasil klasifikasi menjadi kurang akurat. Penelitian pada analisis sentimen berbasis aspek yang melibatkan kelas sentimen konflik di samping sentimen positif, negatif, dan netral ini, menghadapi beberapa tantangan. Diantaranya adalah terbatasnya dataset yang tersedia, kemudian jumlah data aspek dengan sentimen konflik pada dataset publik yang biasa digunakan untuk penelitian dalam ABSA sangat kecil, yang menyebabkan dataset menjadi tidak seimbang. Lebih lanjut, mayoritas metode menganggap setiap aspek hanya memiliki satu sentimen saja. Padahal sentimen konflik merupakan kombinasi dari sentimen positif dan negatif sekaligus, sehingga identifikasinya menjadi lebih sulit. Selain itu, sentimen konflik biasanya diekspresikan dalam kata atau frase yang tidak sederhana, terdapat pada kalimat yang panjang dan kompleks, serta melibatkan aspek implisit, yang mungkin memerlukan penanganan khusus juga. Penelitian ini bertujuan untuk menginvestigasi tantangan dalam mengidentifikasi sentimen konflik pada analisis sentimen berbasis aspek, dan mengusulkan metode untuk menangani masalah tersebut. Metode yang diusulkan adalah model berbasis BERT dengan aspek multi-label (BERT-MLA), dimana setiap aspek didesain untuk memiliki nilai sentimen positif dan negatifnya. Dalam model ini, dikembangkan kalimat semu (pseudo-sentence) dari setiap aspek, kemudian dipasangkan dengan kalimat ulasan sebagai representasi input untuk BERT. Selanjutnya, dilakukan fine-tuning BERT untuk task klasifikasi sentimen multi-label dan hasilnya diter-jemahkan ke dalam klasifikasi sentimen empat-kelas. Untuk mengatasi masalah yang berkaitan dengan kelangkaan dan ketidakseimbangan dataset, maka dilakukan pembangkitan data sintetik dengan menggunakan Llama. Dalam studi ini, dilakukan evaluasi few-shot prompting dengan empat komponen yaitu role-play dan task specification untuk menetapkan konteks yang tepat, generation conditionals untuk menentukan tipe data yang diinginkan, dan in-context demonstrations untuk memberikan panduan yang berupa implicit human guidance kepada model. Hasil eksperimen pada dataset SemEval-2014 dengan domain restoran menun-jukkan bahwa model yang diusulkan mampu mengungguli model baseline dalam mengidentifikasi sentimen konflik pada ASBA. Model yang diusulkan meraih peningkatan yang signifikan dari dua metode yang diusulkan yaitu penerapan aspek multi-label untuk BERT dan pembangkitan data sintetis dengan Llama. Desain aspek dengan sentimen multi-label memungkinkan model untuk mengenali bentuk kompleks dari sentimen konflik. Hal ini menunjukkan bahwa merancang aspek multi-label untuk model berbasis BERT mampu mengidentifikasi sentimen konflik dalam ASBA secara efektif. Kemudian, data sintetik yang dihasilkan Llama memberikan solusi terhadap keterbatasan dan ketidakseimbangan dataset. Hal ini menunjukkan bahwa pembangkitan data sintetik dengan Llama memiliki potensi yang cukup signifikan untuk mendukung penelitian dengan dataset bersumber daya rendah seperti pada ASBA dengan empat kelas ini.