Perpustakaan Digital ITB

Mendeteksi sarkasme pada teks bahasa Inggris menjadi tantangan dalam sistem analisis sentimen karena teks sarkasme menyiratkan makna yang berbeda dari apa yang secara eksplisit disampaikan. Penelitian ini bertujuan membangun model deteksi sarkasme, klasifikasi kategori sarkasme, dan identifikasi sarkasme berpasangan menggunakan model Llama 2 fine-tuned. Metode yang digunakan meliputi pengumpulan data dari dataset utama iSarcasmEval dan dataset eksternal, dengan total data gabungan sebanyak 21.599 untuk deteksi sarkasme, 3.457 untuk klasifikasi kategori sarkasme, dan 868 untuk identifikasi sarkasme berpasangan. Selanjutnya, dilakukan pengembangan prompt, fine-tuning model dengan teknik Parameter Efficient Fine-tuning (PEFT) menggunakan metode spesifik Quantized Low Rank Adaptation (QLoRA), dan pengujian model dengan pendekatan zero- shot. Terakhir, dilakukan analisis hasil eksperimen dan evaluasi secara kuantitatif dan kualitatif untuk menarik kesimpulan penelitian. Hasil eksperimen menunjukkan model Llama 2 13B fine-tuned dengan dataset gabungan memperoleh F1-score sarkastis sebesar 0.6867 pada subtask deteksi sarkasme, melampaui kinerja model tim terbaik iSarcasmEval. Pada subtask klasifikasi kategori sarkasme, model Llama 2 7B fine-tuned memperoleh Macro-F1 sebesar 0.1388, lebih baik dari kinerja model tim terbaik kedua iSarcasmEval. Pada subtask identifikasi sarkasme berpasangan, model Llama 2 13B memperoleh akurasi sebesar 0.9, melampaui kinerja model tim terbaik iSarcasmEval. Penelitian ini membuktikan model Llama 2 dapat meningkatkan kinerja deteksi sarkasme dengan penambahan dataset eksternal dan penggunaan teknik prompt engineering yang tepat. Penelitian ini juga menunjukkan teknik PEFT dengan metode QLoRA dapat mengurangi kebutuhan memori tanpa mengorbankan kinerja, sehingga memungkinkan pengembangan model pada perangkat dengan sumber daya komputasi terbatas. Perbedaan persepsi dalam pelabelan dataset sarkasme masih menjadi tantangan utama dalam pendeteksian sarkasme, menunjukkan pentingnya konteks dan intensi dalam deteksi sarkasme.