![](https://digilib.itb.ac.id/assets/icon/pdf.gif)
Dokumen Asli
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Mendeteksi sarkasme pada teks bahasa Inggris menjadi tantangan dalam sistem
analisis sentimen karena teks sarkasme menyiratkan makna yang berbeda dari apa
yang secara eksplisit disampaikan. Penelitian ini bertujuan membangun model
deteksi sarkasme, klasifikasi kategori sarkasme, dan identifikasi sarkasme
berpasangan menggunakan model Llama 2 fine-tuned. Metode yang digunakan
meliputi pengumpulan data dari dataset utama iSarcasmEval dan dataset eksternal,
dengan total data gabungan sebanyak 21.599 untuk deteksi sarkasme, 3.457 untuk
klasifikasi kategori sarkasme, dan 868 untuk identifikasi sarkasme berpasangan.
Selanjutnya, dilakukan pengembangan prompt, fine-tuning model dengan teknik
Parameter Efficient Fine-tuning (PEFT) menggunakan metode spesifik Quantized
Low Rank Adaptation (QLoRA), dan pengujian model dengan pendekatan zero-
shot. Terakhir, dilakukan analisis hasil eksperimen dan evaluasi secara kuantitatif
dan kualitatif untuk menarik kesimpulan penelitian.
Hasil eksperimen menunjukkan model Llama 2 13B fine-tuned dengan dataset
gabungan memperoleh F1-score sarkastis sebesar 0.6867 pada subtask deteksi
sarkasme, melampaui kinerja model tim terbaik iSarcasmEval. Pada subtask
klasifikasi kategori sarkasme, model Llama 2 7B fine-tuned memperoleh Macro-F1
sebesar 0.1388, lebih baik dari kinerja model tim terbaik kedua iSarcasmEval. Pada
subtask identifikasi sarkasme berpasangan, model Llama 2 13B memperoleh
akurasi sebesar 0.9, melampaui kinerja model tim terbaik iSarcasmEval.
Penelitian ini membuktikan model Llama 2 dapat meningkatkan kinerja deteksi
sarkasme dengan penambahan dataset eksternal dan penggunaan teknik prompt
engineering yang tepat. Penelitian ini juga menunjukkan teknik PEFT dengan
metode QLoRA dapat mengurangi kebutuhan memori tanpa mengorbankan kinerja,
sehingga memungkinkan pengembangan model pada perangkat dengan sumber
daya komputasi terbatas. Perbedaan persepsi dalam pelabelan dataset sarkasme
masih menjadi tantangan utama dalam pendeteksian sarkasme, menunjukkan
pentingnya konteks dan intensi dalam deteksi sarkasme.