Perpustakaan Digital ITB

Pengenalan emosi ucapan bahasa Indonesia menghadapi keterbatasan data dan rendahnya sensitivitas Speech Language Model terhadap informasi prosodi. Penelitian ini mengembangkan acoustic prompting berbasis prosodi pada Whisper. Fitur prosodi dikuantisasi secara biner berdasarkan median data latih, dikodekan sebagai token teks, dan diberikan kepada decoder Whisper melalui mekanisme cross-attention. Encoder diadaptasi menggunakan LoRA dengan strategi pelatihan dua fase, sedangkan decoder tetap dibekukan. Eksperimen dilakukan pada dataset Laboratorium AI STEI ITB yang terdiri atas 864 ujaran dalam enam kelas emosi dengan pembagian data speaker-independent. Sebanyak 13 konfigurasi model dievaluasi. Model usulan dengan lima fitur prosodi (B02) mencapai Unweighted Accuracy (UA) sebesar 88,97%, meningkat 23,76 poin persentase secara signifikan dibandingkan model tanpa prompting (p<0,0001). Performa tersebut tidak terdeteksi berbeda secara signifikan dari Wav2Vec2 full fine-tuning yang mencapai UA 89,72% (p=1,000), meskipun B02 melatih kurang dari 1% parameter. Acoustic text prompting juga mengungguli gated late fusion sebesar 21,81 poin persentase (p<0,0001), sedangkan transfer learning dari IEMOCAP belum memberikan peningkatan signifikan (p=0,289). Evaluasi lintas korpus menunjukkan generalisasi zero-shot yang rendah akibat kesenjangan domain. Penambahan modalitas teks juga belum memberikan peningkatan yang konsisten dan rentan menghasilkan pintasan leksikal pada korpus berskrip.