Perpustakaan Digital ITB

Gangguan neurologis seperti amyotrophic lateral sclerosis dapat membuat seorang mengalami hilangnya kemampuan berbicara meskipun fungsi kognitifnya tetap utuh. Sebagai solusi, sistem neuroprosthesis bicara mampu memulihkan komunikasi dengan mendekode upaya berbicara langsung dari sinyal otak. Arsitektur state-of-the-art saat ini bekerja dalam dua tahap, yaitu memetakan sinyal menjadi probabilitas fonem lalu menyusunnya menjadi teks dengan model bahasa. Pendekatan ini masih mengandalkan dekoder fonem berbasis RNN dan berisiko mengalami propagasi kesalahan antartahap. Tugas akhir ini membangun dan membandingkan dua paradigma pada dataset Willett et al. (2023). Paradigma pertama adalah arsitektur dua tahap dengan dekoder fonem berbasis Transformer untuk menangkap dependensi jangka panjang dan spasial secara lebih efektif. Paradigma kedua adalah arsitektur end-to-end yang memetakan sinyal langsung menjadi teks dengan memanfaatkan foundation model . Adaptasi model terhadap modalitas baru dilakukan dengan gaya LLaVA dan cross-attention , sedangkan LoRA dipakai sebagai teknik parameter-efficient fine-tuning . Hasil menunjukkan bahwa dekoder fonem Conformer dengan spatial attention mencapai phoneme error rate (PER) 0,1428 yang lebih rendah daripada penelitian sebelumnya (PER 0,192). Arsitektur dua tahap dengan rescoring LLaMA-2 7B mencapai word error rate (WER) sebesar 0,1556 (WER penelitian sebelumnya bernilai 0,169), sedangkan arsitektur end-to-end yang memanfaatkan Whisper-large-v3 mencapai WER 0,1716 dengan kebutuhan penyimpanan yang jauh lebih kecil (3,6 GB dibandingkan dengan 57,7 GB). Penggabungan kedua arsitektur melalui router berbasis keyakinan prediksi masing-masing berhasil menurunkan WER menjadi 0,1441, yaitu hasil terbaik pada penelitian ini. Beberapa saran untuk penelitian selanjutnya adalah penambahan data latih, penambahan kualitas ekstraksi fitur, dan perbaikan kinerja pada ujaran pendek.