Perpustakaan Digital ITB

Gangguan neurologis berat dapat menyebabkan seseorang kehilangan kemampuan berkomunikasi secara verbal meskipun fungsi kognitifnya tetap utuh. Teknologi brain-computer interface (BCI) yang mendekode sinyal elektroensefalografi (EEG) menjadi teks menawarkan solusi untuk hal tersebut, namun penelitiannya dalam bahasa Indonesia masih sangat terbatas. Penelitian ini bertujuan mengumpulkan dataset EEG ucapan yang dibayangkan dalam bahasa Indonesia serta mengimplementasikan dan mengevaluasi arsitektur Conformer-Transducer untuk mendekode sinyal EEG menjadi teks. Data EEG dikumpulkan menggunakan perangkat Emotiv EPOC X dengan 14 kanal dari 12 subjek dengan total 1050 rekaman. Sinyal diekstraksi fiturnya menggunakan transformasi Hilbert-Huang dan log-mel spectrogram, lalu didekode dengan arsitektur Conformer-Transducer yang menggunakan jenis Decoder LSTM maupun IndoGPT. Berbagai kombinasi teknik ekstraksi fitur dan jenis Decoder dievaluasi menggunakan metrik Character Error Rate (CER), Word Error Rate (WER), Bilingual Evaluation Understudy (BLEU), Recall-Oriented Understudy for Gisting Evaluation (ROUGE), dan BertScore, serta pengujian noise baseline. Hasil menunjukkan arsitektur berhasil diimplementasikan, namun kinerja model masih kurang baik. Pengujian noise baseline mengungkap bahwa tidak ada arsitektur yang benar-benar mempelajari pola sinyal EEG karena hasil dengan masukan noise tidak jauh berbeda dengan sinyal EEG asli. Penelitian ini menyimpulkan bahwa dekode sinyal EEG ucapan yang dibayangkan ke teks dalam bahasa Indonesia masih merupakan permasalahan yang menantang.