Perpustakaan Digital ITB

Dalam kegiatan belajar mengajar, pengetahuan yang disampaikan oleh para pengajar tidak hanya dari referensi atau slide presentasi tetapi juga pengalaman atau pengetahuan lainnya. Di sisi lain, sistem pengenal ucapan atau automatic speech recognition (ASR) semakin berkembang dan mulai banyak diimplementasikan, termasuk dalam domain perkuliahan. ASR yang dibangun dari awal membutuhkan data yang sangat besar, baik berupa data rekaman suara ataupun data teks. Oleh sebab itu dapat menggunakan pendekatan lain yaitu pembelajaran transfer, merupakan pendekatan untuk membangun model dengan memanfaatkan model yang sudah ada sebagai model sumber. Tugas akhir ini diawali dengan tahap pengumpulan data domain perkuliahan Teknik Informatika ITB. Eksperimen ASR menggunakan model bahasa spontan pada domain berita sebagai model sumber. Secara umum pengerjaan tugas akhir dibagi menjadi tiga sistem, yaitu sistem yang menggunakan domain berita (baseline), domain perkuliahan (baseline), dan keduanya (pembelajaran transfer). Pada ketiga sistem, model akustik yang digunakan adalah triphone GMMHMM dan juga MAP yang hanya pada sistem C. Model bahasa ketiga sistem menggunakan ngram serta LSTM dengan lapis proyeksi. Pembelajaran transfer pada model bahasa dengan interpolasi N-gram serta transfer model LSTMP. Sistem domain berita memberikan hasil WER 78.30% (5-fold) dan 85.18% (10sp), sistem domain perkuliahan 58.232% (5-fold) dan 62.18% (10sp), serta sistem pembelajaran transfer 52.734% (5-fold) dan 67.0 (10sp). Semakin kecil nilai WER, maka semakin baik model yang dibangun, sehingga ASR terbaik untuk perkuliahan adalah dengan pendekatan pembelajaran transfer pada model bahasa dan triphone biasa pada model akustik.