Perpustakaan Digital ITB

Perkembangan teknologi voice assistant telah mendorong interaksi manusia–komputer menuju bentuk yang lebih natural dan kontekstual, namun sebagian besar sistem yang tersedia masih bersifat umum (general-purpose) dan kurang optimal untuk menangani percakapan pada domain teknis tertentu seperti Computer Science. Penelitian ini bertujuan untuk mengembangkan sistem AI Voice Chat berbasis pre-trained models yang dioptimalkan untuk domain Computer Science dengan pendekatan arsitektur modular, mencakup tiga komponen utama: Speech-to-Text (STT), Natural Language Processing (NLP), dan Text-to-Speech (TTS). Modul STT menggunakan model Whisper, Wav2Vec 2.0, dan SpeechT5 STT; modul NLP menggunakan Llama 3.2 Instruct, Qwen 2.5 1.5B Instruct, dan Gemma 2B Instruct yang di-fine-tune menggunakan kerangka kerja Unsloth pada dataset Alpaca yang disesuaikan untuk domain teknis; sedangkan modul TTS menggunakan Kokoro, Chatterbox, dan SpeechT5 TTS. Evaluasi dilakukan secara terpisah untuk tiap modul menggunakan metrik yang relevan: Word Error Rate (WER) untuk STT, Exact Match (EM), BLEU, dan ROUGE-L untuk NLP, serta Perceptual Evaluation of Speech Quality (PESQ) untuk TTS. Hasil evaluasi menunjukkan bahwa Whisper unggul pada STT dengan WER terendah sebesar 19,86%, fine-tuning NLP belum menghasilkan peningkatan signifikan dengan EM tetap 0% dan nilai BLEU serta ROUGE-L rendah, serta seluruh model TTS memiliki skor PESQ yang mirip (1,207–1,223) dengan Kokoro dan SpeechT5 unggul dari sisi efisiensi. Selain itu, pengujian aspek keamanan menunjukkan bahwa model lokal lebih aman karena tidak menyimpan maupun mengulang data sensitif. Penelitian ini membuktikan kelayakan pengembangan AI Voice Chat domain spesifik berbasis pre-trained models yang berjalan secara lokal, meskipun peningkatan kualitas NLP, optimisasi efisiensi TTS, serta perhatian lebih pada aspek keamanan tetap diperlukan untuk implementasi nyata..