Perpustakaan Digital ITB

Perkembangan teknologi kecerdasan buatan (AI) dan pembelajaran mesin (ML) membuka peluang baru dalam mendukung pelaksanaan wawancara personal. Namun, integrasi sistem AI secara menyeluruh dalam proses wawancara personal masih bersifat parsial dan belum terintegrasi secara end-to-end. Penelitian ini mengembangkan sistem bernama SmartCAPI, yaitu sistem asistensi wawancara personal berbasis kecerdasan buatan secara end-to-end yang mencakup pengenalan suara penutur, transkripsi ucapan menjadi teks, hingga ekstraksi jawaban kuesioner secara otomatis. Metode penelitian yang digunakan adalah Design Science Research Methodology (DSRM). Dataset audio dikumpulkan dari rekaman podcast YouTube dua pembicara yang kemudian diproses menggunakan ekstraksi fitur Mel-Frequency Cepstral Coefficient (MFCC). Lima algoritma klasifikasi diuji, yaitu Random Forest (RF), Gaussian Naïve Bayes (GNB), Linear Discriminant Analysis (LDA), Support Vector Machine (SVM), dan Recurrent Neural Network (RNN), yang kemudian diintegrasikan dengan Whisper untuk transkripsi dan OpenAI LLM untuk ekstraksi informasi. Hasil pengujian menunjukkan bahwa MFCC dengan 33 fitur merupakan konfigurasi optimal untuk semua algoritma. Sistem terbaik adalah kombinasi RF + Whisper + OpenAI LLM dengan F1-score melebihi 90% dan waktu inferensi rata-rata sekitar 8,5 ms. Uji Paired T-Test membuktikan bahwa wawancara menggunakan SmartCAPI secara signifikan lebih cepat 13,5 detik dibandingkan wawancara konvensional. Uji pakar dengan Inter- Rater Agreement (IRA) menghasilkan nilai Krippendorff's alpha sebesar 0,722 yang menunjukkan kesepakatan moderat di antara para pakar. Sistem SmartCAPI berbasis Progressive Web Apps (PWA) ini bersifat lintas platform dan dapat dioperasikan pada berbagai perangkat.