Perpustakaan Digital ITB

Wawancara kerja daring semakin umum digunakan dalam proses rekrutmen, tetapi sistem wawancara otomatis berbasis teks memiliki keterbatasan dalam menilai sinyal non-verbal kandidat seperti intonasi suara dan ekspresi wajah. Tugas Akhir ini secara khusus mengembangkan modul penilaian untuk wawancara video yang memprediksi skor kepribadian berbasis framework OCEAN beserta metrik performa wawancara dari tiga modalitas: transkrip jawaban lisan, audio, dan visual. Fitur setiap modalitas diekstraksi menggunakan model pre-trained (BERT untuk transkrip, WavLM untuk audio, serta OpenFace dan CLIP untuk gambar wajah), kemudian digabungkan menggunakan arsitektur Multimodal Transformer (MulT) dengan mekanisme cross-modal attention yang mampu menangani ketidaksinkronan antar modalitas tanpa alignment eksplisit. Untuk mengatasi keterbatasan data wawancara berlabel, backbone model di-pre-train pada korpus sentimen multimodal CMU-MOSEI, kemudian di-fine-tune pada dataset wawancara RecruitView dengan skema dua fase ber-learning rate diskriminatif dan Huber loss dengan uncertainty weighting. Hasil evaluasi yang tersedia berasal dari tujuh kelompok eksperimen dengan pembagian data tanpa kebocoran pada tingkat kandidat, menggunakan metrik utama MAE, RMSE, R2, PCC, dan CCC serta metrik pemeringkatan SRCC dan pairwise ranking accuracy sebagai pelengkap. Modul diimplementasikan sebagai layanan inferensi asinkron berbasis FastAPI dan Temporal yang terkontainerisasi agar siap diintegrasikan pada “Sistem Live Interview Cerdas”. Pada data uji, capaian terbaik berada pada kisaran macro CCC 0,35–0,40, dengan CCC tertinggi 0,398 pada varian MulT berkapasitas besar, MAE terendah 0,589 dan R2 tertinggi 0,204 pada varian ringkas, serta pairwise ranking accuracy sekitar 0,66–0,68. Perbandingan terkendali terhadap baseline Shared Compression MLP (SC-MLP) menunjukkan bahwa MulT unggul pada metrik konkordansi dan pemeringkatan, yaitu CCC 0,388 berbanding 0,325 serta CCC lebih tinggi pada seluruh dua belas target, meskipun SC-MLP lebih baik pada metrik galat absolut. Analisis sensitivitas skala temporal pooling menunjukkan kinerja model yang praktis stabil pada rentang skala 5–20, sehingga pilihan skala pooling bukan faktor penentu pada konfigurasi ini. Hasil ini menunjukkan bahwa fusi berbasis cross-modal attention mampu menangkap interaksi lintas-modalitas secara moderat, dengan sinyal audio–visual yang lebih dominan daripada teks; namun, seluruh capaian masih berasal dari satu seed sehingga klaim signifikansi statistik belum ditarik.