Perpustakaan Digital ITB
Wawancara daring memberikan fleksibilitas dalam proses rekrutmen, tetapi membatasi kemampuan
pewawancara untuk mengawasi lingkungan dan perilaku kandidat secara langsung.
Keterbatasan ini menyulitkan identifikasi kejadian seperti kandidat meninggalkan
tampilan kamera, menerima bantuan orang lain, menggunakan telepon seluler, mengalihkan
perhatian dari layar, atau memanfaatkan teknologi yang mengubah arah pandang pada
video. Tugas akhir ini mengembangkan komponen analisis video untuk menandai indikasi
tersebut pada rekaman wawancara dalam sistem interviewer chatbot. Komponen ini tidak
menentukan bahwa kandidat melakukan kecurangan secara otomatis, tetapi menyediakan
penanda waktu untuk membantu evaluator meninjau bagian rekaman yang perlu diperhatikan.
Rekaman wawancara diproses menjadi cuplikan gambar yang dianalisis oleh beberapa modul
sesuai dengan jenis indikasinya. Analisis mencakup keberadaan dan posisi wajah, jumlah
orang, keberadaan telepon seluler, perubahan orientasi kepala, serta pola visual pada
area mata yang dapat menunjukkan manipulasi arah pandang. Prediksi dari cuplikan gambar
atau klip pendek kemudian disaring berdasarkan kesinambungan waktu dan digabungkan
menjadi rentang kejadian yang memiliki waktu mulai dan selesai. Setiap indikator dievaluasi
secara terpisah menggunakan data berlabel agar kemampuan dan sumber kesalahannya
dapat dianalisis.
Evaluasi orientasi kepala menghasilkan nilai mean absolute error seluruh sumbu sebesar
4,8489 derajat. Deteksi perubahan arah kepala memperoleh F1 kejadian sebesar 0,6806.
Deteksi manipulasi arah pandang memperoleh F1 klip sebesar 0,8486, tetapi F1 kejadian
sebesar 0,4828 karena masih menghasilkan banyak kejadian positif palsu. Deteksi penggunaan
telepon seluler memperoleh F1 kejadian sebesar 0,5714 dan masih melewatkan sebagian
kejadian yang terdapat pada data uji.
Hasil tersebut menunjukkan bahwa komponen yang dikembangkan telah mampu mengubah
hasil analisis video menjadi daftar kejadian terstruktur untuk peninjauan manusia. Namun,
hasil kuantitatifnya masih perlu diperlakukan sebagai evaluasi awal terkontrol karena ketepatan
anotasi, jumlah dan keragaman data, serta kesalahan berupa kejadian positif palsu
dan kejadian terlewat masih perlu diperbaiki.