Perpustakaan Digital ITB

Proses rekrutmen merupakan salah satu tahap terpenting untuk keberlanjutan badan usaha. Proses rekrutmen memakan waktu yang relatif lama terutama pada tahap wawancara sehingga dibutuhkan sebuah solusi untuk meningkatkan efisiensi dari proses rekrutmen tersebut. Berdasarkan kebutuhan tersebut, maka dikembangkan aplikasi AIVue yang mampu melakukan manajemen kandidat, manajemen proses asynchronous interview, serta menampilkan hasil wawancara dengan emosi wajah kandidat. Tugas akhir ini membahas tentang model pembelajaran mesin berbasis Convolutional Neural Network (CNN) yaitu ZFNet, GoogLeNet, dan ResNet yang akan digunakan untuk mendapatkan emosi wajah kandidat pada aplikasi AIVue. ResNet menjadi pilihan model yang diunggulkan karena memiliki konsep residual block dan skip connection yang mampu mengatasi overfitting ketika menggunakan jumlah layer yang besar. Selain itu, GoogLeNet juga diperkirakan dapat memberikan hasil yang menyusul ResNet karena memiliki konsep inception module yang dapat menyusun convolutional layer secara paralel. Model ZFNet sendiri tidak memiliki keunikan khusus yang mampu memberikan peningkatan kinerja. Hasil pengujian menunjukkan ResNet sebagai model terbaik dengan nilai akurasi 62% dan f1 score 52% sesuai dengan hipotesis awal. Model GoogLeNet juga memberikan hasil yang tidak terpaut jauh dengan ResNet yaitu akurasi 61% dan f1 score 51%. Semua model juga membutuhkan waktu yang relatif singkat untuk melakukan prediksi emosi wajah yakni antara 10 hingga 11 detik untuk video wawancara berdurasi 10 menit. Berdasarkan hasil pengujian tersebut maka ResNet dipilih menjadi model yang diimplementasi pada aplikasi AIVue. Saran yang dapat dilakukan untuk meningkatkan kinerja model adalah dengan menambahkan variasi pada dataset, menggunakan optimizer dan learning rate yang tepat, serta melakukan eksperimen dengan pilihan model pembelajaran mesin yang lebih beragam.