Perpustakaan Digital ITB

Proses rekrutmen daring semakin menantang untuk menjaga integritas dan kejujuran kandidat, terutama dengan penggunaan alat AI seperti ChatGPT untuk menjawab pertanyaan wawancara. Penelitian ini mengembangkan komponen anti-cheat berbasis teks menggunakan model ALBERT (A Lite BERT) untuk mengidentifikasi kecurangan selama wawancara otomatis. ALBERT dipilih karena efisiensinya dalam penggunaan memori dan kemampuannya memahami konteks dan struktur bahasa. Untuk memastikan keandalan dan efektivitas deteksi, penelitian ini mengeksplorasi teknik- teknik mendeteksi probabilitas respons tekstual seorang pengguna dihasilkan oleh AI, serta menguji kinerja ALBERT dalam melakukan klasifikasi sumber respons pengguna. Selain itu, penelitian ini juga mencakup cara integrasi sistem anti-cheat dengan perangkat lunak rekrutmen talenta. Beberapa indikator eksternal yang digunakan meliputi fitur POS tags, emosi dan sentimen kalimat, keterbacaan, perplexity, jumlah penggunaan backspace, jumlah salah ketik, dan cosine similarity untuk jawaban gpt-4o. Fitur yang ditemukan kurang berpengaruh pada hasil inferensi model adalah rasio kata unik, burstiness, cosine similarity untuk jawaban gpt-3.5-turbo dan gemini-1-pro, serta durasi pengetikan. Implementasi sistem ini menggunakan teknik fine-tuning pada model ALBERT dan Logistic Regression untuk klasifikasi, serta integrasi dengan sistem rekrutmen cerdas secara asynchronous menggunakan message queue. Hasil model terbaik yang berhasil dilatih merupakan ALBERT dengan classification head 2 jalur, jalur pertama untuk hasil ALBERT sendiri dan jalur kedua untuk indikator eksternal. Model ALBERT memberikan accuracy 0.81, precision 0.867, recall 0.788, dan F1-Score 0.82 serta model Logistic Regression memberikan accuracy 0.783, precision 0.73, recall 0.73, dan F1-Score 0.72.