Perpustakaan Digital ITB

Proses rekrutmen menggunakan LLM menjadi tantangan tersendiri karena pada dasarnya LLM memiliki sifat yang sulit sekali untuk dihilangkan, yaitu halusinasi. Penelitian ini mengembangkan komponen anti-halusinasi berbasis metode chain- of-verification menggunakan model GPT 3.5 dan GPT 4 untuk mendeteksi halusinasi dan mencegah LLM interviewer memberikan respons halusinasi tersebut kepada kandidat. Model GPT dipilih karena tingkat hallucination rate yang paling rendah dibandingkan model lain ketika penelitian ini dilakukan (GPT 3.5 dengan 3.5% dan GPT 4 dengan 3%). Penelitian ini menggunakan 2 buah model GPT untuk melihat perbedaan hasil dari pencegahan halusinasi tersebut. Implementasi sistem ini menggunakan teknik chain-of-verification dengan melakukan few-shot kepada model LLM verifier agar bisa mengetahui dan membedakan halusinasi yang kemungkinan bisa terjadi. Metode tersebut dibuat sebagai bagian modul dari LLM interviewer yang nantinya akan dipanggil setiap LLM interviewer memberikan pertanyaan atau respons terhadap prompt dari kandidat. Penelitian ini menunjukkan bahwa interview tanpa menggunakan chain-of-verification memiliki rata-rata halusinasi 100% ketika diberikan prompt tertentu, sedangkan ketika menggunakan chain-of-verification, rata-rata halusinasi hanya berada di 12% ketika diberikan prompt yang sama. Model GPT 4 juga menjadi model dengan hasil terbaik dengan rata-rata halusinasi 12% dibandingkan dengan model GPT 3.5 dengan 74,4%