Dokumen Asli
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Proses rekrutmen menggunakan LLM menjadi tantangan tersendiri karena pada
dasarnya LLM memiliki sifat yang sulit sekali untuk dihilangkan, yaitu halusinasi.
Penelitian ini mengembangkan komponen anti-halusinasi berbasis metode chain-
of-verification menggunakan model GPT 3.5 dan GPT 4 untuk mendeteksi
halusinasi dan mencegah LLM interviewer memberikan respons halusinasi tersebut
kepada kandidat. Model GPT dipilih karena tingkat hallucination rate yang paling
rendah dibandingkan model lain ketika penelitian ini dilakukan (GPT 3.5 dengan
3.5% dan GPT 4 dengan 3%). Penelitian ini menggunakan 2 buah model GPT untuk
melihat perbedaan hasil dari pencegahan halusinasi tersebut. Implementasi sistem
ini menggunakan teknik chain-of-verification dengan melakukan few-shot kepada
model LLM verifier agar bisa mengetahui dan membedakan halusinasi yang
kemungkinan bisa terjadi. Metode tersebut dibuat sebagai bagian modul dari LLM
interviewer yang nantinya akan dipanggil setiap LLM interviewer memberikan
pertanyaan atau respons terhadap prompt dari kandidat. Penelitian ini menunjukkan
bahwa interview tanpa menggunakan chain-of-verification memiliki rata-rata
halusinasi 100% ketika diberikan prompt tertentu, sedangkan ketika menggunakan
chain-of-verification, rata-rata halusinasi hanya berada di 12% ketika diberikan
prompt yang sama. Model GPT 4 juga menjadi model dengan hasil terbaik dengan
rata-rata halusinasi 12% dibandingkan dengan model GPT 3.5 dengan 74,4%