Perpustakaan Digital ITB

Usaha Mikro, Kecil, dan Menengah (UMKM) menghadapi tantangan struktural dalam pengelolaan sumber daya manusia (SDM) akibat ketiadaan sistem yang mampu memberikan panduan keputusan HR berbasis pengetahuan terstandar, sementara implementasi Retrieval-Augmented Generation (RAG) standar (Naive RAG) tidak memiliki mekanisme evaluasi kualitas dokumen hasil retrieval yang dapat memastikan konteks yang diberikan kepada model benar-benar relevan terhadap kueri pengguna. Penelitian ini merancang dan mengimplementasikan dua kontribusi teknis menggunakan Design Science Research Methodology (DSRM): adaptasi CRAG closed-domain (C1) yang mengganti web search dengan re-retrieve ke basis pengetahuan Qdrant pada jalur INCORRECT, dan retrieval evaluator T5 dengan strategi hard negative satu bab (C2), kemudian dievaluasi melalui studi ablasi tiga varian (Naive RAG, SRAG-only, CRAG-only) terhadap 270 kueri sintetis pada tiga domain HR berbasis Armstrong’s Handbook of HRM Practice edisi ke-16 menggunakan kerangka RAGAS dan LLM-as-Judge. Hasil evaluasi menunjukkan bahwa H1 terkonfirmasi: CRAG-only menghasilkan Faithfulness yang secara signifikan lebih tinggi dari Naive RAG (p < 0,001, d = 0,457, efek sedang, Corrective Action Rate 0,278), sementara H2 ditolak karena SRAG-only tidak meningkatkan faithfulness secara mandiri (p = 0,388, d = 0,071), dengan trade-off berupa penurunan skor Accuracy LLM-as-Judge pada seluruh varian dengan mekanisme tambahan. Penelitian ini memberikan kontribusi berupa artefak adaptasi CRAG closed-domain yang dapat diaudit sumber pengetahuannya, bukti empiris kontribusi asimetris C1 dan SRAG pada kualitas sistem, serta panduan pemilihan arsitektur berdasarkan karakteristik domain.