Perpustakaan Digital ITB

LargeLanguageModels (LLM) telahbanyakdigunakanuntuktanyajawabin- formasi biomedis,namunrentanmenghasilkanhalusinasi,yaitujawabanyang terlihat meyakinkantetapitidakdidukungsumberyangvalid.Pendekatan Retrieval- Augmented Generation (RAG) ditawarkanuntukmengurangihalusinasidengan menyertakan dokumenrelevansebagaikonteks,namunkualitasjawabanmasih bergantungpadakeberhasilantahap retrieval. Padadomainbiomedis,sistemRAG menghadapi tantangantambahanberupa vocabulary mismatch, yaituketidakcocok- an antaraistilahpanjangyangdipakaipenggunadenganakronimyangumumtertulis pada dokumenilmiah. Penelitian inibertujuanmerancang,mengimplementasikan,danmenganalisissistem mitigasi halusinasipadaRAG-LLMyangmenggabungkantigateknikkomplemen- ter,yaitu ekspansi akronim sebagai praprosesdokumen, query rewriting untuk memperkaya kueripengguna,dan context reranking untuk memilihkonteksyang paling relevansebelumtahap generation. Sistemdiujipada dataset PubMedQA dengan korpus1.000paperbiomedisdan500pertanyaanevaluasimenggunakan model LLMGPT-4.1-mini. Hasil evaluasimenunjukkanbahwaekspansiakronimmeningkatkankinerja retrie- val secara konsisten,yaitu Recall@5 naik dari78,65%menjadi84,96%,MAP@5 dari 75,32%menjadi82,47%,dannDCG@5dari83,08%menjadi88,45%.Teknik context reranking juga konsistenmeningkatkanakurasipadaseluruhmodelLLM yang diujisebesar1–3poinpersentase.Konfigurasiterbaikyangmenggabungkan ekspansi akronim, query rewriting, dan context reranking pada GPT-4.1-minimen- capai accuracy 74,8% dan faithfulness 0,980. Secarakeseluruhan,hasileksperimen menunjukkan bahwakombinasiketigateknikmampumenurunkan hallucination rate dari 34,6%menjadi25,2%sekaligusmeningkatkankualitasjawabansistem tanya jawabbiomedis.