Perpustakaan Digital ITB

Penyakit jantung merupakan penyakit dengan jumlah kasus tertinggi di Indonesia sehingga diperlukan sebuah sistem penyediaan informasi untuk meningkatkan kesadaran masyarakat mengenai penyakit jantung. Perkembangan teknologi generative AI pada beberapa tahun terakhir telah membuka cara baru dalam pengaksesan informasi kesehatan, namun terdapat sebuah kekhawatiran akan kecenderungannya berhalusinasi akibat keterbatasan pengetahuan domain. Untuk mengatasi masalah tersebut, dilakukan inisiatif knowledge injection berupa implementasi Retrieval Augmented Generation untuk sistem tanya jawab tentang penyakit jantung. Selain itu, diterapkan pendeketan Hypothetical Document Embeddings (HyDE) untuk menghilangkan ketergantungan sistem terhadap query masukan pengguna dengan proses transformasi query menjadi jawaban hipotesis. Dengan menggunakan artikel dari situs Alodokter sebagai basis pengetahuan tentang penyakit jantung serta beberapa variasi model embedding dan large language model (LLM), dilakukan implementasi pipeline yang terdiri dari proses indexing, retrieval, dan generation. Setelah implementasi, dilakukan proses evaluasi dengan dua jenis metode, yakni berbasis LLM dan berbasis ahli domain. Evaluasi berbasis LLM yang mengandalkan empat metrik skor RAGAS menunjukkan penerapan HyDE memiliki kinerja yang lebih baik dalam proses retrieval daripada sistem yang tidak menerapkan HyDE. Kinerja retrieval yang lebih baik ini membuat jawaban yang dihasilkan LLM menjadi lebih faktual dan sesuai dengan basis pengetahuan di dalam artikel. Dari segi penilaian ahli domain yang merupakan dokter spesialis jantung, sistem RAG dinilai sudah mampu menghasilkan jawaban yang faktual, koheren, komprehensif, serta tidak membahayakan.