Perpustakaan Digital ITB

Penelitian ini bertujuan untuk mengembangkan Question Answering (QA) System pada terjemahan Al-Qur’an menggunakan Large Language Model (LLM). Sistem ini dirancang untuk mempermudah pemahaman kitab suci Al-Qur’an, khususnya bagi para mualaf yang baru memeluk agama Islam. Dalam konteks Indonesia, sebagai negara dengan populasi muslim terbesar di dunia, terdapat kebutuhan terhadap sistem yang dapat menjawab pertanyaan tentang pengetahuan keislaman yang terkandung dalam kitab suci Al-Qur’an. Proses penelitian melibatkan pembuatan dataset IndoQRCD yang merupakan terjemahan dari Qur’anic Reading Comprehension Dataset (QRCD) ke dalam bahasa Indonesia. Dataset ini digunakan untuk melakukan fine-tuning pada dua buah pre-trained model, yaitu XLM-RoBERTa dan IndoBERT. Hasil pengujian dengan metrik exact match dan F1 score menunjukkan IndoBERT lebih baik dalam menghasilkan jawaban yang tepat berdasarkan konteks yang diberikan. QA system dibangun dengan arsitektur Retrieval-Augmented Generation (RAG) dan diberi nama Qur’an QA. Vector store dibuat sebagai knowledge base dan sekaligus berperan sebagai retriever yang mampu melakukan pencarian dengan algoritma similarity search. Qur’an QA mampu melakukan dua jenis QA, yaitu ekstraktif dan generatif. Generator QA ekstraktif menggunakan fine-tuned IndoBERT. Sementara itu, GPT-4 dipilih sebagai generator pada QA generatif. Qur’an QA mampu menerima input berupa pertanyaan tentang keislaman dalam bahasa Indonesia. Kemudian, sistem memberikan jawaban berdasarkan konteks yang diberikan berupa kutipan ayat Al-Qur’an. Hasil pengujian dengan metrik answer relevancy dan faithfulness menunjukkan bahwa QA generatif lebih baik daripada QA ekstraktif dalam menghasilkan jawaban yang relevan dan minim halusinasi.