Perpustakaan Digital ITB

Seiring meningkatnya volume publikasi ilmiah, proses validasi kutipan makalah secara manual menjadi tidak efisien dan berisiko menurunkan kredibilitas penelitian. Untuk mengatasi tantangan ini, penelitian ini bertujuan merancang dan mengembangkan sebuah sistem otomatis berbasis Large Language Model (LLM) untuk validasi kutipan, yang mampu menentukan status validitas serta menghasilkan penjelasan (reasoning) yang relevan untuk setiap keputusannya. Metodologi yang diusulkan mengintegrasikan dua model utama: SciBERT untuk tugas klasifikasi tujuan kutipan dan DeepSeek LLM untuk pembangkitan penjelasan. Untuk mengatasi ketidakseimbangan kelas pada data latih, model klasifikasi dilatih menggunakan teknik augmentasi data. Validitas kutipan ditentukan melalui pendekatan berbasis skor keyakinan (confidence score) dari hasil klasifikasi SciBERT, dengan ambang batas 0.8 yang ditetapkan melalui eksperimen. Sementara itu, penjelasan yang kontekstual dihasilkan menggunakan teknik rekayasa prompt (prompt engineering) untuk memastikan relevansi keluaran model. Hasil pengujian menunjukkan bahwa model klasifikasi final mencapai performa Macro F1-Score sebesar 0.7017 pada data uji. Sebuah temuan kunci dari penelitian ini adalah augmentasi data tidak secara signifikan meningkatkan performa, yang mengindikasikan tantangan utama terletak pada ambiguitas semantik antar kelas. Evaluasi oleh responden menunjukkan penerimaan yang positif, dengan tingkat kesetujuan validitas mencapai 89.7%. Kualitas penjelasan yang dihasilkan juga dinilai sangat baik, dengan modus dan median skor kualitas berada pada nilai 4 dari 4 (“Sangat Baik”). Disimpulkan bahwa sistem yang dikembangkan merupakan solusi fungsional, meskipun tantangan dalam menangani ambiguitas semantik yang kompleks masih tersisa.