Perpustakaan Digital ITB

Penulis mengkaji sulitnya mendapatkan informasi budidaya kelapa sawit yang utamanya terjadi karena sifat pengetahuan yang digunakan saat ini berupa pengalaman atau word-of-mouth yang tidak dapat terbukti kebenarannya. Sejalan dengan rumusan masalah yang ditentukan, Penulis merancang pembangunan sistem end-to-end RAG dengan integrasi obejct detection dan melakukan evaluasi berbagai model LLM multimodal dalam penyelesaian masalah tersebut Pada tugas akhir ini, digunakan metodologi CRISP-DM yang dimulai dari tahap business understanding dan data understanding untuk memahami karakteristik data dan memungkinkan perancangan arsitektur data. Lalu, dilakukan data preparation untuk melakukan chunking data dokumen dan melakukan augmentasi pada data gambar. Akhirnya, tahap modelling dilakukan yang menyusun setiap komponen embedding, database vektor, retriever, object detection dan LLM dalam satu pipeline yang dilakukan deployment pada server lokal. Evaluasi dilakukan dengan framework RAGAS pada 226 pasangan tanya jawab. Gemini-2.5-Flash menunjukkan hasil nilai rata-rata terbaik dengan nilai answer relevancy sebesar 0,5725 dan faithfulness dengan nilai rata-rata 0,9551. Namun, hasil evaluasi kualitatif dengan survei pengguna menunjukkan hasil berbeda dengan model Llama 3.3-70b-Versatile mencapai nilai lebih tinggi pada metrik naturalness dan helpfulness. Berdasarkan hasil evaluasi tersebut, sistem yang dikembangkan dinilai telah menjawab rumusan masalah dan mencapai tujuan yang ditetapkan pada tugas akhir ini