Perpustakaan Digital ITB

Sistem agentic AI chatbot berbasis Plan-Execute-Verify untuk informasi iklim dikembangkan untuk menyajikan informasi iklim yang relevan, akurat, dan mudah dipahami oleh pengguna, sebagaimana dijelaskan pada Laporan Capstone penelitian ini. Namun, penyajian tersebut menghadapi tiga tantangan utama, yaitu keberagaman intensi kueri pengguna yang membuka celah bagi pertanyaan di luar domain maupun kueri kontroversial, risiko misinformasi iklim akibat ketidaklengkapan informasi pada proses pencarian yang bersifat iteratif. Penelitian ini merancang, mengimplementasikan, dan mengevaluasi tiga modul untuk menjawab tantangan tersebut, yakni modul klasifikasi intensi, generation module, dan modul evaluasi iteratif, dengan memanfaatkan large language model (LLM) open-source berbasis teknik prompting agar sesuai dengan kebutuhan deployment mandiri BMKG. Modul klasifikasi intensi mengadopsi taksonomi Topic-Intent-Form-Controversy dengan keputusan gate berupa pass, partial, dan no pass serta diuji pada data uji dengan 188 pertanyaan dan 239 sub pertanyaan. Generation module mengadopsi strategi generation berbasis sitasi (VANILLA) yang disinergikan dengan pipeline GINGER secara keseluruhan sistem dan diuji pada 137 data uji, sedangkan modul evaluasi iteratif mengadopsi pendekatan akumulasi evidence (S2G-Judge) yang dimodifikasi dengan mekanisme penghentian dini dengan 100 data uji end to end dan 230 kasus pemanggilan. Ketiga modul diuji terhadap tiga model open-source, yaitu Gemma 4 31B, Qwen3.6 35B-A3B, dan gpt-oss-20b, serta tiga skema prompting, yaitu zeroshot, fewshot, dan Chain of Thoughts (CoT). Hasil eksperimen menunjukkan bahwa alur inferensi single-round dengan kombinasi model Gemma 4 31B dan teknik fewshot yang secara pola lebih berusaha dalam memberikan jawaban atas kueri parsial dengan performa klasifikasi intensi terbaik dengan akurasi 98.9%, Macro F1-Score 98.6%, dan waktu pemrosesan 3.25 detik. Pada generation module, kombinasi model Qwen3.6 35B-A3B dengan teknik fewshot unggul dengan nilai ketepatan mencapai 100%, konsisten menjaga jawaban tetap berlandas evidence sekaligus melakukan sintesis yang relevan, dan unggul dari sisi penolakan dan pemberian prioritas namun masih memiliki keterbatasan dalam kasus penyampaian. Pada modul evaluasi iteratif, mekanisme penghentian dini berbasis answerable dengan model Gemma 4 31B fewshot dipilih karena memberikan keseimbangan yang lebih baik antara kelengkapan informasi dan transparansi keterbatasan sistem, dengan pada kasus over-search sebesar 26.3%, namun masih lebih unggul dari sisi kelengkapan sebesar 15.8%, menjadikan tradeoff yang sesuai pada penelitian ini. Kombinasi tersebut juga terbukti tepat dalam menentukan kecukupan data dengan akurasi sebesar 98.26% dan tidak berhenti mencari secara prematur, dengan kecocokan kemampuan menjawab sebesar 83.72%, meskipun memiliki perilaku memberikan hasil secara stochastic akibat scope aplikasi yang bersinggungan dengan konsep pada prompt, namun masih unggul dengan akurasi sebesar 93.60%. Dengan demikian, ketiga rumusan masalah penelitian berhasil dijawab dan seluruh tujuan penelitian tercapai.