Perpustakaan Digital ITB

Informasi iklim memiliki peran penting dalam mendukung pemahaman terhadap kondisi, prakiraan, dan risiko terhadap iklim. Akan tetapi, informasi tersebut tersebar dalam berbagai dokumen, laporan, dan data eksternal sehingga proses pencarian informasi menjadi tidak sederhana. Penelitian ini mengembangkan modul retrieval berbasis vector search dengan mekanisme fallback web search dan modul tool calling pada arsitektur agentic AI chatbot untuk informasi iklim. Modul retrieval dirancang untuk mengambil informasi relevan dari basis pengetahuan internal yang dibangun dari dokumen BMKG dan glosarium, sedangkan mekanisme fallback digunakan ketika informasi tidak tersedia atau tidak memadai pada basis internal. Modul tool calling dikembangkan untuk memilih layanan eksternal dan parameter pemanggilan yang sesuai berdasarkan instruksi pengguna. Evaluasi dilakukan secara bertahap terhadap komponen retrieval dan tool calling. Pengujian retrieval menggunakan 300 kasus uji yang terdiri atas 100 kasus dokumen BMKG, 100 kasus glosarium, dan 100 kasus fallback sedangkan pengujian tool calling menggunakan 100 kasus uji. Hasil eksperimen menunjukkan bahwa konfigurasi terbaik modul retrieval menggunakan strategi adaptive rule based chunking untuk dokumen BMKG, glossary entry based chunking untuk glosarium, model embedding BAAI/bge-m3, model reranker BAAI/bge-reranker-v2-m3, model LLM google/gemma-4-31b-it untuk query expansion, serta system prompt terstruktur. Konfigurasi ini mencapai Hit@5 sebesar 0,9700 pada evaluasi retrieval. Pada mekanisme fallback, konfigurasi top-K 10 dan threshold 0,5 menghasilkan F1 sebesar 0,8559. Sementara itu, modul tool calling mencapai skor 1,0000 pada tool accuracy dan argumen F1 menggunakan model google/gemma-4-31b-it dengan prompt instruction-only. Hasil ini menunjukkan bahwa modul yang dikembangkan mampu mendukung penyediaan informasi iklim melalui pengambilan dokumen internal dengan keputusan fallback dan pemanggilan tool secara terstruktur dalam arsitektur agentic AI chatbot.