Perpustakaan Digital ITB
Pemanfaatan Large Language Model (LLM) sebagai dasar chatbot informasi
iklim menghadapi tantangan dalam menjaga koherensi percakapan multi-putaran
dan merencanakan langkah penyelesaian tugas secara mandiri. Model bahasa
standar bersifat reaktif sehingga kesulitan menangani kueri kompleks yang
membutuhkan pengumpulan data dari berbagai sumber secara berurutan, dan
rentan kehilangan konteks ketika percakapan berlangsung lama. Penelitian ini
mengembangkan dua modul inti dari sistem Agentic AI, yaitu Modul Kontekstual
yang mengelola informasi percakapan serta Modul Perencana yang menggunakan
pendekatan Plan-Execute-Verify (PEV) sebagai pusat kendali logika agen.
Modul Kontekstual mengimplementasikan enam strategi manajemen konteks
yang terbagi menjadi tiga paradigma, yaitu strategi pasif (Full History dan Sliding
Window), strategi berbasis ringkasan LLM (LLM Summary, Fixed Window
Summary, dan Buffer Summary), serta strategi berbasis kata kunci (Keyword
Retrieval). Setiap strategi yang melibatkan LLM diuji dengan tiga model, yaitu
Gemma 4 31B, GPT OSS 20B, dan Qwen 3.6 35B A3B, sehingga menghasilkan
21 konfigurasi. Evaluasi keenam strategi tersebut dirancang sebagai studi ablasi
terhadap fungsi pemrosesan konteks, dengan Full History sebagai kondisi
terablasi (riwayat dikirim tanpa pemrosesan) yang menjadi pembanding bagi
strategi lainnya. Modul Perencana mengadopsi arsitektur PEV yang memodifikasi
kerangka Plan-and-Act dengan menambahkan Modul Evaluasi yang melakukan
verifikasi eksplisit terhadap kelengkapan informasi setelah seluruh langkah
dieksekusi. Modul Perencana diuji dengan tiga model yang sama dan tiga varian
prompt (Baseline, Chain-of-Thought, dan Minimal) sehingga menghasilkan
sembilan konfigurasi.
Evaluasi Modul Kontekstual dilakukan menggunakan benchmark yang terdiri dari
100 skenario percakapan multi-putaran dengan 1.025 checklist item yang
dikategorikan ke dalam 16 tipe skenario berdasarkan kerangka LongMemEval.
Hasil menunjukkan bahwa seluruh 21 konfigurasi mencapai Contextual Quality
Score (CQS) di rentang 92,2% hingga 94,7% dengan selisih hanya 2,5 persen
6
poin. Konfigurasi LLM Summary dengan Gemma menempati posisi tertinggi
(94,7%) sambil menghasilkan konteks ringkas (482 karakter rata-rata), sedangkan
Sliding Window 4 menawarkan trade-off paling efisien dengan CQS 93,7% dan
total token terendah (487.663 token). Evaluasi Modul Perencana menggunakan
100 kasus uji yang menghasilkan Success Rate keseluruhan sebesar 78,6%,
dengan kegagalan eksekusi (kategori B, 13,2%) lebih tinggi dibandingkan
kegagalan perencanaan (kategori C, 8,2%). Konfigurasi terbaik diraih oleh model
Gemma dan GPT-OSS, keduanya menggunakan varian prompt Chain-of-Thought
(Success Rate 82,0%). Hasil uji signifikansi statistik, yaitu uji Friedman dan
Wilcoxon signed-rank untuk CQS serta Cochran's Q dan McNemar untuk Success
Rate, menunjukkan bahwa perbedaan antar konfigurasi pada kedua modul belum
mencapai taraf signifikan 0,05, sehingga kesimpulan mengenai keunggulan
konfigurasi didasarkan pada konsistensi pola hasil. Temuan ini mengindikasikan
bahwa bottleneck utama sistem terletak pada tahap eksekusi dan verifikasi, bukan
pada kualitas konteks maupun kompleksitas strategi manajemen memori.