Perpustakaan Digital ITB

Kemajuan terkini dalam bidang agentic AI memungkinkan agen menyelesaikan tugas kompleks melalui penggunaan tools eksternal, penalaran, dan perencanaan multilangkah. Akan tetapi, dalam penggunaan di dunia nyata, interaksi antara pengguna dan agen berlangsung secara berkelanjutan serta mencakup banyak sesi sehingga agen perlu mengintegrasikan tindakan, preferensi, dan keputusan terdahulu untuk memenuhi kebutuhan pengguna secara personal. Tugas akhir ini mengembangkan sebuah sistem agentic AI multimodal berbasis ReAct yang dilengkapi memori persisten dan penalaran temporal untuk menyelesaikan tugas dalam interaksi multisesi dengan studi kasus platform layanan restoran. Pengembangan ini mencakup pembangunan lingkungan interaksi berupa platform layanan restoran yang menyediakan 26 tools, serta pengembangan sistem agentic AI yang memadukan penalaran dan aksi dengan modul memori untuk menangani ketergantungan temporal dan perubahan tujuan pengguna antarsesi. Untuk mengevaluasi sistem yang dikembangkan, disusun pula sebuah benchmark multimodal multisesi yang memuat 161 skenario tugas hasil anotasi manusia. Benchmark ini kemudian digunakan untuk mengevaluasi lima model large language model (LLM) mutakhir. Hasil evaluasi menunjukkan bahwa model dengan kinerja terbaik dapat mencapai Pass@3 sebesar 78,26% dan Pass^3 sebesar 47,83%. Selisih yang besar antara kedua metrik tersebut mengindikasikan bahwa keberhasilan agen belum stabil ketika tugas yang sama diulang beberapa kali. Secara umum, agen berbasis LLM mutakhir masih mengalami keterbatasan dalam memahami kondisi pengguna secara akurat, dengan penyebab kegagalan paling dominan berupa terlewatnya pemanggilan tools verifikasi dan retrieval (tool recall). Kegagalan tersebut terutama disebabkan oleh kecenderungan agen untuk memperlakukan riwayat interaksi pada sesi sebelumnya sebagai acuan yang dapat diandalkan untuk menentukan konteks saat ini, alih-alih sebagai informasi yang mungkin sudah tidak relevan dan memerlukan verifikasi ulang. Selain itu, studi ablasi terhadap modul memori menunjukkan bahwa rancangan memori yang dikembangkan lebih andal dibandingkan pendekatan naif seperti memasukkan semua sesi sebelumnya ke dalam konteks atau pendekatan tanpa memori.