Perpustakaan Digital ITB

Seiring pertumbuhan pesat industri e-commerce, kualitas layanan pelanggan menjadi faktor krusial untuk meningkatkan loyalitas pengguna. Namun, sistem chatbot yang ada saat ini seringkali kesulitan menangani kueri pengguna yang kompleks dan multi-domain, yang menyebabkan pengalaman pengguna terfragmentasi. Penelitian ini bertujuan untuk mengembangkan dan mengevaluasi sistem AI multi-agent untuk menangani masalah layanan pelanggan dalam domain pembayaran, logistik, dan pembatalan pesanan di platform e-commerce. Secara spesifik, penelitian ini merancang, mengimplementasikan, dan membandingkan kinerja dua arsitektur orkestrasi yang berbeda, model delegasi (Supervisor) dan model plan-and-execute (Orkestrator). Sistem dikembangkan menggunakan Large Language Model (LLM) Gemini dan kerangka kerja LangGraph, dengan setiap agen memiliki kemampuan untuk menggunakan serangkaian tools untuk berinteraksi dengan basis data. Evaluasi kinerja dilakukan melalui pendekatan komprehensif yang mencakup pengujian fungsional otomatis berbasis LLM (LLM-as-a-judge), analisis percakapan multi-turn secara manual, dan survei pengguna. Hasil evaluasi menunjukkan bahwa arsitektur orkestrator secara signifikan lebih unggul dalam aspek kualitas dan pemahaman konteks, dengan tingkat keberhasilan tugas mencapai 90% pada skenario multi-turn. Sebaliknya, arsitektur Supervisor terbukti jauh lebih efisien dengan latensi respons 3x lebih cepat. Sebuah sub-eksperimen juga menunjukkan bahwa penggunaan model generalis yang diatur melalui rekayasa prompt lebih efektif untuk tool-calling (keberhasilan 61.1%) dibandingkan dengan model yang telah melalui proses fine-tuning pada data percakapan (keberhasilan 0%). Disimpulkan bahwa terdapat trade-off fundamental antara efisiensi sistem dan kualitas pengalaman pengguna dalam desain arsitektur multi-agent, dan rekayasa prompt pada model generalis merupakan strategi yang lebih baik untuk membangun fungsionalitas AI Agent.