Perpustakaan Digital ITB

Industri logistik yang terus berkembang mendorong PT Global Unggul Mandiri (Paxel) untuk mengandalkan chatbot Hera sebagai garda terdepan pelayanan pelanggan. Namun, chatbot existing berbasis rule-based hanya mencapai bot deflection rate 60% per Februari 2026, di bawah target manajemen sebesar 80%, akibat completion rate yang rendah sebesar 59,05%. Gejala masalah ini disebabkan oleh keterbatasan pencocokan kata kunci, alur percakapan statis, dan ketidakterhubungan dengan knowledge base terpusat. Penelitian ini bertujuan untuk proof of concept chatbot berbasis Large Language Model agent (LLM) agent, menganalisis perbandingan usability antara chatbot berbasis LLM agent (Sistem B) dan chatbot existing berbasis rule-based (Sistem A) berdasarkan kerangka ISO 9241-11, serta merumuskan rekomendasi sistem berdasarkan analisis tersebut. Perancangan sistem usulan dilakukan dengan menggunakan metodologi Framework for the Application of System Thinking (FAST) dengan pendekatan Object Oriented Analysis (OOA) yang disajikan dengan Unified Modelling Language (UML). Sistem usulan mengintegrasikan function/tools Retrieval Augmented Generation (RAG) dan parameterized database query dalam arsitekturnya. Sistem kemudian dievaluasi usability-nya melalui controlled experiment within-subjects terhadap 40 responden untuk mengukur efektivitas dengan metrik Task Completion Rate (TCR), efisiensi dengan Time on Task (ToT), dan kepuasan pengguna dengan Bot Usability Scale (BUS-11). Hasil menunjukkan Sistem B mencapai TCR 100%, lebih cepat hingga 52,9% pada tugas informasi layanan, serta skor BUS-11 sebesar 86,02 (Very Good) dibandingkan Sistem A sebesar 78,38% (Good). Penelitian merekomendasikan Paxel mengembangkan Hera secara in-house, didukung oleh sistem usulan yang lebih baik secara usability dan analisis kelayakan finansial yang positif.