Perpustakaan Digital ITB

PT X adalah perusahaan manufaktur logam lembaran dengan sistem produksi job shop yang sangat bergantung pada pesanan pelanggan. Informasi progres order yang akurat dan realtime menjadi krusial untuk menunjang operasional dan kepuasan pelanggan. Sistem pelacakan order yang ada saat ini masih memiliki keterbatasan, seperti akses terbatas, tampilan tidak interaktif, dan kesulitan penggunaan. Proyek ini bertujuan merancang dan mengevaluasi prototipe sistem chatbot berbasis Large Language Model (LLM) yang mendukung pelacakan order secara efektif, efisien, dan mudah digunakan oleh Divisi Sales and Marketing. Perancangan sistem dilakukan menggunakan pendekatan Framework for the Application of Systems Thinking (FAST) yang mencakup tujuh tahap: scope definition, problem analysis, requirement analysis, logical design, decision analysis, physical design and integration, serta construction and testing. Tahap installation and delivery menjadi batasan proyek. Prototipe yang dikembangkan diuji melalui usability testing terhadap 15 partisipan dari Divisi Sales and Marketing dengan tiga pendekatan utama: pengukuran efektivitas (task completion rate), efisiensi (time on task dan chatbot delay time), dan observasi kesalahan. Selain itu, dilakukan evaluasi kualitatif melalui Retrospective Think Aloud (RTA) dan kuesioner User Experience Questionnaire (UEQ) serta Chatbot Usability Questionnaire (CUQ). Hasil proyek ini berupa prototipe chatbot pelacakan order yang dapat membantu staf mencari dan memberikan informasi progres order kepada pelanggan secara otomatis. Prototipe telah diverifikasi berdasarkan kebutuhan fungsional dan divalidasi terhadap system improvement objectives oleh pihak manajemen PT X. Dari hasil evaluasi, chatbot menunjukkan rata-rata task completion rate sebesar 98%, dengan durasi pengerjaan tugas yang efisien dan tingkat kesalahan minimal. Partisipan juga memberikan tanggapan positif pada UEQ dan CUQ, menunjukkan bahwa sistem telah memenuhi ekspektasi dalam hal kegunaan, kenyamanan, dan pengalaman pengguna. Hasil rancangan perbaikan chatbot didasarkan pada hasil evaluasi usability dan dijadikan rekomendasi pengembangan selanjutnya.