Perpustakaan Digital ITB

Perkembangan platform perdagangan elektronik telah membuat ulasan pelanggan menjadi salah satu sumber informasi penting bagi pelaku Usaha Mikro, Kecil, dan Menengah (UMKM). Ulasan tersebut dapat mencerminkan persepsi pelanggan terhadap kualitas, akurasi, layanan, komunikasi, pengiriman, kemasan, maupun harga. Namun, banyak pelaku UMKM masih menganalisis umpan balik pelanggan secara manual sehingga prosesnya memakan waktu, rawan subjektivitas, dan sulit dilakukan ketika jumlah ulasan semakin besar. Penelitian ini bertujuan untuk meng-embangkan model dan sistem berbasis Natural Language Processing (NLP) yang dapat membantu pelaku UMKM menganalisis sentimen dan mengklasifikasikan to-pik umpan balik pelanggan berbahasa Indonesia secara lebih cepat, objektif, dan terukur. Sistem yang dikembangkan berbentuk aplikasi web sederhana yang terdiri atas modul input data, prapemrosesan teks, analisis sentimen, klasifikasi topik, dan antarmuka pengguna. Pada penelitian ini, data ulasan dapat dimasukkan secara manual maupun melalui unggahan berkas CSV. Modul analisis sentimen dibangun dengan melakukan fine-tuning terhadap model IndoBERT versi indobert-base-p1 untuk mengklasifikasikan ulasan ke dalam tiga kelas sentimen, yaitu positif, nega-tif, dan netral. Sementara itu, klasifikasi topik dilakukan menggunakan pendekatan berbasis kata kunci untuk mengidentifikasi topik utama yang muncul dalam ulasan, yaitu kualitas, akurasi, layanan, komunikasi, pengiriman, kemasan, dan harga. Hasil evaluasi menunjukkan bahwa model analisis sentimen memperoleh akurasi global sebesar 79,2% dengan nilai weighted F1-score sebesar 81,06%. Model menunjukkan performa yang cukup baik pada kelas positif dan negatif, tetapi masih memiliki keterbatasan dalam mengklasifikasikan kelas netral, terutama pada ulasan yang mengandung sentimen campuran atau konteks yang ambigu. Evaluasi terhadap data dengan noise menunjukkan bahwa model cukup tangguh terhadap kata tidak baku dan salah ketik, tetapi mengalami penurunan performa yang signifikan pada ulasan dengan mixed sentiment dan sarkasme. Dari sisi waktu pemrosesan, sistem mampu memproses dataset berukuran kecil dengan waktu yang relatif singkat, sedangkan pemrosesan 10000 ulasan membutuhkan waktu sebesar 23 menit 42 detik. Evaluasi penggunaan yang dilakukan kepada 5 pengguna menghasilkan skor rata-rata 51 dari skor maksimum 60. Hasil tersebut menunjukkan bahwa aplikasi dinilai mudah digunakan, membantu mempercepat proses analisis ulasan, serta memberikan informasi yang berguna bagi pelaku UMKM dalam memahami opini pelanggan. Secara keseluruhan, sistem yang dikembangkan telah memenuhi tujuan penelitian sebagai alat bantu analisis sentimen dan klasifikasi umpan balik pelanggan. Pengembang-an selanjutnya dapat difokuskan pada peningkatan kualitas data pelatihan, optimasi pemrosesan data berskala besar, integrasi akuisisi data dari platform e-commerce, serta penambahan fitur ekspor laporan.