Perpustakaan Digital ITB

Salah satu kakas yang dapat diimplementasikan untuk menunjang proses pengambilan keputusan pembelian melalui pembacaan ulasan produk adalah peringkasan teks ulasan dengan pemanfaatan model pemrosesan bahasa alami (NLP). Berbagai penelitian terdahulu telah mengimplementasikan berbagai model peringkasan teks secara abstrak berbasis Transformer dan menjadi model state-of- the-art (SOTA) untuk kumpulan data ulasan produk. Akan tetapi, evaluasi pemilihan model pre-trained, selain BART dan PEGASUS, sebagai model basis masih minim dilakukan, walaupun terdapat model SOTA peringkasan teks lain, seperti T5 dan PRIMERA. Oleh karena itu, pada tugas akhir ini dilakukan studi komparasi model-model pre-trained SOTA peringkasan teks yang memanfaatkan teknik transfer learning untuk memvalidasi model basis terbaik dalam sistem peringkasan otomatis teks ulasan produk e-commerce. Metodologi yang digunakan dalam tugas akhir ini adalah CRISP-DM. Seluruh proses perbandingan memanfaatkan kumpulan data ulasan produk Amazon, yaitu AmaSum. Model- model pre-trained peringkasan teks SOTA yang dibandingkan meliputi beberapa checkpoint dari model BART, PEGASUS, LongT5, dan PRIMERA. Sementara itu, kakas pembanding hasil ringkasan setiap model meliputi metrik-metrik otomatis evaluasi peringkasan teks secara objektif (ROUGE, BERTScore, BLEU, dan METEOR), penilaian kualitatif oleh manusia, dan TOPSIS untuk memeringkatkan alternatif model terbaik. Berdasarkan hasil analisis perbandingan model baseline, peringkat model terbaik dari peringkat tertinggi adalah BART, LongT5, PRIMERA, dan PEGASUS. Setelah dilakukan fine-tuning dengan 5 trials Optuna per model, peringkat model terbaik dari peringkat tertinggi adalah BART, PRIMERA, PEGASUS, dan LongT5. Hal tersebut membuktikan bahwa BART merupakan model basis terbaik untuk sistem peringkasan otomatis teks ulasan produk e-commerce.