Perpustakaan Digital ITB

Sistem deteksi aspek untuk ulasan online, terutama berbasis pembelajaran tanpa supervisi, dinilai strategis untuk mengolah ulasan daring yang bisa berjumlah banyak dan tidak terstruktur. Model deep learning berbasis aspect embedding, yaitu pemetaan aspek dalam dimensi embedding, telah dirancang untuk menyelesaikan masalah tersebut seperti model Attention-based Aspect Extraction (He dkk., 2017) dan model Self-Supervised Contrastive Learning (Shi dkk., 2020). Model Attention-based Aspect Extraction(ABAE) dengan penerapan strategi pemetaan High Resolution Selective Mapping (Shi dkk., 2020) mampu menghasilkan kinerja yang baik. Namun, model tersebut masih mengandalkan word embedding yang redundan dan juga sensitif terhadap inisialisasi awal model yang dapat berdampak besar terhadap kinerja model. Pada penelitian ini, pendekatan pruning atau pemangkasan parameter digunakan untuk mengurangi redundansi parameter model dan menghasilkan sejumlah sparse model dari model kategorisasi aspek tanpa supervisi berbasis aspect embedding.. Penelitian ini meliputi sejumlah eksperimen implementasi dan perbandingan hasil pemangkasan parameter jaringan model berdasarkan strategi pemangkasan jaringan model. Model ABAE dengan strategi HRSMap digunakan sebagai model referensi untuk mempelajari pengaruh pemangkasan model tersebut. Strategi pruning ditentukan berdasarkan metode pruning oleh (Han dkk., 2015) dan lottery ticket hypothesis oleh (Frankle dan Carbin, 2019). Data yang digunakan dalam pengujian eksperimen adalah dataset citysearch yang digunakan pada penelitian model kategorisasi aspek sebelumnya (He dkk., 2017; Shi dkk., 2020). Hasil penelitian yang didapat adalah pemangkasan terhadap model kategorisasi aspek tanpa supervisi berbasis aspect embedding dapat menghasilkan sparse model dengan kinerja yang serupa, namun belum ditemukan metode pruning yang secara konsisten dapat meningkatkan kinerja sparse model secara signifikan. Pemangkasan model sebesar hingga 80% masih dapat menghasilkan perbedaan kinerja sebesar 1.02% dibawah model original. Model terbaik yang dihasilkan dalam penelitian ini adalah model one-shot pruning, reset & fine-tuning dengan random initialization dan pemangkasan 10% bobot dengan 2 iterasi. Model terbaik memiliki 80% parameter total tersisa dan mencapai nilai F1 sebesar 0.824, dengan peningkatan kinerja sebesar 1.01%