Perpustakaan Digital ITB

Model peringkasan teks otomatis sangat dipengaruhi oleh karakteristik data pelatihannya. Namun, korpus peringkasan seperti XL-Sum ditemukan mengandung pasangan dokumen-ringkasan yang tidak faktual atau disebut juga halusinasi. Permasalahan ini dapat menurunkan kinerja model yang dilatih. Oleh karena itu, penelitian ini bertujuan untuk meningkatkan kinerja model peringkasan abstraktif untuk Bahasa Indonesia dengan menerapkan filtrasi pada korpus XL-Sum subset Bahasa Indonesia. Penelitian mFACE dan SummFC menunjukkan filtrasi korpus data secara terarah dapat meningkatkan faktualitas model peringkasan. Faktualitas merupakan ukuran keselarasan sebuah teks dengan teks sumber yang menjadi acuan. Untuk melakukan filtrasi secara efektif, diperlukan sebuah model klasifikasi khusus. Hal ini dikarenakan model NLI yang dilatih menggunakan korpus NLI standar tidak dapat digunakan untuk menilai faktualitas pasangan dokumen-ringkasan. Oleh karena itu, penelitian ini mengembangkan model NLI faktualitas khusus yang dilatih menggunakan data yang dihasilkan dari proses augmentasi berbasis AMRFact yang dibangun di atas korpus XL-Sum. Untuk membangun korpus baru, penelitian ini memanfaatkan 25% data yang dianggap paling konsisten secara faktual (memiliki probabilitas entailment tinggi) pada korpus XL-Sum untuk menjadi data positif. Sebagai pasangan data positif tersebut, data negatif dibuat dengan melakukan perturbasi berbasis aturan pada graf AMR data positif. Untuk memastikan pelatihan hanya menggunakan data negatif yang berkualitas, diterapkan dua kriteria terhadap data tersebut. Skor BARTScore digunakan untuk memastikan data negatif tidak terlalu berbeda jauh dan tidak terlalu sesuai dengan dokumen sumber, dan skor probabilitas entailment terhadap ringkasan referensi juga tidak boleh terlalu besar dan terlalu kecil untuk memastikan bahwa ringkasan negatif tidak terlalu mirip dan tidak terlalu berbeda dengan ringkasan asli. Kedua filter ini memastikan ringkasan berlabel negatif memiliki kesalahan yang halus dan sulit dibedakan oleh model. Model dengan skor F1 terbaik selama pelatihan menemukan bahwa korpus XL-Sum Indonesia memiliki 21.32% data yang mengandung kesalahan faktual. Hasil penelitian menunjukkan bahwa model peringkasan BERTSum dan IndoT5-base yang dilatih menggunakan korpus XL-Sum Indonesia yang telah disaring oleh model NLI Faktual dapat menghasilkan ringkasan yang secara rata-rata memiliki probabilitas entailment yang lebih tinggi (0.7144 dan 0.8109) dibandingkan dengan model yang dilatih dengan menggunakan keseluruhan korpus (0.6492 dan 0.7521). Selain itu, model NLI faktualitas yang dihasilkan dalam penelitian ini dapat digunakan menjadi metrik untuk menilai faktualitas model peringkasan dalam Bahasa Indonesia.