Perpustakaan Digital ITB

ReClor adalah sebuah dataset Machine Reading Comprehension yang memerlukan penalaran logis. Sebuah studi menunjukkan bahwa model bahasa pra-latih masih lemah terhadap soal penalaran. Beberapa penelitian telah dilakukan untuk mengatasi kekurangan tersebut. Namun, dari pendekatan-pendekatan yang ada, terdapat kecenderungan meningkatkan kemampuan model bahasa melalui fitur statistik daripada melakukan penalaran yang sesungguhnya. Sistem penalaran logis umumnya melibatkan simbol-simbol logis dan aturan inferensi yang ketat. Beberapa penelitian yang mencoba menggabungkan kekuatan pembelajaran statistik dan penalaran logis menggunakan pendekatan hybrid antara model bahasa pra-latih dan sistem pemrograman logika. Berdasarkan kompleksitas kalimat dan keberagaman tipe soal pada data ReClor, pendekatan hybrid tersebut kurang memadai. Studi ini mengusulkan pendekatan menggunakan Graph Neural Network yang mempunyai kemampuan mempelajari data terstruktur untuk melakukan penalaran menggunakan First-Order Logic yang lebih ekspresif dalam merepresentasikan relasi antar objek. Model Graph Neural Network tersebut dikombinasikan dengan model bahasa menggunakan pelatihan gabungan nilai loss untuk meningkatkan kinerja model bahasa pada tugas Machine Reading Comprehension. Hasil penelitian menunjukkan bahwa model Graph Neural Network yang dilatih dengan data First-Order Logic dapat memproses simbol logika dan mempelajari pola resolution path, tapi kinerjanya sangat bergantung pada akurasi semantic parser yang mengubah data teks ReClor menjadi First-Order Logic. Selain itu, penggabungan nilai loss dari model graf dan model bahasa efektif dalam meningkatkan kinerja RoBERTa namun tidak secara signifikan meningkatkan kinerja BERT. Hasil ini disebabkan oleh tugas next-sentence prediction selama pre- training pada BERT yang dapat membatasi kinerja downstream task. Sebaliknya, RoBERTa yang menghilangkan tugas tersebut selama pre-training mampu memanfaatkan metode yang diusulkan untuk mencapai peningkatan akurasi yang lebih signifikan.