ReClor adalah sebuah dataset Machine Reading Comprehension yang memerlukan
penalaran logis. Sebuah studi menunjukkan bahwa model bahasa pra-latih masih
lemah terhadap soal penalaran. Beberapa penelitian telah dilakukan untuk
mengatasi kekurangan tersebut. Namun, dari pendekatan-pendekatan yang ada,
terdapat kecenderungan meningkatkan kemampuan model bahasa melalui fitur
statistik daripada melakukan penalaran yang sesungguhnya. Sistem penalaran logis
umumnya melibatkan simbol-simbol logis dan aturan inferensi yang ketat.
Beberapa penelitian yang mencoba menggabungkan kekuatan pembelajaran
statistik dan penalaran logis menggunakan pendekatan hybrid antara model bahasa
pra-latih dan sistem pemrograman logika. Berdasarkan kompleksitas kalimat dan
keberagaman tipe soal pada data ReClor, pendekatan hybrid tersebut kurang
memadai. Studi ini mengusulkan pendekatan menggunakan Graph Neural Network
yang mempunyai kemampuan mempelajari data terstruktur untuk melakukan
penalaran menggunakan First-Order Logic yang lebih ekspresif dalam
merepresentasikan relasi antar objek. Model Graph Neural Network tersebut
dikombinasikan dengan model bahasa menggunakan pelatihan gabungan nilai loss
untuk meningkatkan kinerja model bahasa pada tugas Machine Reading
Comprehension.
Hasil penelitian menunjukkan bahwa model Graph Neural Network yang dilatih
dengan data First-Order Logic dapat memproses simbol logika dan mempelajari
pola resolution path, tapi kinerjanya sangat bergantung pada akurasi semantic
parser yang mengubah data teks ReClor menjadi First-Order Logic. Selain itu,
penggabungan nilai loss dari model graf dan model bahasa efektif dalam
meningkatkan kinerja RoBERTa namun tidak secara signifikan meningkatkan
kinerja BERT. Hasil ini disebabkan oleh tugas next-sentence prediction selama pre-
training pada BERT yang dapat membatasi kinerja downstream task. Sebaliknya,
RoBERTa yang menghilangkan tugas tersebut selama pre-training mampu
memanfaatkan metode yang diusulkan untuk mencapai peningkatan akurasi yang
lebih signifikan.