Perpustakaan Digital ITB

Penelitian ini berfokus pada penerapan metode fine tuning dan bantuan akselerator TPU dalam pelatihan model question answering (QA) Bahasa Indonesia. Metode ini dipilih karena dapat mempercepat durasi pelatihan dan mendapatkan hasil akurasi yang cukup tinggi. Penelitian dimulai dengan melakukan eksplorasi dasar teori terkait model distilBERT dan beberapa teori yang terkait seperti Transformers, BERT, dll. Penelitian diteruskan dengan melakukan eksplorasi terhadap dataset yang akan digunakan dan melakukan langkah-langkah untuk menyiapkan dataset hingga dapat digunakan oleh model sebagai masukan. Selanjutnya, akan dilakukan penyesuaian terhadap hyperparameter model untuk menghasilkan model yang lebih efektif. Model tersebut selanjutnya akan dilatih menggunakan dataset yang sudah dipilih. Model yang sudah dilatih akan dievaluasi hasil prediksinya menggunakan metrik F1-Score dan exact match (EM). Hasil penelitian menunjukkan bahwa untuk pelatihan dengan jumlah epoch yang sama, model yang sudah di fine-tuning dan dilatih dengan menggunakan TPU dapat menghasilkan tingkat akurasi yang tinggi secara durasi pelatihan yang jauh lebih singkat. Penelitian ini diharapkan dapat menjadi sebuah batu loncatan untuk pemanfaatan dan pengembangan lebih lanjut terhadap model question answering, terutama untuk permasalahan dengan Bahasa Indonesia.