13517045 Suhailie.pdf
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan
Gambar menjadi salah satu bentuk informasi yang sering digunakan oleh manusia.
Pencarian gambar memanfaatkan kata kunci untuk memberikan hasil sesuai dengan
informasi yang diinginkan. Pemasukan kata kunci secara manual dapat
membutuhkan waktu yang lama untuk jumlah gambar yang banyak, dan juga
adanya kemungkinan misinterpretasi oleh manusia. Oleh karena itu, muncul sebuah
gagasan untuk menggunakan metode pembangkitan deskripsi gambar untuk
menghasilkan kata kunci otomatis pada masukan gambar dalam tugas akhir ini.
Pada penelitian ini, metode pembangkit deskripsi gambar otomatis (image
captioning) akan digunakan untuk menghasilkan kata kunci gambar. Model LSTM
menjadi salah satu model yang sering digunakan dalam image captioning, dan
teknik reinforcement learning dinilai mampu meningkatkan kinerja sistem pada
image captioning. Oleh karena itu pada penelitian ini, dilakukan penggabungan dua
buah metode image captioning yaitu Reference-based Long Short Term Memory
(R-LSTM) dari Guiguang Ding dkk. (2018) dan Reinforcement Learning dari Zhou
Ren dkk. (2017).
Berdasarkan penelitian yang dilakukan, didapat bahwa sistem pembangkitan kata
kunci otomatis dengan masukan gambar dapat menghasilkan kata kunci yang cukup
baik, dengan nilai pada metrik BLEU-1, BLEU-2, BLEU-3, BLEU-4, METEOR,
dan ROUGE-L: 0.6782, 0.5396, 0.4357, 0.3259, 0.2451, 0.4529. Sistem yang
dibangun dapat mengungguli dua referensi penelitian terhadap dataset yang sama:
0.6523, 0.4426, 0.3125, 0.2237, 0.1792, 0.4198 untuk penelitian dari Reference-
based Long Short Term Memory dan 0.5982, 0.3921, 0.2734, 0.1927, 0.1623,
0.3656 untuk penelitian dari Reinforcement Learning.