Perpustakaan Digital ITB

Gambar menjadi salah satu bentuk informasi yang sering digunakan oleh manusia. Pencarian gambar memanfaatkan kata kunci untuk memberikan hasil sesuai dengan informasi yang diinginkan. Pemasukan kata kunci secara manual dapat membutuhkan waktu yang lama untuk jumlah gambar yang banyak, dan juga adanya kemungkinan misinterpretasi oleh manusia. Oleh karena itu, muncul sebuah gagasan untuk menggunakan metode pembangkitan deskripsi gambar untuk menghasilkan kata kunci otomatis pada masukan gambar dalam tugas akhir ini. Pada penelitian ini, metode pembangkit deskripsi gambar otomatis (image captioning) akan digunakan untuk menghasilkan kata kunci gambar. Model LSTM menjadi salah satu model yang sering digunakan dalam image captioning, dan teknik reinforcement learning dinilai mampu meningkatkan kinerja sistem pada image captioning. Oleh karena itu pada penelitian ini, dilakukan penggabungan dua buah metode image captioning yaitu Reference-based Long Short Term Memory (R-LSTM) dari Guiguang Ding dkk. (2018) dan Reinforcement Learning dari Zhou Ren dkk. (2017). Berdasarkan penelitian yang dilakukan, didapat bahwa sistem pembangkitan kata kunci otomatis dengan masukan gambar dapat menghasilkan kata kunci yang cukup baik, dengan nilai pada metrik BLEU-1, BLEU-2, BLEU-3, BLEU-4, METEOR, dan ROUGE-L: 0.6782, 0.5396, 0.4357, 0.3259, 0.2451, 0.4529. Sistem yang dibangun dapat mengungguli dua referensi penelitian terhadap dataset yang sama: 0.6523, 0.4426, 0.3125, 0.2237, 0.1792, 0.4198 untuk penelitian dari Reference- based Long Short Term Memory dan 0.5982, 0.3921, 0.2734, 0.1927, 0.1623, 0.3656 untuk penelitian dari Reinforcement Learning.