Perpustakaan Digital ITB

Pembangkitan deskripsi gambar otomatis adalah salah satu tantangan populer yang tengah berkembang pesat dalam bidang computer vision dan natural language processing. Ketiadaan pembangkitan deskripsi gambar dalam bahasa Indonesia mendorong dilakukannya penelitian pembangkitan deskripsi gambar berbahasa Indonesia. Penelitian pembuatan model pembangkitan deskripsi gambar berbahasa Indonesia dilakukan dengan menggunakan topologi Semantic Compositional Network (SCN). Pada tugas akhir ini, model SCN dimodifikasikan dengan menambahkan Attention Network guna menambah kualitas deskripsi gambar yang dihasilkan. Pembangkitan deskripsi gambar dilakukan pada dua bahasa yaitu bahasa Inggris dan bahasa Indonesia. Pembangkitan deskripsi bahasa Inggris ditujukan untuk mendapatkan model dengan kinerja terbaik di antara SCN murni dan SCN dengan Attention. Model pembangkitan deskrispi gambar bahasa Inggris dilatih pada dataset COCO dan Flickr30k yang kemudian dievaluasi menggunakan metrik evaluasi BLEU, CIDEr-D, METEOR, dan ROUGE. Berdasarkan eksperimen yang dilakukan, model SCN dengan Attention merupakan model dengan kinerja terbaik dibandingkan dengan model SCN murni. Model tersebut dipilih untuk membangkitkan deskripsi gambar dalam bahasa Indonesia. Pembangunan dataset deskrispi gambar bahasa Indonesia dilakukan dengan menerjemahkan dataset COCO dan Flickr8k menggunakan Google Translate. Selain itu, dilakukan juga koreksi manual oleh manusia sebanyak 3000 deskripsi gambar. Kinerja deskripsi gambar dalam bahasa Indonesia ditinjau menggunakan metrik evaluasi BLEU dan ROUGE. Metrik evaluasi menunjukkan hasil BLEU-4 pada dataset COCO 0.2403 dan Flickr8k 0.2276 sedangkan ROUGE_L pada dataset COCO 0.4689 dan Flickr8k 0.5361.