Perpustakaan Digital ITB

Pembangkitan keterangan gambar berita merupakan persoalan yang sulit. Hal ini dikarenakan pertama, keterangan gambar yang dibangkitkan harus sejalan dengan isi berita atau artikel yang memuat gambar tersebut, kemudian, berbeda dengan keterangan gambar pada umumnya, banyak keterangan gambar berita yang memiliki entitas bernama seperti nama orang di dalam keterangan gambarnya. Kedua hal ini membuat persoalan pembangkitan keterangan gambar berita menjadi lebih sulit dari pembangkitan keterangan gambar umum. Saat ini, teknik pembelajaran mesin yang digunakan untuk pembangkitan keterangan gambar berita adalah supervised learning dimana proses pembelajaran menggunakan data yang berpasangan antara gambar, keterangan, dan artikel beritanya. Kebergantungan antara gambar dan keterangan ini membuat dataset keterangan gambar berita cukup sulit untuk didapati. Pada penelititan ini penulis mencoba untuk memutuskan kebergantungan tersebut dengan melatih pembangkit keterangan gambar berita menggunakan teknik unsupervised learning. Pada tugas akhir ini dilakukan pemodifikasiaan terhadap model GAN (generative adversarial network) untuk image captioning oleh Feng dkk. (2019) dengan menambahkan modul named entity insertion oleh Biten dkk (2019). Sehingga model GAN yang dibangun dapat membangkitkan keterangan untuk gambar berita seperti halnya dengan keterangan untuk gambar umum. v Berdasarkan hasil yang diperoleh didapati bahwa penggunaan teknik unsupervised learning untuk pembangkit keterangan gambar berita dapat dilakukan dan dapat menghasilkan keterangan gambar yang cukup baik dengan skor pada metrik BLEU- 4, ROUGE, CIDEr, Precission, dan Recall: 0.4249%, 11.8680%, 9.2483%, 4.49, dan 3.37.