digilib@itb.ac.id +62 812 2508 8800

Dokumen Asli
Terbatas  Dessy Rondang Monaomi
» Gedung UPT Perpustakaan

Ketergantungan pengguna pada image alt text bawaan situs web sering menjadi kendala karena kualitas dan ketersediaan yang terbatas. Penelitian ini mengembangkan generator alt text berbasis AI yang on-demand dan diinisiasi pengguna melalui browser extension, dengan fokus pada kualitas yang context-aware dan role-aware. Sistem memanfaatkan Visual Language Model (VLM) dalam pipeline yang mencakup identifikasi peran gambar, generasi alt text. Konteks tekstual diambil dari judul dan deskripsi situs, satu elemen teks sebelum gambar, serta dua elemen teks setelah gambar, berdasarkan eksperimen relevansi rata-rata lebih dari 1.000 pasangan gambar dan elemen. Peran gambar ditentukan menggunakan GPT-4o yang telah di-fine-tune, dengan hasilnya menjadi masukan untuk modul generasi alt text berbasis GPT-4o. Penelitian menunjukkan kemampuan Named Entity Recognition (NER) GPT-4o masih terbatas, sehingga ditambahkan juga modul NER berbasis SpaCy. Alt text yang dihasilkan menunjukkan peningkatan kualitas dengan skor BLEU (42,4%), CIDEr (19,9%), dan METEOR (29,4%) dibandingkan model non-kontekstual. Evaluasi manusia juga menunjukkan preferensi terhadap alt text yang dihasilkan dibandingkan alt text non-kontekstual dan buatan manusia. Usability testing menegaskan bahwa extension ini efektif dan mudah digunakan, meskipun waktu generasi yang lama masih menjadi tantangan.