Teks tersebut merupakan abstrak dari tesis magister Muhammad Fahmy Nadhif dari Institut Teknologi Bandung, yang berjudul "Scene Text Recognition dengan Rektifikasi Gambar, Peningkatan Fitur Visual dan Arsitektur Transformer."
Tesis ini membahas Scene Text Recognition (STR), sebuah bidang dalam visi komputer yang bertujuan mengenali teks dalam gambar atau video. STR menghadapi tantangan besar, terutama pada teks dengan orientasi tidak teratur (melengkung, miring, terdistorsi), serta variasi font, warna, dan pencahayaan.
Untuk mengatasi masalah ini, penelitian ini mengusulkan beberapa pendekatan inovatif:
1. **Rektifikasi Gambar:** Menggunakan Spatial Transformer Network (STN) untuk memperbaiki distorsi geometris dan proyeksi pada gambar teks, sehingga mempermudah ekstraksi fitur.
2. **Peningkatan Fitur Visual:** Menambahkan Convolutional Block Attention Module (CBAM) pada backbone CNN ResNet50 untuk mengekstraksi fitur visual yang lebih informatif dan relevan.
3. **Kombinasi Dataset:** Melatih model dengan gabungan dataset real (dari kompetisi ICDAR) dan sintetik (MJSynth, SynthText) untuk mencakup pola teks yang lebih luas dan realistis.
4. **Arsitektur Decoder:** Memanfaatkan arsitektur Bidirectional Long Short-Term Memory (BiLSTM) dan Transformer Decoder dengan mekanisme decoding dua arah, yang memungkinkan model memahami konteks teks secara global dari kiri ke kanan (L2R) dan kanan ke kiri (R2L).
Hasil eksperimen menunjukkan bahwa metode yang diusulkan mencapai kinerja superior pada dataset teks tidak beraturan (seperti IC15, SVTP, CUTE80) dengan peningkatan akurasi rata-rata 3,4% dibandingkan metode sebelumnya. Model juga menunjukkan performa kompetitif pada dataset teks beraturan (seperti IIIT5K, SVT, IC03, IC13).
Meskipun model menunjukkan kinerja yang baik, analisis kesalahan mengungkapkan keterbatasan dalam mengenali teks dengan simbol khusus, gaya kaligrafi/artistik, resolusi rendah, dan oklusi berat. Kesalahan pelabelan pada data uji juga memengaruhi evaluasi.
Secara keseluruhan, penelitian ini menyimpulkan bahwa kombinasi rektifikasi gambar dengan STN, peningkatan fitur visual dengan CBAM pada ResNet50, penggabungan dataset real dan sintetik, serta penggunaan bidirectional transformer decoder secara signifikan mampu meningkatkan akurasi dalam pengenalan teks.