Perpustakaan Digital ITB

Informasi berupa teks dapat muncul dari mana saja tanpa terbatas geografi dan waktu. Teks pada gambar dengan bahasa asing berpotensi mempersulit pembaca dalam memahami informasi. Diperlukan sebuah aplikasi yang mampu memproses teks tersebut menjadi teks yang sudah diterjemahkan tanpa harus secara manual menuliskan teksnya ke mesin penerjemah. Solusi yang diajukan adalah dengan membangun sebuah aplikasi yang terdiri dari tiga modul utama, yaitu modul antarmuka aplikasi, modul deteksi dan rekognisi, dan modul penerjemahan. Modul antarmuka melakukan penangkapan layar berdasarkan screenbox yang dibuat oleh pengguna dan menampilkan hasil penerjemahan. Modul deteksi dan rekognisi melakukan pengenalan teks menjadi machine readable text menggunakan scene text detection & recognition framework. Modul penerjemah menggunakan cloud service. Modul deteksi & rekognisi dan penerjemah dijalankan pada sebuah thread untuk menghindari blocking pada main thread dan komunikasi tiap modul dilakukan melalui shared memory dan queue. Aplikasi dibuat menggunakan tkinter sebagai pustaka untuk antarmuka, framework EasyOCR dan WinOCR sebagai pendeteksi dan pengenal teks, serta Google Cloud Translation v2 sebagai penerjemah. Pada modul antarmuka, penangkapan layar dilakukan menggunakan pustaka mss dan pemasangan hasil terjemahan dilakukan dengan melalui empat tahap utama, yaitu penyesuaian ukuran font, pengaburan latar belakang, penyesuaian warna teks, dan pemasangan teks. Berdasarkan analisis hasil pengujian, modul deteksi dan rekognisi dapat dihubungkan dengan modul penerjemah. Selain itu, teks hasil terjemahan dapat ditampilkan dengan menggunakan koordinat tiap teks yang didapatkan dari model deteksi dan memasangkannya ke sebuah screenbox yang menampung teks hasil terjemahan. Aplikasi dapat digunakan di berbagai kasus dengan pengecualian pada kasus teks miring dan font unik. masih dapat menghasilkan luaran yang tidak konsisten akibat penggunaan memori yang besar, visual yang memiliki noise, dan/atau bahasa dengan aksara yang kompleks. Waktu eksekusi aplikasi berada di rentang 0,45 detik sampai 3 detik. Aplikasi mampu menampilkan teks hasil terjemahan dengan lebih efisien dibandingkan aplikasi pembanding DeskTranslate.