Perpustakaan Digital ITB

Volume pembayaran yang dilakukan dengan menggunakan kartu kredit semakin meningkat. Namun, proses yang rumit dan lama membuat pengguna merasa kesulitan dalam bertransaksi. Ketidaknyamanan juga dirasakan dalam proses pelayanan dokumen yang dilakukan oleh instansi publik, misalnya pada ijazah dan dokumen tulisan tangan. Masalah keterbatasan jaringan juga perlu diperhatikan. Untuk mengotomatisasi proses tersebut, diimplementasikan suatu aplikasi pemindai karakter optik atau yang dikenal sebagai OCR (Optical Character Recognition) pada perangkat genggam yang dapat digunakan dalam keadaan luring. Arsitektur perangkat lunak yang diterapkan adalah dengan mendeteksi teks pada citra terlebih dahulu menggunakan CRAFT. Segmen citra yang dihasilkan akan dimasukkan ke modul rekognisi teks dengan menggunakan model TransformerOCR. Teks yang dihasilkan kemudian akan dideteksi kategori entitasnya dengan menggunakan model NER yang dibangun dengan SpaCy. Model-model hasil benchmarking tersebut kemudian dikonversi ke format TFLite agar dapat ditanam pada perangkat genggam pengguna sehingga bisa dipakai dalam keadaan luring. Meskipun demikian, eksperimen terhadap konversi format model ini gagal dilakukan untuk ketiga model. Kegagalan tersebut menyebabkan adanya perubahan arsitektur dan pendekatan yang digunakan untuk implementasi logika OCR, yaitu dengan menggunakan pendekatan client-server. Logika OCR akhirnya diimplementasikan sebagai aplikasi backend yang dibangun dengan FastAPI dan di-deploy dengan menggunakan AWS EC2.