Perpustakaan Digital ITB

Media komunikasi panggilan video memberikan kemudahan untuk berkomunikasi jarak jauh, media ini tidak dapat menggantikan komunikasi secara tatap muka karena walaupun penggunanya dapat melihat wajah satu sama lain, kontak mata masih sulit untuk terjadi. Tujuan dari tugas akhir ini yaitu membentuk model yang dapat melakukan koreksi tatapan mata tanpa membutuhkan informasi tambahan dari pengguna dan model yang dibangun dapat menghasilkan gambar yang dinilai menatap ke arah kamera. Metodologi yang dilakukan berupa analisis permasalahan, analisis data, perancangan solusi, implementasi dan evaluasi. Pada tugas akhir ini, koreksi tatapan mata dilakukan dengan memroses gambar hasil tangkapan kamera dengan sebuah convolutional neural network (CNN) model yang terdiri dari warping network yang bertugas untuk menentukan operasi warping pada gambar dan color network untuk menjaga warna gambar agar tetap natural. Model ini menerima masukan berupa segmented eye image dan anchor map dari landmark- landmark pada gambar mata dan menghasilkan keluaran berupa segmented eye image setelah koreksi. Model cnn ini dilatih untuk mengoreksi arah tatapan mata dari sembarang arah menjadi lurus ke arah kamera menggunakan dataset dari DIRL Dataset. Pelatihan dilakukan dengan metode curriculum learning yang membagi data latih menjadi data sulit dan mudah, yang kemudian diberikan kepada model iv untuk latihan secara bertahap, model ini berhasil melakukan koreksi tatapan mata dengan tingkat keberhasilan 43% dan waktu inferensi 41.75 milidetik.