Perpustakaan Digital ITB

Sistem temu balik citra berbasis konten (Content Based Image Retrieval - CBIR) menelusuri, mencari, dan mengambil kembali citra yang ada pada basis data citra digital, berdasarkan analisis konten visual citra kueri yang diberikan. Objektivitas sistem CBIR adalah mencari atau menemukan kembali citra secara efektif dari suatu basis data citra berdasarkan kemiripan ciri citra kueri yang diberikan oleh pengguna. Sampai saat ini, permasalahan utama sistem CBIR adalah semantic gap. Semantic gap disebabkan oleh dua aspek, yaitu: aspek persepsi sistem dan aspek persepsi pengguna. Semantic gap pada aspek persepsi sistem disebabkan oleh sistem CBIR mendeskripsi citra berdasarkan nilai numerik citra. Sistem CBIR awalnya didesain mengikuti pendekatan computer centric, yang menginterpretasikan konten citra berdasarkan ciri level rendah yang diekstraksi dari piksel citra. Manusia memiliki kemampuan menggunakan konsep semantik level tinggi sehingga manusia mampu menggambarkan dan menginterpretasikan konten citra dengan tepat. Akibatnya, pada citra yang sama terjadi kesenjangan yang lebar antara interpretasi komputer dengan interpretasi manusia. Berbagai metode ekstraksi ciri dan pengukuran kemiripan ciri telah dikembangkan dengan tujuan untuk mendapatkan representasi ciri citra terbaik. Metode ekstraksi ciri dan pengukuran kemiripan ciri citra tertentu tidak dapat menghasilkan kinerja terbaik pada semua jenis basis data citra. Semantic gap pada aspek persepsi pengguna disebabkan oleh pengguna terkadang tidak mempunyai ide awal tentang citra yang hendak dicari ketika melakukan pencarian citra. Ide pencarian muncul berdasarkan hasil pencarian awal yang diberikan sistem. Akibatnya, pencarian citra sangat subjektif. Dengan memanfaatkan perkembangan teknologi deep learning mendeteksi objekobjek dalam citra, kemampuan otak manusia mengenali dan mendeteksi objek, dan kelebihan teknik Relevance Feedback (RF) memperbaiki kueri, maka pada penelitian ini diusulkan sistem CBIR berbasis deteksi objek (object detection-based CBIR– ODBCBIR). Terdapat 2 (dua) kontribusi utama pada penelitian ini, yaitu: (1) sistem ODBCBIR yang diusulkan menggunakan equalset-based retrieval sebagai teknik pengukuran kemiripan citra kueri dengan setiap citra pada basis data citra dan mendesain struktur penyimpanan ekstraksi ciri objek yang mampu ii memfasilitasi temu balik citra, (2) mengusulkan umpan balik ciri objek pada sistem ODBCBIR untuk memfasilitasi pengguna mengkonstruksi kueri baru menggunakan umpan balik ciri objek berdasarkan operasi himpunan. Terdapat 5 (lima) operasi umpan balik ciri objek yang diusulkan pada sistem ODBCBIR, yaitu: AND, OR, XOR, DIF, dan COS Feedback. Sistem ODBCBIR yang diusulkan diimplementasikan pada 3 (tiga) dataset yaitu, dataset Wang, GHIM-10K, dan Corel-10K. Kinerja sistem ODBCBIR yang diusulkan diukur berdasarkan nilai rata-rata akurasi, precision, recall, dan FMeasure. Nilai rata-rata akurasi pada dataset Wang, GHIM-10K, dan COREL-10K masing-masing adalah 0.997, 0.997, dan 0.998. Nilai rata-rata precision pada dataset Wang, GHIM-10K, dan COREL-10K masing-masing adalah 0.983, 0.942, dan 0.962. Nilai rata-rata recall pada dataset Wang, GHIM-10K, dan COREL-10K masing-masing adalah 0.985, 0.958, dan 0.963. Nilai rata-rata F-Measure pada dataset Wang, GHIM-10K, dan COREL-10K masing-masing adalah 0.983, 0.944, dan 0.954. Berdasarkan hasil eksperimen yang dilakukan diperoleh bahwa sistem ODBCBIR yang diusulkan menghasilkan kinerja akurasi, precision, recall, dan FMeasure yang jauh lebih baik dibandingkan dengan sistem CBIR yang pernah diusulkan. Teknik pengukuran kemiripan ciri objek dengan equalset-based retrieval dan struktur penyimpanan ekstraksi ciri objek yang diusulkan dapat mereduksi semantic gap dari aspek persepsi sistem. Umpan balik ciri objek dengan menggunakan operasi himpunan pada sistem ODBCBIR yang diusulkan dapat mengkonstruksi kesamaan persepsi antara objek-objek yang diinginkan oleh pengguna dengan objek-objek yang diformulasikan oleh sistem. Pembangkitan kueri baru memberikan hasil temu balik citra yang sesuai dengan persepsi pengguna hanya 1 (satu) kali feedback. Operator umpan balik yang mudah dipahami oleh responden adalah operator AND dan OR. Pembangkitan kueri baru dengan menggunakan operasi himpunan dan berdasarkan umpan balik ciri objek pengguna dapat mereduksi semantic gap dari aspek persepsi pengguna.