Perpustakaan Digital ITB

Peningkatan terapan teknologi informasi pada pemahaman scene saat ini bertujuan untuk memperluas terapan analisis data visual pada sistem-sistem otomatis seperti robotik, sistem keamanan, kendaraan cerdas, kesehatan dan lain-lain. Memahami suatu scene merupakan integrasi informasi di berbagai tingkatan yang merupakan suatu proses yang dilakukan mesin untuk mengurai elemen-elemen scene, klasifikasi dan estimasi geometri. Saat ini perkembangan basis data untuk pemahaman scene selain berisi sekumpulan data citra skala besar juga dilengkapi informasi struktur hierarki dan informasi tentang atribut masing-masing kategori scene pada dunia nyata. Basis data ini dapat menyelesaikan permasalahan keterbatasan data bagi para peneliti sebagai data latih sekaligus sebagai data uji pada pembelajaran mesin untuk memperluas terapan teknologi informasi berbasis pemahaman scene. Perluasan analisis visual pada teknologi informasi diharapkan mesin dapat melakukan interpretasi berdasarkan sensor visual secara alami (persepsi mesin) layaknya manusia. Interpretasi visual pada pemahaman scene yang mendasar bagi mesin adalah kemampuan mesin secara visual mengenali tempat di mana suatu entitas dapat beraktivitas dan bernavigasi, memetakan relasi antar objek dan perpindahan objek pada bidang spasial pada waktu nyata. Terapan aplikasi-aplikasi cerdas ini memerlukan sebuah sebuah model data yang dapat mewakili basis pengetahuan yang dapat diakses pada waktu nyata oleh mesin saat proses temu kembali informasi. Dalam disertasi ini permasalahan pemahaman scene yang dibahas adalah: Dataset pemahaman scene jika digunakan pada waktu nyata oleh mesin dapat menurun kinerjanya saat memproses queri traversal dengan cepat serta agak buruk saat penalaran untuk mendapatkan makna semantik. Penalaran kategori scene secara semantik melalui pengolahan data visual dapat menyebabkan adanya perbedaan jenjang waktu proses dan kejadian jika queri traversal menurun, sedangkan penerapan pemahaman scene pada dunia nyata memiliki ritme perubahan yang tinggi serta beban komputasi pengolahan data visual yang besar. Untuk mengatasi masalah tersebut di atas, pada disertasi ini dilakukan penelitian dengan tiga tahapan. Tahapan pertama untuk menyelesaikan permasalahan penggunaan dataset pada waktu nyata pada aplikasi nyata diselesaikan dengan merepresentasikan dataset pemahaman scene dengan model graf properti menjadi basis pengetahuan bagi mesin dengan diusulkan algoritma Scene Understanding Knowledge Base Generator. Tahapan kedua menyelesaikan akurasi kategorisasi scene diusulkan algoritma inferensi kategorisasi berbasis penalaran graf dengan pendekatan probabilistik, dan tahap ketiga memperluas penggunaan graf observasi pada proses observasi yang dilakukan oleh mesin untuk pemetaan dan penjejakan objek pada bidang spasial dengan mengembangkan algoritma pemetaan spasial (Spatial Graph Mapping) dan algoritma Spatial-Temporal Graph Tracker untuk penjejakan objek. Usulan-usulan di tahapan penelitian pada disertasi ini agar dapat digunakan pada sistem nyata secara bersamaan, maka penelitian ini membangun model Labelled Property Graphs (LPG) sebagai model Graf Spasial-Temporal untuk merepresentasikan pengetahuan dan inferensi mesin serta perluasan pada pemahaman scene. Basis data pemahaman scene yang digunakan adalah dataset SUN dan pengukuran kinerja mesin pada algoritma yang dikembangkan menggunakan pengukuran kinerja dengan Confusion matrix.