Perpustakaan Digital ITB

Pengenalan pada segmentasi semantik dilakukan untuk seluruh objek pada citra tanpa memperhatikan keberadaan objek dari kelas yang sama. Sedangkan pada segmentasi instantik, jumlah objek bukan latar dari kelas yang sama justru menjadi perhatian utama. Segmentasi panoptik menggabungkan paradigma segmentasi semantik dan segmentasi instantik pada satu arsitektur agar dihasilkan sistem segmentasi yang menyeluruh. Pengembangan segmentasi panoptik untuk trem otonom di lingkungan mixed traffic membutuhkan dataset yang merepresentasikan situasi di dunia nyata. Sayangnya belum ada dataset terbuka yang dapat mewakili kebutuhan ini. Penelitian ini berpusat pada pengembangan segmentasi panoptik untuk trem otonom, dengan kontribusi berupa dataset lokal untuk lingkungan mixed traffic. Pengembangan pada tesis ini terdiri dari empat tahap yaitu evaluasi dataset publik, perekaman data, anotasi data, dan pelatihan model. Evaluasi terhadap dataset Cityscapes, COCO, dan RailSem19 dilakukan untuk melihat kecocokannya dengan konteks lokal. Inferensi terhadap sampel data lokal oleh model yang dilatih dengan dataset tersebut menunjukkan kegagalan pengenalan pada objek-objek khas. Penurunan spesifikasi dataset panoptik lokal didasarkan pada hasil evaluasi tersebut. Dataset lokal terdiri dari 22 kategori objek, dengan 17 kategori objek instantik dan 5 kategori objek semantik. Perekaman sensor lingkungan mixed traffic dilakukan di Jl. Slamet Riyadi, Kota Solo. Perekaman data menggunakan 4 buah kamera Sekonix yang terhubung dengan development kit Nvidia AGX DRIVE Pegasus. Aktivitas ini menghasilkan beberapa urutan data dengan total durasi 120 menit per kamera. Anotasi data dilakukan dengan memberikan label polygon pada objek-objek yang terekam. Anotasi oleh tim anotator menghasilkan 1000 frame data yang telah lolos kontrol mutu. Post- processing pada anotasi label menghasilkan data dengan format seperti dataset COCO dan dalam skenario seperti nuScenes. Pelatihan model segmentasi panoptik bertujuan untuk melihat kemampuan dataset sebagai sumber informasi. Arsitektur yang dipilih adalah Panoptic-FPN pada framework pengembangan MMDetection. Evaluasi kualitatif menunjukkan kualitas pengenalan yang baik ditandai dengan pengenalan terhadap objek-objek khas. Evaluasi kuantitif menghasilkan nilai Recognition Quality (RQ) 69%, Segmentation Quality (SQ) 140,6%, dan Panoptic Quality (PQ) 110,6%. Banyaknya anotasi ganda pada dataset menyebabkan perhitungan intersection-over- union (IoU) menjadi tidak tepat, sehingga nilai SQ dan PQ menjadi terlalu besar.