Perpustakaan Digital ITB

i ABSTRAK ESTIMASI KALORI PADA JAJANAN PASAR DI INDONESIA MENGGUNAKAN MASK R-CNN DAN REGRESI LINEAR BERGANDA Oleh Nadya Aditama NIM: 23520039 (Program Studi Magister Informatika) Terdapat dua permasalahan dalam membangun model estimasi kalori berbasis citra dengan segmentasi Mask R-CNN untuk mendapatkan bentuk objek makanan dan prediksi berat makanan dengan model regresi linear. Permasalahan pertama adalah model regresi linear sederhana mempunyai nilai R Squared yang lebih rendah dibandingkan dengan regresi linear berganda menurut penelitian Abdelhady dkk. (2019) sehingga diperlukan penambahan fitur lainnya dalam pengukuran. Permasalahan kedua adalah adanya posisi tumpang tindih pada objek makanan sehingga tidak didapatkan bentuk objek secara utuh. Oleh karena itu, dalam penelitian ini model Mask R-CNN akan dilatih dengan objek yang dianotasi secara amodal sehingga diharapkan model dapat membentuk hasil segmentasi yang mensegmen bagian yang terhalang seperti yang telah dievaluasi pada penelitian Qi dkk. (2019) dalam kasus amodal instance segmentation pada dataset KINS. Dalam penelitian ini, dataset citra jajanan pasar di Indonesia telah dibangun. Makanan yang terdapat dalam dataset ini adalah tahu, tempe, bakwan, cireng, bolu, dan serabi. Dataset diambil secara manual dengan jumlah makanan di piring yang beragam serta posisi yang berbeda-beda, baik posisi yang tumpang tindih maupun yang tidak tumpang tindih. Model dibagi menjadi tiga bagian, yaitu model deteksi, model estimasi, dan model gabungan antara deteksi dan estimasi. Dalam model gabungan, objek akan disegmentasi terlebih dahulu oleh model Mask R-CNN, kemudian dari hasil segmentasi akan diambil informasi luas, perimeter, panjang, dan lebar dari objek untuk memprediksi berat makanan dengan model regresi linear berganda. Informasi berat akan dikonversikan ke satuan kilokalori. Dalam pembangunan model deteksi, hasil penelitian menunjukkan bahwa, model ResNeXt-101-FPN mempunyai mAP validasi yang tidak berbeda jauh dengan model ResNet-101-FPN dalam mensegmentasi objek yang diannotasi secara amodal, yaitu 91.74% (ResNet-101-FPN) dan 91.47% (ResNeXt-101-FPN). Dalam model estimasi, model regresi linear berganda dengan empat fitur yang diusulkan mempunyai nilai R Squared sebesar 0.804 dan rata-rata nilai MAE seluruh kelas dalam prediksi data uji model estimasi sebesar 5.254. ii Dalam model gabungan, model Mask R-CNN yang terbaik adalah model dengan backbone ResNeXt-101-FPN. Model ini berhasil mendeteksi dan mensegmentasi makanan dengan rata-rata F1 Score sebesar 0.821 dalam IoU threshold di atas 0.85 pada skenario gambar yang mengandung objek tumpang tindih dan 0.994 dalam IoU threshold di atas 0.9 pada skenario gambar yang mengandung objek tidak tumpang tindih. Model regresi linear berganda yang diusulkan mendapatkan rata-rata nilai MAE seluruh kelas sebesar 8.354 pada skenario objek yang tumpang tindih dan rata-rata sebesar 11.256 pada skenario objek yang tidak tumpang tindih. Meskipun seperti itu, model ini mempunyai kelemahan. Pada model deteksi, masih dijumpai false positive diantara objek yang tumpang tindih dan hasil segmentasi yang belum terlalu mirip dengan ground truth objeknya. Selain itu, pada saat memprediksi gambar yang tidak ada pada data latih, masih terdapat deteksi false positive diantara objek yang tumpang tindih. Secara keseluruhan, task amodal instance segmentation dalam memprediksi kalori makanan yang tumpang tindih mampu membantu dalam mendapatkan fitur untuk estimasi kalori dengan rata-rata nilai MAE yang tidak terlalu besar. Selain itu, pada kasus tumpang tindih, regresi linear berganda dengan fitur yang diusulkan tidak sebaik model yang lainnya pada beberapa kelas makanan. Hal ini disebabkan karena kurang sempurnanya hasil segmentasi pada objek tumpang tindih. Model regresi linear berganda lebih tepat digunakan pada pengukuran kalori pada objek tidak tumpang tindih. Kata kunci: Mask R-CNN, Regresi Linear Berganda, Estimasi Kalori, Amodal Instance Segmentation, Jajanan Pasar Indonesia.