Perpustakaan Digital ITB

Pemrosesan visual pada Multimedia Internet of Things (M-IoT) memerlukan penentuan kapan hasil inferensi perangkat edge digunakan dan kapan data diteruskan ke server. Penelitian ini mengembangkan Decision Engine (DE) berbasis LightGBM untuk menghasilkan keputusan LOCAL, OFFLOAD, atau DROP dari representasi temporal skor kepercayaan dan karakteristik deteksi model edge. Api dan asap pada citra Red Green Blue (RGB) digunakan sebagai studi kasus, sedangkan fokus kontribusi berada pada keputusan pengiriman data setelah inferensi lokal. Pada evaluasi kebijakan, LOCAL menggunakan keluaran model edge, OFFLOAD menggunakan keluaran model server, dan DROP menetapkan keluaran negatif tanpa verifikasi server. Keluaran positif merupakan indikasi kejadian visual sesuai protokol evaluasi, bukan pengukuran panas atau penetapan tingkat bahaya kebakaran. Model deteksi menggunakan YOLO26n pada perangkat edge dan YOLO26x pada server. D-Fire digunakan untuk pengembangan model deteksi, sedangkan pengembangan dan evaluasi utama DE menggunakan 72 video dari furg-fire-dataset dan FIRESENSE yang menghasilkan 2.733 frame setelah ekstraksi pada laju 1 frame per second (fps). Urutan temporal video dipertahankan dan pembagian data dilakukan pada tingkat video untuk mencegah frame dari video yang sama tersebar di antara data pelatihan, validasi, dan pengujian. Representasi temporal dibentuk menggunakan sliding window dengan konteks N = 10 dan feature vector 156 dimensi. Model DE berbasis LightGBM diperoleh melalui studi pendahuluan pemilihan algoritma, pelatihan pada data video, validasi dengan pengelompokan berdasarkan video, dan pencarian hyperparameter. Sensitivitas ukuran window turut dievaluasi pada rentang N = 3 hingga 15 menggunakan data validasi? hasilnya menunjukkan bahwa N = 10 tidak memiliki Balanced Accuracy tertinggi pada rentang tersebut sehingga tetap dilaporkan sebagai konfigurasi implementasi utama beserta keterbatasan dasar pemilihannya, bukan sebagai hasil optimal dari aturan seleksi. Evaluasi dilakukan pada tingkat klasifikasi routing dan keluaran sistem end-to-end. Pada 249 unit keputusan pengujian, Adaptive Cooperative dengan representasi temporal menghasilkan System F1 sebesar 0,8993, dibandingkan 0,8873 pada Device-Only, 0,8705 pada Server-Only, dan 0,8873 pada Static Cooperative. Dibandingkan Device-Only dan Static Cooperative, peningkatan tersebut disertai penurunan false positive dari tujuh menjadi dua, sedangkan Recall temporal sebesar 0,8278 lebih rendah daripada Device-Only sebesar 0,8344. Namun, model pembanding berbasis frame terkini menghasilkan System F1 lebih tinggi, yaitu 0,9071, dengan offload rate 8,84%, dibandingkan 9,64% pada model temporal. Pada 229 sampel klasifikasi routing, Balanced Accuracy model terpilih masing-masing sebesar 0,8484 untuk pembanding frame terkini dan 0,7558 untuk model temporal. Dengan demikian, hasil pengujian tidak menunjukkan keunggulan representasi temporal terhadap pembanding terlatih berbasis frame terkini. Pengenalan kelas OFFLOAD pada model temporal masih terbatas, dengan Recall sebesar 0,3636. Analisis penggunaan fitur pada model terpilih menunjukkan bahwa perubahan skor kepercayaan pada frame terkini dan frame sebelumnya menjadi fitur yang paling sering digunakan dalam pemisahan pohon keputusan, meskipun frekuensi penggunaan tersebut tidak dengan sendirinya membuktikan bahwa satu fitur tersebut menjadi penyebab utama kinerja model. Implementasi sistem menggunakan Raspberry Pi 3, Raspberry Pi 4B, dan Raspberry Pi 5. Karakterisasi komunikasi pada lima lokasi menunjukkan Round-Trip Time (RTT) rata-rata respons yang diterima ke server rumah sebesar 86,631–1.083,848 ms. Kehilangan respons ping mencapai 50,0% pada sesi Jayagiri, sedangkan kegagalan transfer payload mencapai 50,5% pada sesi Ciwidey. Hasil tersebut memberikan konteks variasi komunikasi dan tidak diperlakukan sebagai evaluasi model temporal final pada setiap lokasi. Penelitian tidak menyimpulkan latensi alarm hingga pengguna atau kinerja simultan model final dari catatan lapangan historis. Mekanisme keputusan terlatih dapat digunakan untuk menentukan pemakaian keluaran edge atau verifikasi server, tetapi representasi temporal yang diuji belum mengungguli pembanding berbasis frame terkini.