Perpustakaan Digital ITB

Pertumbuhan layanan cerdas berbasis sensor menuntut pertukaran data visual dalam volume besar dengan keandalan tinggi. Ketika banyak perangkat pengamat mengirimkan data secara bersamaan ke server tepi, timbul persoalan kelangkaan spektrum dan kepadatan trafik. Sistem komunikasi konvensional yang berorientasi pada pemulihan bit secara akurat menjadi kurang efisien karena mentransmisikan seluruh data terlepas dari relevansinya terhadap tugas yang ingin dicapai, dan kinerjanya runtuh secara mendadak ketika kualitas kanal menurun di bawah ambang tertentu. Di sisi lain, satu perangkat pengamat sering kali tidak memperoleh pengamatan yang lengkap akibat kabut, oklusi, maupun keterbatasan sudut pandang, sehingga informasi dari beberapa pengamat atas area yang sama berpotensi saling melengkapi. Komunikasi semantik berorientasi tugas hadir sebagai paradigma alternatif yang hanya mentransmisikan representasi yang relevan terhadap tugas, sehingga berpotensi menekan kebutuhan sumber daya kanal sekaligus meningkatkan ketahanan terhadap gangguan. Tugas akhir ini bertujuan merancang, mengimplementasikan, dan mengevaluasi sistem komunikasi semantik kooperatif multi-pengguna untuk tugas Visual Question Answering (VQA). Sistem dimodelkan atas tiga pengguna yang mengamati satu scene yang sama dengan degradasi berbeda, yaitu tampilan bersih, tampilan terdampak kabut, dan tampilan yang mengalami oklusi. Pada tiap pengguna, fitur visual diekstraksi menggunakan ResNet-101 pada lapisan conv4 berdimensi 1024×14×14 yang dibekukan kecuali layer3 yang di-fine-tune, kemudian dipetakan langsung menjadi 12.544 simbol kompleks ternormalisasi daya melalui encoder joint source–channel coding (JSCC). Pertanyaan berbahasa alami direpresentasikan sebagai embedding 200 dimensi dan dikodekan menjadi 736 simbol kompleks melalui jalur JSCC teks. Kanal nirkabel dimodelkan sebagai Y = HX + N dalam tiga jenis, yaitu AWGN, Rayleigh fading, dan Rician fading dengan faktor K = 3, disertai ekualisasi zero-forcing di penerima. Pada sisi penerima, cooperative aggregator menggabungkan ketiga peta fitur hasil rekonstruksi melalui pembobotan korelasi berpasangan untuk menekan artefak degradasi dan derau kanal, pembobotan keunikan untuk mempertahankan informasi komplementer yang hanya dimiliki satu pengguna, serta fusi konvolusi berbobot yang diinisialisasi ke rerata agar pelatihan bermula dari operasi perataan yang stabil. Hasil fusi kemudian dimodulasi oleh representasi pertanyaan melalui empat blok residual FiLM yang dikendalikan GRU, dan sebuah klasifier menghasilkan iii jawaban atas 28 kelas. Sistem dilatih secara end-to-end pada dataset CLEVR dengan sekitar 700 ribu pertanyaan menggunakan kerugian gabungan klasifikasi dan rekonstruksi disertai pemanasan JSCC. Sebagai pembanding digunakan sistem konvensional berbasis JPEG dan Huffman dengan LDPC rate-1/3 serta modulasi 8- QAM dan BPSK, yang dinilai menggunakan model penalaran beku yang sama agar perbandingan bersifat setara. Hasil pengujian menunjukkan bahwa sistem semantik kooperatif mempertahankan akurasi tugas yang tinggi pada seluruh rentang SNR ?5 hingga 10 dB. Pada kanal AWGN, akurasi bersifat datar pada kisaran 0,935 dan melampaui referensi bersih tampilan tunggal sebesar 0,918. Pada kanal Rayleigh, akurasi terdegradasi secara landai dari 0,831 pada ?5 dB menjadi 0,927 pada 10 dB. Pada kanal Rician dengan faktor K = 3, akurasi terdegradasi secara landai dari 0,891 pada ?5 dB menjadi 0,934 pada 10 dB, yaitu berada di antara kurva AWGN dan kurva Rayleigh serta cenderung mendekati kurva AWGN karena komponen line-of-sight menekan frekuensi terjadinya deep fade. Sebaliknya, sistem konvensional mengalami efek tebing dengan akurasi hanya 0,203 pada kanal AWGN dan 0,193 pada kanal Rayleigh di ?5 dB, dan pada kanal Rayleigh tidak pernah pulih dalam rentang yang diuji, yaitu hanya mencapai 0,493 di 10 dB, sedangkan pada kanal Rician hanya mencapai 0,197 pada ?5 dB dan 0,710 pada 10 dB. Pengujian fusi multi-pengguna pada sistem konvensional menunjukkan bahwa penggabungan tiga tampilan tidak memberikan keuntungan keberagaman karena ketiganya mengalami kegagalan pengodean yang sama, sedangkan aggregator terlatih pada sistem semantik berhasil memanfaatkan komplementaritas ketiga tampilan tersebut. Dari sisi efisiensi transmisi, sistem semantik mentransmisikan 53% lebih sedikit simbol per pengguna, yaitu 13.280 dibandingkan 28.364 simbol. Kebaruan tugas akhir ini terletak pada penggabungan dua arah penelitian yang selama ini terpisah, yaitu komunikasi semantik kooperatif antar-pengguna dan komunikasi semantik berorientasi tugas untuk penalaran multimodal, ke dalam satu sistem yang sadar kanal dan dilatih secara menyeluruh. Orisinalitasnya terletak pada perancangan cooperative aggregator yang memadukan pembobotan korelasi, pembobotan keunikan, dan fusi konvolusi berinisialisasi rerata, yang terbukti mampu memanfaatkan komplementaritas antar-pengguna pada kondisi kanal yang buruk. Sumbangan hasil penelitian ini terhadap khazanah ilmu pengetahuan mencakup tiga hal. Pertama, bukti empiris bahwa fusi semantik terlatih memperoleh keuntungan keberagaman dari sudut pandang yang saling melengkapi, sementara fusi pada sistem pengodean terpisah tidak memperolehnya karena seluruh sudut pandang mengalami kegagalan pengodean yang sama. Kedua, karakterisasi perilaku degradasi landai sistem semantik dibandingkan efek tebing sistem konvensional pada kanal AWGN, Rayleigh, dan Rician melalui pembandingan yang setara menggunakan penerima sadar kondisi kanal. Ketiga, rancangan pengodean ringkas yang menurunkan kebutuhan simbol transmisi sebesar 53% per pengguna, disertai pencatatan terbuka atas konsekuensinya berupa kebutuhan bandwidth uplink tiga kali lipat pada tataran sistem sebagai imbalan atas peningkatan akurasi dan ketahanan.