Perpustakaan Digital ITB

Meningkatnya layanan cerdas yang bertumpu pada penginderaan visual membuat trafik data pada jaringan nirkabel tumbuh jauh lebih cepat daripada ketersediaan spektrum. Pada sistem konvensional, seluruh isi citra dikirim dan dipulihkan sebagai bit tanpa memandang apakah isi tersebut diperlukan untuk mengambil keputusan, sehingga sebagian besar sumber daya kanal terpakai untuk detail yang tidak relevan terhadap tugas. Sistem semacam ini juga memiliki kelemahan yang khas, yaitu mutu keluarannya jatuh tajam begitu rasio sinyal terhadap derau melewati ambang rancangan, sebuah gejala yang dikenal sebagai efek tebing. Persoalan bertambah ketika banyak perangkat mengamati wilayah yang sama secara serentak, karena pengamatan tiap perangkat dapat tergerus kabut, penghalang, atau sudut pandang yang terbatas, namun justru karena itu pengamatan antar perangkat menjadi saling melengkapi. Komunikasi semantik berorientasi tugas menawarkan jalan keluar dengan hanya mengirimkan representasi yang cukup untuk menyelesaikan tugas di penerima, sehingga sumber daya kanal dapat dihemat dan ketahanan terhadap penurunan kanal meningkat. Tugas akhir ini merancang, mewujudkan, dan menguji sebuah sistem komunikasi semantik kooperatif untuk tugas Visual Question Answering (VQA), yaitu menjawab pertanyaan berbahasa alami mengenai isi sebuah adegan. Sistem meniru situasi tiga pengamat yang melihat adegan yang sama dalam kondisi berbeda, yakni satu tampilan bersih, satu tampilan berkabut, dan satu tampilan yang sebagian terhalang. Fitur visual tiap pengamat diambil oleh Swin Transformer varian Swin- Base yang dibekukan, dan keluarannya berupa peta fitur 196 token berdimensi 512 dipetakan oleh penyandi JSCC menjadi 25.088 simbol kompleks yang dayanya dinormalkan. Pertanyaan diwakili oleh DistilBERT melalui vektor token [CLS] berdimensi 768 dan disandikan menjadi 128 simbol pada jalur JSCC teks. Kanal dinyatakan dengan model Y = HX + N untuk tiga kondisi, yakni AWGN, Rayleigh, dan Rician dengan faktor K = 3, dan penerima melakukan ekualisasi zero-forcing dengan asumsi kondisi kanal diketahui. Berbeda dari rancangan yang memakai penggabung terlatih, sistem ini menyatukan ketiga peta fitur yang telah dipulihkan melalui perataan (mean pooling) yang sederhana dan hemat komputasi, lalu hasilnya dikondisikan oleh representasi pertanyaan pada empat blok residual FiLM sebelum sebuah pengklasifikasi memilih satu dari 28 kemungkinan jawaban. Pelatihan ditempuh dalam dua tahap pada dataset CLEVR, yaitu membentuk kemampuan penalaran terlebih dahulu lalu melatih komponen JSCC pada kondisi berkanal, dengan fungsi kerugian gabungan klasifikasi dan rekonstruksi. Sebagai pembanding dipakai rantai konvensional JPEG dan Huffman dengan kode LDPC laju sepertiga serta modulasi 8-QAM dan BPSK, yang dinilai memakai model penalaran beku yang sama agar setara. Pengujian memperlihatkan bahwa sistem semantik kooperatif menjaga akurasi tugas tetap tinggi sepanjang rentang SNR -5 hingga 10 dB dan menurun secara bertahap, bukan terjun mendadak, seiring memburuknya kanal. Pada kanal AWGN, akurasi berada pada 0,908 di 10 dB dan masih 0,781 di -5 dB, dengan batas atas tanpa kanal sebesar 0,928. Pada kanal Rician berfaktor K = 3, akurasi bergerak dari 0,899 di 10 dB ke 0,534 di -5 dB, menempati posisi antara kurva AWGN dan kurva Rayleigh serta condong ke arah AWGN karena keberadaan lintasan langsung menekan peluang pemudaran dalam. Pada kanal Rayleigh yang paling menantang, akurasi turun dari 0,870 di 10 dB ke 0,401 di -5 dB. Sebagai perbandingan, sistem konvensional memperlihatkan efek tebing yang tegas, dengan akurasi hanya sekitar 0,203 pada AWGN dan 0,193 pada Rayleigh di -5 dB. Dari sisi kehematan, sistem semantik cukup mengirim 25.216 simbol per pengguna pada dimensi simbol 256, atau sekitar 11 persen lebih sedikit daripada 28.364 simbol pada sistem konvensional. Kebaruan tugas akhir ini adalah penyatuan dua arah riset yang selama ini berjalan sendiri-sendiri, yakni komunikasi semantik kooperatif antar-pengguna dan komunikasi semantik berorientasi tugas untuk penalaran multimodal, ke dalam satu sistem tunggal yang sadar kanal serta dilatih menyeluruh, dengan tulang punggung visual berupa transformer berjendela hierarkis yang biaya perhitungannya tumbuh linear terhadap jumlah token. Sumbangan penelitian ini ada tiga. Pertama, bukti eksperimental bahwa komunikasi berorientasi tugas berbasis Swin Transformer mampu menahan penurunan akurasi VQA secara landai pada kanal AWGN, Rayleigh, dan Rician, berbeda tegas dari efek tebing sistem konvensional, dan hal ini ditunjukkan melalui pembandingan setara dengan penerima yang sadar kondisi kanal. Kedua, sebuah rancangan penyandian ringkas yang memangkas kebutuhan simbol transmisi sekitar 11 persen per pengguna, sekaligus disertai catatan terbuka bahwa pada tataran sistem terdapat konsekuensi berupa kebutuhan pita uplink tiga kali lipat sebagai imbalan ketahanan. Ketiga, tersedianya acuan perancangan yang memadukan pengekstrak transformer modern dengan pengodean sumber-kanal gabungan pada skenario multi-pengguna kooperatif, yang dapat dijadikan titik tolak bagi penelitian lanjutan.