Perpustakaan Digital ITB

Sistem penginderaan jauh berbasis satelit umumnya menghasilkan citra pankro- matik (PAN) yang terdiri dari satu kanal dan citra multispektral (MS) yang memiliki empat hingga empat belas kanal spektral. Dalam sistem penginderaan jauh saat ini, jika sebuah citra satelit memiliki resolusi spektral yang tinggi, maka ia tidak dapat memiliki resolusi spasial yang tinggi pada saat yang bersamaan, begitu pula sebaliknya. Hal ini terjadi karena keterbatasan perangkat dan lingkungan pengin- deraan seperti sensor, kapasitas penyimpanan data, bandwidth untuk transmisi data, derau, kondisi atmosfer, dan sebagainya. Untuk banyak aplikasi di bidang penginderaan jauh, citra yang ideal diharapkan memiliki resolusi spektral dan spasial yang tinggi. Akan tetapi, karena berbagai keterbatasan perangkat penginderaan jauh, situasi ideal tersebut sulit untuk diperoleh. Solusi yang dapat digunakan untuk mengatasi masalah ini adalah dengan menggunakan pendekatan berbasis algoritma, yang dikenal sebagaisuper resolution (SR). Banyak metode SR telah diusulkan untuk meningkatkan resolusi citra. Cara termudah dan paling sederhana adalah dengan menggunakan pendekatan single image super resolution (SISR) dengan melakukan upsampling citra dengan teknik interpolasi. Namun, metode ini menghasilkan hasil yang kabur dengan hanya sedikit konten informasi tambahan. Untuk citra penginderaan jauh multispektral, pendekatan yang umum digunakan adalah multi image super resolution (MISR), yang menggunakan dua jenis input yaitu citra MS dan citra PAN. Output dari MISR adalah citra MS yang memiliki resolusi spasial yang lebih tinggi, sama dengan resolusi spasial citra PAN pasangannya. Metoda ini dikenal dengan pansharpening. Dalam beberapa tahun terakhir, jaringan deep learning berbasis convolutional neural network (CNN) banyak digunakan untuk pansharpening dan menunjukkan hasil yang lebih baik daripada metoda tradisional. Meskipun demikian, masih ada beberapa kekurangan yang menyebabkan masih terjadinya distorsi spektral dan spasial pada hasil pansharpening. Untuk mengatasi masalah ini, pada penelitian ini diusulkan metoda deep learning yang menggunakan mekanisme attention, dimana jaringan fokus pada apa dan dimana informasi yang penting berada. Jaringan yang diusulkan dinamakan residual double attention network (RDAN). Jaringan RDAN terdiri dari tiga bagian utama, yaitu shallow feature extraction (SFE), double attention feature fusion (DAFF), dan image reconstruction (IR). SFE i bertanggung jawab untuk mengesktraksi fitur spasial dan spektral dari citra PAN dan MS. Informasi spasial dan spektral kemudian dikombinasikan dengan menggu- nakan modul DAFF. DAFF terdiri dari satu set residual double attention module (RDAM) yang di dalamnya terdapat operasi konvolusi, perkalian, mekanisme channel attention, dan spatial attention. Pada tahap akhir, citra MS direkonstruksi pada bagian IR, dan sebagai output diperoleh citra MS yang lebih tinggi resolusi spasialnya. Berdasarkan cara pembelajarannya, metoda pansharpening berbasis deep learning dapat diklasifikasikan menjadi dua kelompok, yaitu supervised learning dan unsupervised learning. Kedua metoda pembelajaran ini memerlukan data berupa citra PAN dan citra MS resolusi rendah yang berpasangan dengan citra MS resolusi tingginya. Data seperti ini seringkali tidak tersedia dan sulit diperoleh. Untuk mengatasi masalah ini, kami mengusulkan penggunaan metoda deep internal learning dimana data latih diekstrak dari data uji yang berupa satu scene citra MS. Selain dapat mengatasi tidak tersedianya data latih dalam jumlah banyak, metoda ini juga dapat mengatasi masalah ketidaksesuaian antara data latih dan data uji yang seringkali menyebabkan turunnya kinerja pansharpening. Untuk mengevaluasi kinerja metoda yang diusulkan, kami menggunakan dua jenis eksperimen, yaitu eksperimen pada resolusi terdegradasi dan eksperimen pada resolusi penuh. Pada eksperimen dengan resolusi terdegradasi, citra uji yang diobservasi digunakan sebagai citra referensi dan citra latih menggunakan versi downgrade dari citra uji. Pada kondisi ini, kinerja diukur dengan metrik berbasis referensi, diantaranya adalah peak signal to noise ratio (PSNR), struc- tural similarity (SSIM), spectral angle mapper (SAM), relative dimensionless global error in synthesis (ERGAS), spatial coefficient correlation (SCC), dan Q- Index. Pada eksperimen dengan resolusi penuh, tidak ada citra yang menjadi referensi. Oleh karena itu, pengukuran kinerja menggunakan metrik tanpa referensi yang terdiri dari D? untuk mengukur distorsi spektral, Ds untuk mengukur distorsi spasial, dan QNR untuk mengukur performansi secara keseluruhan. Citra yang digunakan untuk evaluasi diperoleh dari empat satelit yaitu WorldView-3, Spot-7, Pleiades, dan Geoeye. Kami membandingkan performansi metoda yang diusulkan dengan empat arsitektur deep learning lain, yaitu convolutional autoen- coder (CAE), residual network (ResNet), residual dense model for pansharpening network (RDMPSNet), symmetric skip connection CNN (SSC-CNN), dan triplet attention network with interaction information (TANI). Kami juga membandingkan metoda ini dengan dua metoda pansharpening klasik yaitu intensity hue saturation (IHS) dan smoothing filter based intensity modulation (SFIM). Berdasarkan hasil eksperimen, metoda yang diusulkan memiliki distorsi spektral dan spasial terkecil dengan tingkat komputasi kedua terendah dibandingkan dengan metoda deep learning lain yang dievaluasi. Hal ini menunjukkan bahwa metoda RDAN dengan pelatihan deep internal learning mampu memberikan performansi terbaik dengan tingkat komputasi yang masih bisa diterima.