PENGEMBANGAN KOMPUTER VISI CERDAS UNTUK MENDETEKSI KEHADIRAN KAPAL YANG MENDEKATI SISTEM PERINGATAN DINI TSUNAMI - TESIS Karya tulis sebagai salah satu syarat untuk memperoleh gelar Magister dari Institut Teknologi Bandung Oleh WAYAN WIRA YOGANTARA NIM: 23821005 (Program Studi Magister Instrumentasi dan Kontrol) INSTITUT TEKNOLOGI BANDUNG Agustus 2024 i ABSTRAK PENGEMBANGAN KOMPUTER VISI CERDAS UNTUK MENDETEKSI KEHADIRAN KAPAL YANG MENDEKATI SISTEM PERINGATAN DINI TSUNAMI Oleh Wayan Wira Yogantara NIM: 23821005 (Program Studi Magister Instrumentasi dan Kontrol) Sistem Peringatan Dini Tsunami atau Tsunami Early Warning System (TEWS) bekerja mengandalkan sebuah pelampung khusus atau pelampung permukaan di permukaan laut yang terhubung dengan perangkat deteksi tsunami berbasis sensor tekanan air di dasar laut melalui komunikasi akustik untuk mendeteksi potensi terjadinya gelombang tsunami. Namun, kendala yang signifikan terhadap sistem ini adalah gangguan kebisingan yang ditimbulkan dari propeler kapal yang mendekati lokasi pelampung permukaan yang nilai kebisingannya dapat melebihi nilai kebisingan yang dapat ditoleransi oleh modem akustik pada pelampung permukaan. Dalam penelitian ini, dicari sebuah metoda pengenalan objek permukaan laut yang akurat menggunakan convolutional neural network aktual yang tidak memerlukan proses komputasi yang tinggi sehingga dapat berjalan pada sebuah sistem tertanam komputer papan tunggal dengan konsumsi catu daya yang rendah. Informasi dari komputer visi cerdas ini nantinya akan digunakan sebagai tanda peringatan bagi kapal yang mendekat agar menjauh dari lokasi Pelampung permukaan dan juga memberikan informasi ke Pusat Data Tsunami akan kehadiran kapal asing yang mengganggu kinerja dari TEWS. Sebuah model jaringan pendeteksi objek permukaan untuk kendaraan permukaan air tanpa awak atau Unmanned Surface Vehicle (USV) terbaik saat ini bernama Temporal Context Water Segmentation and Refinement Martime Obsctacle Detection Network atau WaSR-T dianalisis untuk dapat digunakan pada TEWS sebagai sebuah perangkat sistem visi komputer yang dapat memindai kondisi disekitar buoy untuk mengamati kapal yang mendekat. Meskipun memiliki kinerja yang sangat baik untuk USV dalam mengenali objek permukaan untuk keperluan navigasi, jaringan WaSR-T masih memerlukan proses komputasi yang tinggi. Untuk TEWS diperlukan sebuah jaringan yang lebih ringan dengan keseimbangan antara ketelitian mendeteksi kapal yang mendekati TEWS dan proses komputasi yang ringan sebagai bagian integral dari sistem visi komputer cerdas di laut terbuka. ii Berdasarkan analisis, kami mengusulkan modifikasi jaringan WaSR-T yang ada dengan penggantian tahapan komputasi paling intensif pada jaringan ini yaitu pada proses enkode menggunakan ResNet dengan jaringan yang lebih ringan yang disebut jaringan WaSR-T Ringan. Dengan menggunakan modul enkode yang lebih ringan maka proses komputasi dapat dijalankan pada perangkat sistem tertanam atau pada sebuah komputer papan tunggal yang lebih ringan dengan kinerja yang baik untuk melakukan proses klasifikasi dan pemberian label setiap piksel pada citra yang direkam sebagai sebuah objek kapal, awan atau permukaan laut. Pada jaringan WaSR-T Ringan yang diusulkan ini, modul enkode WaSR-T yang sebelumnya menggunakan ResNet-101 dirubah menjadi MobilNetV3, dan beberapa peta lapisan fitur dikurangi sebagai masukan pada dekode. Untuk melatih dan memvalidasi jaringan WaSR-T Ringan ini, digunakan kumpulan data yang mewakili domain laut terbuka dari kumpulan data citra yang dapat diakses secara bebas, dan kumpulan data citra tambahan yang direkam dari lokasi pemasangan TEWS di perairan Indonesia. Berdasarkan hasil kuantitatif dan evaluasi beban komputasi, sensitivitas pembangkitan alarm TEWS untuk hasil kinerja jaringan WaSR-T asli adalah sebesar 86,4 % dan jaringan WaSR-T Rimgan sebesar 86,16%. Namun, beban komputasi jaringan WaSR-T Ringan memerlukan lebih sedikit memori yaitu 4,3 % dibandingkan dengan WaSR-T asli sebesar 13.2 %. Oleh karena itu, jaringan WaSR-T Ringan yang kami usulkan menjanjikan untuk digunakan sebagai bagian utama dari sistem visi komputer cerdas pada TEWS. Kata kunci: Tsunami, Pelampung permukaan, akustik, USV, Lightweight WaSR- T, visi komputer, laut terbuka, ResNet-101, MobileNetV3 iii ABSTRACT DEVELOPMENT OF AN INTELLIGENT COMPUTER VISION TO DETECT THE PRESENCE OF VESSELS APPROACHING THE TSUNAMI EARLY WARNING SYSTEM By Wayan Wira Yogantara NIM: 23821005 (Master’s Program in Intrumentation and Control) The Tsunami Early Warning System (TEWS) works by relying on a buoy on the sea surface, which is connected to a water pressure sensor based tsunami detection system on the seabed via acoustic communication to detect the potential for tsunami waves. However, a significant obstacle to this system is the noise interference caused by ship propellers approaching the Pelampung permukaan, the value of which can exceed the noise value that the Pelampung permukaan's acoustic modem can tolerate. This research seeks a simple sea surface object recognition method that does not require a high computational process and can run on an embedded system with low power supply consumption. Information from this intelligent vision computer will later be used as a warning sign for approaching ships to stay away from the Pelampung permukaan location. It will also provide information to the Tsunami Data Center about the presence of foreign vessels that interfere with the performance of TEWS. A model of the best surface object detection network for Unmanned Surface Vehicles (USV), currently called the Temporal Context Water Segmentation and Refinement Maritime Obsctacle Detection Network (WaSR-T), is analyzed to be used in TEWS as a computer vision system device that can scout approaching ships. Despite USVs' excellent performance in recognizing surface objects for navigation purposes, WaSR-T networks require high computing devices. For TEWS, a lighter network is needed that balances the accuracy of detecting ships approaching TEWS as an integral part of an intelligent computer vision system in the open sea. Based on the analysis, a modifying the WaSR-T network proposed by replacing the most computationally intensive stages in the encoding process with a lighter network called Lightweight WaSR-T. By using a lighter encoder, the computing process can be run on a low memory ressources embedded system or on a single board computer with good performance to carry out the classification process and label each pixel in the recorded image as an approaching ship object, cloud, or sea surface. iv In this proposed lightweight WaSR-T network, the previous WaSR-T encoder using ResNet-101 is changed to MobilNetV3, and several feature layer maps are reduced as input to the decoder. To train and validate this lightweight WaSR-T network, a data set representing the high seas domain from an open data set was used, and we expanded the dataset with an additional recorded data set from the TEWS installation location in Indonesian waters. Based on quantitative results and computational load evaluation, the sensitivity of TEWS alarm generation for WaSR-T network performance results is 86,24 % , and lightweight WaSR-T is 86.14%. However, the computational load of the light WaSR-T network requires less memory by 4.3 %, and compare to WaSR-T by 13.2%. Therefore, our proposed lightweight WaSR-T network is promising for use as a key part of intelligent computer vision systems in TEWS. Keywords: Tsunami, Buoy, acoustics, USV, Lightweight WaSR-T, computer vision, open ocean, ResNet-101, MobileNetV3. vi PEDOMAN PENGGUNAAN TESIS Tesis Magister yang tidak dipublikasikan terdaftar dan tersedia di Perpustakaan Institut Teknologi Bandung, dan terbuka untuk umum dengan ketentuan bahwa hak cipta ada pada penulis dengan mengikuti aturan HaKI yang berlaku di Institut Teknologi Bandung. Referensi kepustakaan diperkenankan dicatat, tetapi pengutipan atau peringkasan hanya dapat dilakukan seizin penulis dan harus disertai dengan kaidah ilmiah untuk menyebutkan sumbernya. Sitasi hasil penelitian Tesis ini dapat di tulis dalam bahasa Indonesia sebagai berikut: Yogantara, W.W. (2024): Pengembangan Komputer Visi Cerdas Untuk Mendeteksi Kehadiran Kapal Yang Mendekati Sistem Peringatan Dini Tsunami, Tesis Program Magister, Institut Teknologi Bandung. dan dalam bahasa Inggris sebagai berikut: Yogantara, W.W. (2024): Development of an Intelligent Computer Vision To Detect The Presence Of Vessel Approaching the Tsunami Early Warning System, Master’s Thesis, Institut Teknologi Bandung. Memperbanyak atau menerbitkan sebagian atau seluruh tesis haruslah seizin Dekan Sekolah Pascasarjana, Institut Teknologi Bandung. vii HALAMAN PERUNTUKAN Dipersembahkan kepada Almarhum kedua orang tua kami, Ratna dan Abby, serta keluarga besarku tercinta yang senantiasa mendukung lahir dan batin. viii KATA PENGANTAR Puji syukur saya panjatkan kepada Tuhan Yang Maha Esa, karena atas berkat dan rahmat-Nya, saya dapat menyelesaikan tesis ini. Penulisan tesis ini dilakukan dalam rangka memenuhi salah satu syarat untuk memperoleh gelar Magister Instrumentasi dan Kontrol dari Institut Teknologi Bandung pada Fakultas Teknik Industri, dengan judul “Pengembangan Komputer Visi Cerdas Untuk Mendeteksi Kehadiran Kapal Yang Mendekati Sistem Peringatan Dini Tsunami”. Saya menyadari bahwa, tanpa bantuan dan bimbingan dari berbagai pihak, dari masa perkuliahan sampai pada penyusunan tesis ini, sangatlah sulit bagi saya untuk menyelesaikan tesis ini. Oleh karena itu, saya mengucapkan terima kasih kepada : 1) Prof. Dr. Suprijanto, S.T., M.T., selaku dosen pembimbing I yang telah menyediakan waktu, tenaga dan pikiran untuk mengarahkan saya dalam penyusunan tesis ini; 2) Dr. Anak Agung Ngurah Ananda Kusuma, M. Eng., selaku dosen pembimbing II yang telah menyediakan waktu, tenaga dan pikiran untuk mengarahkan saya dalam penyusunan tesis ini; 3) Kerabat keluarga saya yang telah memberikn bantuan dukungan material dan moral; 4) Segenap dosen, staf, dan civitas akademika Program Studi Magister Instrumentasi dan Kontrol yang telah mendidik dan membantu penulis selama keberjalanan pendidikan penulis; 5) Seluruh rekan-rekan kerja saya di Pusat Teknologi Elektronika Badan Riset dan Inovasi Nasional BRIN yang telah banyak membantu selama perkuliahan hingga penyelesaian penulisan Proposal Tesis ini. 6) Seluruh rekan-rekan mahasiswa Program Studi Magister Instrumentasi dan Kontrol Institut Teknologi Bandung, khususnya Gema, Rhaka, Giri, Rengga dan Haryas, yang terus memberi semangat dalam menyelesaikan tugas akhir ini. Akhir kata, saya berharap Tuhan Yang Maha Esa berkenan membalas segala kebaikan semua pihak yang telah membantu. Semoga tesis ini dapat bermanfaat bagi pengembangan ilmu dan semua pihak Bandung , 25 Juli 2024 Penulis ix DAFTAR ISI ABSTRAK ..................................................................................................................... i HALAMAN PENGESAHAN ....................................................................................................