Perpustakaan Digital ITB

Deteksi dini penyakit gastrointestinal melalui citra endoskopi memiliki peran penting dalam meningkatkan efisiensi diagnosis dan efektivitas pengobatan. Namun, proses endoskopi yang masih bergantung pada observasi manual sering kali menghadapi tantangan dari segi konsistensi, kecepatan, dan akurasi diagnosis. Mayoritas dari sistem basis pembelajaran dalam yang sudah ada masih terbatas dalam aspek interpretabilitas, sehingga menyulitkan adopsi dalam praktik klinis karena kurangnya transparansi dalam pengambilan keputusan. Selain itu, pendekatan berbasis model tunggal seperti Convolutional Neural Network (CNN) dan Vision Transformer (ViT) juga memiliki keterbatasan masing-masing. CNN baik dalam mengekstraksi fitur lokal tetapi lemah dalam memahami konteks global, sementara ViT sebaliknya. Oleh karena itu, penelitian ini mengusulkan model hibrida CNN-ViT yang diusulkan terdiri dari tiga pendekatan integrasi, yaitu integrasi arsitektural seri, atensi silang, dan ensemble berbasis weighted averaging. Di antara ketiganya, pendekatan ensemble dengan pembobotan 50:50 antara DenseNet121 dan Swin Transformer paling unggul dan mencapai akurasi pengujian sebesar 94.80%, yang merupakan peningkatan sekitar 2.29% dibandingkan rata-rata model tunggal yang diuji. Sistem juga dilengkapi dengan modul XAI menggunakan GradCAM++ dengan nilai AUC kurva penghapusan 0.33.