Perpustakaan Digital ITB

Dalam beberapa tahun terakhir, telah dikembangkan model-model untuk melakukan rekonstruksi gambar stimulus visual berdasarkan sinyal EEG. Pendekatan yang sedang populer digunakan adalah contrastive learning karena memungkinkan proses pelatihan dengan data yang tidak berlabel. Namun, beberapa dataset yang digunakan dikumpulkan menggunakan pendekatan block design. Hal ini memengaruhi validitas hasil penelitian yang sudah ada. Untuk itu, diperlukan pengembangan model dengan pendekatan contrastive learning menggunakan dataset yang dikumpulkan dengan desain yang lebih baik. Untuk mencapai tujuan ini, dikembangkan suatu model menggunakan dataset Alljoined1 dengan memanfaatkan pendekatan contrastive learning dan stable diffusion untuk menghasilkan gambar stimulus visual. Pertama, model encoder dilatih secara contrastive learning untuk mempelajari ruang laten dari embedding gambar yang dihasilkan model pretrained CLIP dari input sinyal EEG. Kemudian, hasil embedding EEG ini diselaraskan menggunakan diffusion prior. Terakhir, embedding EEG ini akan dijadikan input untuk menghasilkan gambar menggunakan model pretrained stable diffusion. Model ini berhasil menghasilkan gambar rekonstruksi visual dengan skor metrik evaluasi semantik two-way identification sebesar 0.5094 untuk model CLIP, 0.4892 untuk model Inception, 0.4570 untuk model AlexNet(2), 0.5239 untuk model AlexNet(5), dan skor metrik SwAV distance sebesar 0.6812. Dilakukan juga analisis untuk mengamati efek variabilitas data EEG subjek dan frequency band.