Perpustakaan Digital ITB

Elektroensefalografi (EEG) adalah salah satu modalitas modern yang digunakan untuk merekam fenomena pada aktivitas otak. Meskipun portabel, sinyal EEG yang jumlahnya terbatas malah mengandung banyak derau. Kompleksnya informasi dalam sinyal menjadi penyebab diperlukannya kecerdasan buatan (AI) untuk mempelajarinya. Apabila berhasil dilakukan, rekonstruksi isi pikiran seseorang dapat dilakukan hanya dengan menautkan seperangkat alat. Set data utama yang digunakan dalam penelitian ini adalah MindBigData 2023 milik David Vivancos, berisi pasangan sinyal EEG dan stimulusnya yang berupa gambar angka digital tertulis tangan (MNIST). Pertama-tama, penelitian ini membahas penerapan beberapa metode konvensional dalam membersihkan derau pada data EEG, seperti penapisan, pengambangan, normalisasi, ICA, dan sebagainya. Ekstraksi fitur dan klasifikasi data dilakukan dengan arsitektur LSTM dan attention. Meskipun hanya memperoleh akurasi sebesar 27%, dan masih dapat dilampaui oleh arsitektur baseline lain (akurasi maksimum: 70%), pembersihan derau dan ekstraksi fitur terbukti dapat mendekatkan representasi sinyal EEG berlabel sama. Sudut dalam cosine similarity dan jarak (Euclidean distance) antardata bersih sudah mengecil dibandingkan data mentah. Hal ini diperkuat dengan visualisasi representasi laten menggunakan t-SNE. Terkahir, penelitian ini membahas pembangkitan gambar MNIST menggunakan arsitektur cDCGAN yang dapat menerima masukan representasi laten dan label untuk membangkitkan gambar dengan terarah, dengan detail yang sesuai stimulus asli. Rata-rata inception score dari model yang menggunakan loss MSE adalah 2,02 dan rata-rata FID sebesar 16,55. Beberapa metrik lain juga turut dilibatkan seperti SSIM (rata-rata: 0,4303), RMSE (rata-rata: 0,2677), PSNR, dan CLIP score. Secara kualitas, gambar yang dihasilkan sudah menampilkan struktur angka. Namun secara metrik, kebanyakan gambar yang dihasilkan model belum mirip dengan gambar asli. Hasil penelitian ini didukung oleh beberapa penelitian sebelumnya, bahwa sinyal dari MindBigData memang sulit untuk diklasifikasikan. Akan tetapi, kombinasi metode denoising, LSTM, dan cDCGAN di sini dapat menjadi acuan bagi penelitian selanjutnya.