Dalam beberapa tahun terakhir, telah terjadi kemajuan signifikan dalam mendekode informasi visual dari otak, didorong oleh potensi untuk meningkatkan komunikasi bagi individu yang lumpuh serta mendapatkan pemahaman yang lebih mendalam tentang pemrosesan visual. Secara tradisional, penelitian ini bergantung pada alat canggih seperti Pencitraan Resonansi Magnetik Fungsional (fMRI) dan Magnetoensefalografi (MEG). Meskipun alat-alat ini menawarkan resolusi spasial yang sangat baik, biaya yang tinggi dan kurangnya portabilitas telah membatasi penerapannya secara praktis.
Pendekatan baru telah diperkenalkan untuk mengatasi tantangan ini dengan menggunakan perangkat elektroensefalografi (EEG) yang lebih sederhana, berbiaya rendah, dan portabel dengan hanya delapan elektroda untuk menangkap aktivitas otak. Metode ini membuat dekoding otak lebih mudah diakses dan fleksibel, memperluas potensinya untuk digunakan dalam skenario dunia nyata.
Meskipun bukan studi pertama yang menggunakan perangkat EEG untuk dekoding visual, pendekatan ini mengatasi dua masalah penting yang ditemukan pada metode sebelumnya. Studi-studi sebelumnya sering kali menggunakan sistem EEG dengan 128 elektroda untuk memaksimalkan pengumpulan data otak. Namun, jumlah elektroda yang tinggi menyebabkan waktu persiapan yang lebih lama dan membatasi mobilitas pengguna.
Selain itu, banyak studi berbasis EEG sebelumnya bergantung pada dataset publik yang secara tidak sengaja memungkinkan model dekoding untuk mengeksploitasi variasi temporal terkait perangkat keras daripada secara akurat mendekode respons otak terhadap rangsangan visual. Gambar dari berbagai kategori disajikan dalam blok berurutan, memungkinkan model untuk memprediksi kelas gambar berdasarkan variasi ini daripada sinyal otak yang sebenarnya terkait dengan rangsangan.
Pengaturan eksperimental
Pengaturan eksperimental ini mengatasi tantangan-tantangan tersebut dengan dua cara utama.
- Pertama, perangkat EEG portabel yang tersedia secara komersial digunakan, mengurangi jumlah elektroda menjadi delapan saluran. Saluran-saluran tersebut ditempatkan secara strategis berdasarkan penelitian sebelumnya untuk mengkompensasi pengurangan jumlah elektroda. Studi telah menunjukkan bahwa elektroda yang diposisikan di atas korteks visual, area otak utama untuk memproses informasi visual, sangat penting untuk prediksi yang akurat. Penempatan elektroda khusus ini bertujuan untuk memaksimalkan akuisisi data yang relevan, seperti yang digambarkan pada Gambar 1.
- Untuk mencegah prediksi yang tidak akurat yang disebabkan oleh sinyal yang tidak terkait dengan rangsangan visual, data EEG baru dikumpulkan. Selama eksperimen, 600 gambar alami dari 20 kategori (misalnya, wajah manusia, anjing, pesawat) ditampilkan kepada sembilan peserta sementara aktivitas otak mereka direkam. Berbeda dengan pendekatan sebelumnya, gambar-gambar tersebut disajikan dalam urutan acak untuk setiap pengujian guna menghindari bias prediksi.
Setiap peserta menjalani 12 sesi perekaman. Sepuluh dari rekaman tersebut digunakan untuk melatih model klasifikasi untuk masing-masing individu. Setelah pelatihan, kinerja model diuji dengan memprediksi kategori gambar hanya berdasarkan sinyal EEG dari rekaman uji yang tersisa.
KreditPenulis (CC BY 4.0)
Apakah terdapat cukup informasi dalam sinyal EEG?
Pertanyaan utamanya adalah apakah sistem EEG yang disederhanakan dapat menangkap informasi yang cukup untuk membedakan berbagai kategori gambar yang dilihat oleh peserta. Jika sistem tidak memuat informasi, akurasi klasifikasi akan berada di sekitar 5% untuk 20 kategori gambar, yang setara dengan tebakan acak. Namun, hasilnya secara signifikan melampaui garis dasar ini, dengan model terbaik mencapai akurasi rata-rata 34,4% di semua subjek dan beberapa individu mencapai lebih dari 50%. Hal ini secara kuat menunjukkan bahwa sistem EEG berhasil menangkap informasi yang terkait dengan jenis gambar yang diamati.
Setelah ini, tujuan berikutnya adalah untuk memprediksi kategori gambar dari sinyal EEG dan merekonstruksi gambar aktual yang dilihat. Untuk mencapai hal ini, perlu untuk mengekstraksi fitur gambar yang dipersepsikan dari aktivitas otak. Pendekatan tersebut melibatkan penggunaan pengklasifikasi, di mana hierarki lapisan jaringan berfungsi sebagai ekstraktor fitur, yang mengarah ke prediksi kelas di lapisan keluaran.
Alih-alih menggunakan pengklasifikasi untuk tugas prediksi biasanya, lapisan keluaran dari model dengan kinerja terbaik dihilangkan untuk membuat ekstraktor fitur. Ekstraktor ini menghasilkan representasi fitur terkondensasi yang disebut penyisipan EEG saat diberi sinyal EEG. Pertanyaannya kemudian muncul: bagaimana penyisipan EEG ini dapat digunakan untuk merekonstruksi gambar dari rekaman otak?
Merekonstruksi gambar dari otak
Secara historis, kerangka kerja yang digunakan peneliti untuk rekonstruksi visual mengikuti tren model terbaru dalam kecerdasan buatan generatif. Keadaan terkini adalah apa yang disebut Model Difusi, varian populer dari Difusi Stabil.
Singkatnya, model ini dilatih untuk mempelajari distribusi dasar data pelatihan untuk mengambil sampel gambar baru darinya. Khususnya, proses pengambilan sampel ini dapat "dikondisikan" dengan informasi eksternal untuk mendorong pembuatan ke arah keluaran yang diinginkan. Meskipun hal ini umumnya dilakukan dengan perintah teks yang diubah menjadi vektor (penyisipan teks) untuk mengkondisikan Model Difusi, hal ini dapat dilakukan dengan penyisipan EEG.
Penelitian ini menggabungkan model difusi yang dilatih dengan enkoder EEG untuk pengkondisian dan kemudian menyempurnakannya menggunakan pasangan gambar EEG dari rekaman pelatihan peserta. Setelah penyempurnaan, uji coba EEG dari set pengujian diproses melalui enkoder EEG, dan Model Difusi dikondisikan untuk menghasilkan gambar yang sesuai. Pilihan rekonstruksi yang berhasil ditampilkan pada Gambar 2.
Kredit. Penulis
Menuju penggunaan di dunia nyata
Studi ini menunjukkan bahwa adalah mungkin untuk mengklasifikasikan dan merekonstruksi gambar yang dipersepsi dari otak menggunakan pengaturan EEG minimalis. Pencapaian ini merupakan langkah signifikan menuju pengembangan sistem praktis yang dapat digunakan di dunia nyata dengan mengurangi biaya dan meningkatkan fleksibilitas metode dekoding otak. Pada akhirnya, tujuannya adalah menciptakan perangkat portabel dan terjangkau yang dapat diintegrasikan dengan lancar ke dalam kehidupan sehari-hari. Resolusi temporal yang tinggi dari EEG juga membuatnya cocok untuk memantau aktivitas otak secara real-time, memungkinkan respons yang cepat.
Meskipun ada kemajuan ini, tantangan signifikan tetap ada. Walaupun akurasi klasifikasi berada di atas peluang dan rekonstruksi efektif untuk berbagai gambar, kinerja saat ini masih belum cukup untuk aplikasi di dunia nyata.
Selain itu, kemampuan sistem untuk mengenali gambar yang dipersepsi terbatas pada kelas gambar yang termasuk dalam pelatihan. Lebih jauh lagi, agar teknologi ini dapat berfungsi sebagai perangkat komunikasi, pada akhirnya harus mampu mengenali gambar mental di luar lingkungan laboratorium yang terkontrol.
Membuat dekoding visual dapat digunakan di dunia nyata
Menjembatani kesenjangan antara teknologi dekoding visual saat ini dan penerapannya dalam komunikasi dunia nyata memerlukan kemajuan strategis. Meskipun teknologi telah membuat kemajuan signifikan, peningkatan bertahap lebih lanjut sangat diperlukan.
- Mengoptimalkan Teknologi EEG: Seiring perangkat EEG menjadi lebih fleksibel dan tahan terhadap gangguan eksternal, penggunaannya di dunia nyata menjadi lebih mungkin. Peneliti harus fokus pada pencarian keseimbangan optimal antara merekam data yang cukup untuk kinerja yang akurat dan mempertahankan fleksibilitas dengan meminimalkan jumlah elektroda yang digunakan.
- Memajukan Model Klasifikasi dan Generatif: Kemajuan berkelanjutan dalam model klasifikasi dan generatif diharapkan dapat meningkatkan kinerja, memperbaiki kualitas rekonstruksi, dan meningkatkan kecepatan generasi. Serupa dengan perkembangan visi komputer dan pemrosesan bahasa alami, pengenalan model EEG pralatihan besar dapat semakin menyempurnakan ekstraksi informasi bermakna dari sinyal EEG.
- Fokus pada Visual yang Dibayangkan: Meskipun merekonstruksi gambar yang dipersepsi dari sinyal otak menunjukkan potensi teknologi ini, tantangan utama terletak pada mendekode visual yang dibayangkan. Langkah-langkah awal telah diambil di bidang ini, dan upaya berkelanjutan harus diarahkan untuk mewujudkannya.
Penelitian yang disajikan dalam artikel ini dilakukan di Massachusetts Institute of Technology (MIT) Media Lab sebagai bagian dari proyek tesis magister dan diterbitkan di Nature Scientific Reports bersama dengan Dr. Nataliya Kosmyna dan Prof. Dr. Pattie Maes.
🔬🧫🧪🔍🤓👩🔬🦠🔭📚
Referensi jurnal
Guenther, S., Kosmyna, N., & Maes, P. (2024). Image classification and reconstruction from low-density EEG. Scientific Reports, 14(1), 16436. https://doi.org/10.1038/s41598-024-66228-1
