Para insinyur komputer telah mengembangkan program untuk metaverse yang dapat secara akurat meniru cara manusia memandang dunia, yang memungkinkan pelatihan perangkat lunak realitas virtual dan realitas berimbuh.
Program yang diberi nama EyeSyn ini membantu para pemrogram membangun perangkat lunak untuk metaverse yang berkembang pesat, sekaligus melindungi data pengguna.
Hal ini mengikuti jejak kemajuan terbaru dalam teknologi pelacakan mata yang melahirkan aplikasi visual inovatif yang dapat memperkirakan beban kognitif dan mengenali emosi manusia. Banyak perusahaan AR dan VR sekarang menggabungkan kemampuan pelacakan mata ke dalam program mereka.
Dikembangkan oleh para insinyur komputer di Universitas Duke dan Universitas TU Delft, platform virtual ini meniru cara mata manusia melacak stimulus. Stimulus ini dapat mencakup berbagai hal, mulai dari orang yang melihat karya seni di galeri hingga terlibat dalam percakapan atau membeli barang secara online.
Program EyeSyn memungkinkan para pengembang untuk memanfaatkan data ini untuk melatih platform/aplikasi dan produk metaverse baru seperti permainan.
Simulasi mata virtual dapat meniru gerakan mata manusia
Mata sering digambarkan secara metaforis sebagai jendela jiwa, dan untuk beberapa hal yang baik. Cara mata manusia bergerak dan pupilnya membesar memberikan banyak sekali informasi yang luar biasa. Gerakan mata dapat mengungkapkan apakah seseorang sedang bersemangat atau bosan, seberapa berpengalaman mereka dalam melakukan suatu tugas, di mana perhatian mereka terfokus, atau apakah mereka fasih dalam bahasa tertentu.
Jika Anda tertarik untuk mengetahui apakah seseorang sedang membaca buku komik atau literatur tingkat lanjut hanya cukup dengan melihat matanya saja, Anda dapat melakukannya.
MARIA GORLATOVA, ASISTEN PROFESOR TEKNIK ELEKTRO DAN KOMPUTER DI UNIVERSITAS DUKE
"Jika Anda tertarik untuk mengetahui apakah seseorang sedang membaca buku komik atau literatur tingkat lanjut hanya cukup dengan melihat matanya saja, Anda bisa melakukannya," kata Maria Gorlatova, Asisten Profesor Teknik Elektro dan Komputer di Universitas Duke dan salah satu pengembang EyeSyn.
Gorlatova menjelaskan bahwa kita bisa mengetahui banyak hal tentang seseorang dengan mengetahui di mana mereka paling memfokuskan pandangan mereka. Ia mengatakan, "Hal ini dapat secara tidak sengaja mengungkapkan bias seksual dan ras, minat yang tidak ingin diketahui orang lain, dan informasi yang mungkin tidak kita ketahui tentang diri kita sendiri."
[Gerakan mata] secara tidak sengaja dapat mengungkapkan bias seksual dan ras, minat yang tidak ingin diketahui orang lain, dan informasi yang mungkin tidak kita ketahui tentang diri kita sendiri.
MARIA GORLATOVA, ASISTEN PROFESOR TEKNIK ELEKTRO DAN KOMPUTER DI UNIVERSITAS DUKE
Data gerakan mata sangat penting bagi organisasi yang mengembangkan perangkat lunak dan aplikasi untuk metaverse. Dengan mempelajari gerakan mata seseorang, misalnya, pengembang dapat menyesuaikan konten agar sesuai dengan cara pengguna merespons interaksi atau menurunkan resolusi pada penglihatan periferal untuk menghemat energi komputasi. Kontak mata virtual juga dapat mempengaruhi sistem saraf kita dengan cara yang sama seperti kontak mata secara fisik, sehingga membantu orang merasa terhubung.
"Namun, untuk melatih algoritma semacam itu membutuhkan data dari ratusan orang yang memakai headset selama berjam-jam," jelas Gorlatova. "Kami ingin mengembangkan perangkat lunak yang tidak hanya mengurangi masalah privasi yang muncul dari pengumpulan data semacam ini, tetapi juga memungkinkan perusahaan yang lebih kecil yang tidak memiliki sumber daya seperti itu untuk masuk ke dalam permainan metaverse."
Mengembangkan EyeSyn menggunakan data dari gerakan mata
Untuk mengembangkan program EyeSyn, para insinyur dari Universitas Duke mengeksplorasi cara-cara individu memandang dunia dan memproses informasi visual dengan menggunakan literatur ilmu kognitif.
Tim Gorlatova terdiri dari mahasiswa doktoral Universitas Duke, Tim Scargill, dan mantan rekan pasca doktoral Guohao Lan, yang kini menjadi asisten profesor di Universitas Teknologi Delft, Belanda.
Meskipun tugas ini sangat rumit, para peneliti perlu menciptakan mata virtual yang meniru cara manusia merespons berbagai macam stimulus. Misalnya, ketika seseorang melihat orang lain berbicara, matanya berosilasi di antara mata, mulut, dan hidung pembicara selama beberapa waktu.
Ketika membangun EyeSyn, alih-alih menggunakan mata manusia untuk penelitian ini, tim peneliti memasukkan pola gerakan mata untuk aktivitas seperti membaca, terlibat dalam percakapan, dan menonton video ke dalam model sistem. Model-model ini kemudian digunakan untuk membuat kumpulan data virtual untuk program ini. Dengan begitu, EyeSyn belajar untuk mengamati dan meniru pola-pola tersebut, dan kemudian menggunakan data tersebut.
Para insinyur mengatakan bahwa proses ini menghilangkan beberapa masalah privasi yang terkait dengan pengumpulan data biometrik dalam jumlah besar yang diperlukan untuk melatih algoritma.
"Jika Anda memberi EyeSyn banyak masukan yang berbeda dan menjalankannya cukup sering, Anda akan membuat satu set data gerakan mata sintetis yang cukup besar untuk melatih pengklasifikasi (pembelajaran mesin) untuk program baru," kata Gorlatova.
Gangguan privasi tetap minimal karena program ini bergantung pada templat dan bukan kumpulan data berbasis cloud yang besar yang berisi gerakan mata manusia. Dengan cara ini, platform ini juga menggunakan sumber daya yang lebih sedikit, sehingga memudahkan pengembang yang lebih kecil untuk memanfaatkan sumber daya tersebut dan menjalankan lingkungan virtual dengan daya komputasi yang lebih kecil.
Seberapa akuratkah mata virtual ini?
Untuk menguji seberapa akurat "mata" ini, para peneliti menggunakan data yang tersedia untuk umum. Mereka meminta mata sintetis melihat video saat Dr Anthony Fauci berbicara di konferensi pers, kemudian mereka membandingkan informasi ini dengan data dari gerakan mata pemirsa manusia.
Selain itu, para insinyur membandingkan repositori mata sintetis yang mengamati karya seni dengan data yang diperoleh dari mereka yang menjelajahi museum seni secara online.
Temuan mereka mengungkapkan bahwa EyeSyn dapat meniru pola yang jelas dari sinyal tatapan mata manusia dan meniru berbagai cara mata manusia bereaksi terhadap stimulus yang berbeda.
Performa program ini cukup baik untuk digunakan oleh para pengembang sebagai kriteria untuk melatih perangkat lunak, aplikasi, dan platform metaverse baru. Dengan memprioritaskan algoritmanya setelah berinteraksi dengan sekumpulan pengguna, perangkat lunak komersial dapat mencapai hasil yang lebih baik.
"Data sintetisnya sendiri tidak sempurna, tetapi ini merupakan titik awal yang baik," kata Gorlatova. "Perusahaan yang lebih kecil dapat menggunakannya daripada menghabiskan waktu dan uang untuk mencoba membangun dataset dunia nyata mereka sendiri (dengan subjek manusia). Dan karena personalisasi algoritma dapat dilakukan pada sistem lokal, orang tidak perlu khawatir tentang data gerakan mata pribadi mereka menjadi bagian dari basis data yang besar."
Temuan studi ini dipresentasikan pada awal tahun ini pada Konferensi Internasional Pemrosesan Informasi dalam Jaringan Sensor (IPSN), sebuah forum tahunan tentang penelitian dalam penginderaan dan kontrol jaringan.
