Generative adversarial networks for reconstructing natural images from brain activity

ما یک روش برای بازسازی محرک های بصری از فعالیت مغزی را کشف می کنیم. با استفاده از پایگاه داده های بزرگ از تصاویر طبیعی، ما یک شبکه متمرکز ژن کانولوشن عمیق را ایجاد کردیم که قادر به تولید عکس های خاکستری است، مانند تحریک هایی که در طی دو آزمایش تصویربرداری رزونانس مغناطیسی انجام می شود. با استفاده از یک مدل خطی، ما برای پیش بینی فضای پنهان مدل مولد از فعالیت مغز اندازه گیری یاد گرفتیم. هدف این بود که تصویری شبیه به تصویر محرک ارائه شده را از طریق ژنراتور آموزش دیده قبلی ایجاد کنیم. با استفاده از این روش ما قادر به بازسازی برخی از ویژگی های ساختاری و معنایی یک مجموعه از مجموعه تصاویر طبیعی بودیم. یک آزمون رفتاری نشان داد که افراد قادر به شناسایی بازسازی محرک اصلی در 67.2٪ و 66.4٪ از موارد در مقایسه دوسویه برای دو مجموعه داده های تصویر طبیعی بودند. رویکرد ما نیازی به آموزش یک مدل بزرگ تولیدی بر روی داده های تصویر برداری محدود نداشته است. پیشرفت های سریع در مدل سازی نسبی وعده بهبود بیشتر در عملکرد بازسازی.