Learning in the machine: Recirculation is random backpropagation

یادگیری در سیستم های عصبی فیزیکی باید بر قوانین یادگیری تکیه کند که در فضا و زمان محلی هستند. یادگیری بهینه در معماری های عمیق عصبی مستلزم آن است که اطلاعات غیر محلی برای سیناپس عمیق در دسترس باشد. بنابراین، به طور کلی، یادگیری مطلوب در سیستم های عصبی فیزیکی نیاز به حضور یک کانال یادگیری عمیق برای برقراری ارتباط اطلاعات غیر محلی به سیناپس های عمیق، در جهت مخالف انتشار پیشین فعالیت ها دارد. استدلال های نظری بیان می کند که برای کلاس های عددی دایره ای، یک کلاس مهم از معماری عصبی که لایه خروجی آن با لایه ورودی یکسان است، الگوریتم های جایگزین ممکن است وجود داشته باشد که امکان یادگیری محلی را بدون نیاز به کانال های یادگیری اضافی فراهم می کند، با استفاده از کانال فعال سازی پیش فرض به عنوان عمق کانال یادگیری در اینجا ما به طور سیستماتیک، چندین الگوریتم یادگیری محلی را شناسایی، طبقه بندی و مطالعه می کنیم، بر اساس ایده کلی اطلاعات جمع آوری شده از لایه خروجی به لایه های پنهان. ما از طریق شبیه سازی و مشتقات ریاضی نشان می دهیم که این الگوریتم ها قوی هستند و به نقاط بحرانی تابع خطای جهانی همگرا هستند. در اغلب موارد، ما نشان می دهیم که این الگوریتم های تجدید پذیر بسیار شبیه به یک فرم سازگار از بازگشت مجدد تصادفی است، جایی که هر یک از لایه های پنهان یک نسخه خطی تبدیل شده و به آرامی متغیر خطای خروجی را دریافت می کند.