کد مقاله کد نشریه سال انتشار مقاله انگلیسی نسخه تمام متن
4946730 1439420 2016 45 صفحه PDF دانلود رایگان
عنوان انگلیسی مقاله ISI
A theory of local learning, the learning channel, and the optimality of backpropagation
ترجمه فارسی عنوان
یک تئوری یادگیری محلی، کانال یادگیری و بهینه بودن عقب راندن
کلمات کلیدی
یادگیری عمیق، بازپرداخت، یادگیری حبیب، کانال یادگیری، نظارت بر یادگیری، یادگیری بی نظیر،
ترجمه چکیده
در یک سیستم عصبی فیزیکی، که در آن ذخیره و پردازش به طور دقیق در هم تنیده می شوند، قوانین برای تنظیم وزن سیناپسی فقط می توانند به متغیرهایی که در محل در دسترس هستند، مانند فعالیت نورون های قبل و بعد از سیناپسی، که منجر به قوانین یادگیری محلی می شود، بستگی دارد . یک چارچوب سیستماتیک برای مطالعه فضای قوانین یادگیری محلی با اولین مشخص کردن ماهیت متغیرهای محلی و سپس فرم عملکردی است که آنها را با هم در هر یک از قوانین یادگیری بدست می آورد. چنین چارچوبی همچنین می تواند کشف سیستماتیک قوانین یادگیری جدید و بررسی رابطه بین قوانین یادگیری و تقارن های گروهی را فراهم کند. ما قوانین یادگیری محلی چندجمله ای طبقه بندی شده توسط درجه خود را بررسی و تجزیه و تحلیل رفتار و توانایی های خود را در هر دو واحد خطی و غیر خطی و شبکه. قرار دادن قوانین یادگیری محلی در شبکه های فیدر عمیق، منجر به یادگیری عمیق محلی می شود. در حالی که یادگیری عمیق محلی می تواند بازنمودهای جالب یاد بگیرد، می تواند تابع ورودی-خروجی پیچیده را یاد بگیرد، حتی زمانی که اهداف برای لایه بالا در دسترس هستند. توابع ورودی و خروجی پیچیده یادگیری مستلزم آموزش عمیق محلی است که در آن اطلاعات هدف به لایه های عمیق از طریق کانال یادگیری عقب منتقل می شود. ماهیت اطلاعات منتسب شده در مورد اهداف و ساختار کانال یادگیری، فضای الگوریتم های یادگیری را پارتیشن بندی می کند. برای هر الگوریتم یادگیری، ظرفیت کانال یادگیری می تواند به عنوان تعداد بیت های ارائه شده در مورد گرادیان خطای هر وزن تعریف شده، تقسیم بر تعداد عملیات مورد نیاز در هر وزن. ظرفیت مربوط به چندین الگوریتم یادگیری را تخمین می زنیم و نشان می دهیم که عقب راندن آنها با افزایش حداکثر میزان اطلاعات و به حداقل رساندن هزینه های محاسباتی آنها را بهتر می کند. این نتیجه نیز نشان داده شده است که برای شبکه های مکرر درست است، آنها را در زمان نمایش آنها. این تئوری، مفهوم یادگیری هبنی را روشن می کند، قدرت و محدودیت های قوانین یادگیری محلی را تعیین می کند، کانال یادگیری را فراهم می کند که تجزیه و تحلیل رسمی از بهینه بودن عقب راندن را امکان پذیر می سازد، و توضیح می دهد که فضای قوانین یادگیری تا کنون کشف شده است.
موضوعات مرتبط
مهندسی و علوم پایه مهندسی کامپیوتر هوش مصنوعی
پیش نمایش مقاله
یک تئوری یادگیری محلی، کانال یادگیری و بهینه بودن عقب راندن
چکیده انگلیسی
In a physical neural system, where storage and processing are intimately intertwined, the rules for adjusting the synaptic weights can only depend on variables that are available locally, such as the activity of the pre- and post-synaptic neurons, resulting in local learning rules. A systematic framework for studying the space of local learning rules is obtained by first specifying the nature of the local variables, and then the functional form that ties them together into each learning rule. Such a framework enables also the systematic discovery of new learning rules and exploration of relationships between learning rules and group symmetries. We study polynomial local learning rules stratified by their degree and analyze their behavior and capabilities in both linear and non-linear units and networks. Stacking local learning rules in deep feedforward networks leads to deep local learning. While deep local learning can learn interesting representations, it cannot learn complex input-output functions, even when targets are available for the top layer. Learning complex input-output functions requires local deep learning where target information is communicated to the deep layers through a backward learning channel. The nature of the communicated information about the targets and the structure of the learning channel partition the space of learning algorithms. For any learning algorithm, the capacity of the learning channel can be defined as the number of bits provided about the error gradient per weight, divided by the number of required operations per weight. We estimate the capacity associated with several learning algorithms and show that backpropagation outperforms them by simultaneously maximizing the information rate and minimizing the computational cost. This result is also shown to be true for recurrent networks, by unfolding them in time. The theory clarifies the concept of Hebbian learning, establishes the power and limitations of local learning rules, introduces the learning channel which enables a formal analysis of the optimality of backpropagation, and explains the sparsity of the space of learning rules discovered so far.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Neural Networks - Volume 83, November 2016, Pages 51-74
نویسندگان
, ,