کد مقاله کد نشریه سال انتشار مقاله انگلیسی نسخه تمام متن
4947397 1439579 2017 15 صفحه PDF دانلود رایگان
عنوان انگلیسی مقاله ISI
Roles of pre-training in deep neural networks from information theoretical perspective
ترجمه فارسی عنوان
نقش پیش آموزش در شبکه های عصبی عمیق از دیدگاه نظری اطلاعات
کلمات کلیدی
ترجمه چکیده
اگر چه یادگیری عمیق در عملکرد شناخت الگوی و یادگیری ماشین ها باال می رود، دلایل آن هنوز معلوم نیست. برای مقابله با این مشکل، متغیرهای نظری اطلاعات بازنمایی در لایه های پنهان را محاسبه کردیم و رابطه آنها با عملکرد را تحلیل کردیم. ما متوجه شدیم که آنتروپی و اطلاعات متقابل، هر دو که به صورت لایه عمیق به شیوه ای متفاوت، با خطاهای تعمیم پس از تنظیم، مرتبط هستند. این نشان می دهد که متغیرهای نظری اطلاعات ممکن است یک معیار برای تعیین تعداد لایه ها در یادگیری عمیق بدون تنظیم دقیق باشد که نیازمند بارهای محاسباتی بالا است.
موضوعات مرتبط
مهندسی و علوم پایه مهندسی کامپیوتر هوش مصنوعی
چکیده انگلیسی
Although deep learning shows high performance in pattern recognition and machine learning, the reasons remain unclarified. To tackle this problem, we calculated the information theoretical variables of the representations in the hidden layers and analyzed their relationship to the performance. We found that entropy and mutual information, both of which decrease in a different way as the layer deepens, are related to the generalization errors after fine-tuning. This suggests that the information theoretical variables might be a criterion for determining the number of layers in deep learning without fine-tuning that requires high computational loads.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Neurocomputing - Volume 248, 26 July 2017, Pages 76-79
نویسندگان
, , ,