Roles of pre-training in deep neural networks from information theoretical perspective

اگر چه یادگیری عمیق در عملکرد شناخت الگوی و یادگیری ماشین ها باال می رود، دلایل آن هنوز معلوم نیست. برای مقابله با این مشکل، متغیرهای نظری اطلاعات بازنمایی در لایه های پنهان را محاسبه کردیم و رابطه آنها با عملکرد را تحلیل کردیم. ما متوجه شدیم که آنتروپی و اطلاعات متقابل، هر دو که به صورت لایه عمیق به شیوه ای متفاوت، با خطاهای تعمیم پس از تنظیم، مرتبط هستند. این نشان می دهد که متغیرهای نظری اطلاعات ممکن است یک معیار برای تعیین تعداد لایه ها در یادگیری عمیق بدون تنظیم دقیق باشد که نیازمند بارهای محاسباتی بالا است.