کد مقاله کد نشریه سال انتشار مقاله انگلیسی نسخه تمام متن
6863013 1439402 2018 11 صفحه PDF دانلود رایگان
عنوان انگلیسی مقاله ISI
Effective neural network training with adaptive learning rate based on training loss
ترجمه فارسی عنوان
آموزش شبکه های عصبی موثر با میزان یادگیری تطبیقی ​​بر اساس کاهش آموزش
کلمات کلیدی
ترجمه چکیده
یک روش که از میزان یادگیری سازگار استفاده می کند، برای آموزش شبکه های عصبی ارائه می شود. بر خلاف روش های به روز رسانی معمول که در آن دوره یادگیری به تدریج در طول آموزش کاهش می یابد، روش پیشنهادی میزان یادگیری را به میزان قابل توجهی افزایش می دهد یا کاهش می دهد بنابراین از دست رفتن آموزش (مجموع تلفات متقابل آنتروپی برای همه نمونه های آموزشی) تا حد ممکن کاهش می یابد. بنابراین، یک دامنه جستجو گسترده تر برای راه حلها فراهم می شود و در نتیجه میزان خطا تست پایین تر است. آزمایشات با برخی از مجموعه داده های شناخته شده برای آموزش یک پیش نمایشگر چند لایه نشان می دهد که روش پیشنهادی برای به دست آوردن دقت آزمایش دقیق در شرایط خاصی موثر است.
موضوعات مرتبط
مهندسی و علوم پایه مهندسی کامپیوتر هوش مصنوعی
چکیده انگلیسی
A method that uses an adaptive learning rate is presented for training neural networks. Unlike most conventional updating methods in which the learning rate gradually decreases during training, the proposed method increases or decreases the learning rate adaptively so that the training loss (the sum of cross-entropy losses for all training samples) decreases as much as possible. It thus provides a wider search range for solutions and thus a lower test error rate. The experiments with some well-known datasets to train a multilayer perceptron show that the proposed method is effective for obtaining a better test accuracy under certain conditions.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Neural Networks - Volume 101, May 2018, Pages 68-78
نویسندگان
, , ,