کد مقاله کد نشریه سال انتشار مقاله انگلیسی نسخه تمام متن
8898508 1631455 2018 20 صفحه PDF دانلود رایگان
عنوان انگلیسی مقاله ISI
Generalization properties of doubly stochastic learning algorithms
ترجمه فارسی عنوان
خصوصیات تعمیم از الگوریتم های یادگیری دوگانه تصادفی
کلمات کلیدی
روش کرنل، الگوریتم دوگانه تصادفی، رگرسیون غیر پارامتری،
ترجمه چکیده
الگوریتم های یادگیری دوگانه تصادفی، روش های مقیاس پذیر هسته ای هستند که در عمل بسیار خوب عمل می کنند. با این حال، خواص تعمیم آنها به خوبی درک نمی شود و تجزیه و تحلیل آنها چالش برانگیز است، زیرا توالی یادگیری مربوطه ممکن است در فضای فرضیه ناشی از هسته باشد. در این مقاله، ما یک تجزیه و تحلیل نظری عمیق برای انواع مختلف الگوریتم یادگیری دوگانه تصادفی در تنظیم رگرسیون غیر پارامتری در فضای هیلبرت هسته بازتولید و با توجه به از دست دادن مربع ارائه می کنیم. به طور خاص، نتایج همگرایی را برای خطای تعمیم برای الگوریتم های مورد مطالعه با یا بدون یک دوره مجاز صریح به دست می آوریم. به بهترین وجه از دانش ما، نتایج مشتق شده برای انواع غیرقانونی، اولین نوع از این نوع هستند، در حالی که نتایج به دست آمده از روش های قانونی بهبود یافته در ادبیات. نوآوری ها در اثبات ما یک خطای نمونه است که نیاز به کنترل عددی ردیابی یک اپراتور تجمعی و یک تجزیه و تحلیل تصحیح خطای اولیه محدود می کند.
موضوعات مرتبط
مهندسی و علوم پایه ریاضیات آنالیز ریاضی
پیش نمایش مقاله
خصوصیات تعمیم از الگوریتم های یادگیری دوگانه تصادفی
چکیده انگلیسی
Doubly stochastic learning algorithms are scalable kernel methods that perform very well in practice. However, their generalization properties are not well understood and their analysis is challenging since the corresponding learning sequence may not be in the hypothesis space induced by the kernel. In this paper, we provide an in-depth theoretical analysis for different variants of doubly stochastic learning algorithms within the setting of nonparametric regression in a reproducing kernel Hilbert space and considering the square loss. Particularly, we derive convergence results on generalization error for the studied algorithms either with or without an explicit penalty term. To the best of our knowledge, the derived results for the unregularized variants are the first of this kind, while the results for the regularized variants improve those in the literature. The novelties in our proof are a sample error bound that requires controlling the trace norm of a cumulative operator, and a refined analysis of bounding initial error.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Journal of Complexity - Volume 47, August 2018, Pages 42-61
نویسندگان
, ,