کد مقاله کد نشریه سال انتشار مقاله انگلیسی نسخه تمام متن
11002308 1437591 2019 17 صفحه PDF دانلود رایگان
عنوان انگلیسی مقاله ISI
A flexible transfer learning framework for Bayesian optimization with convergence guarantee
ترجمه فارسی عنوان
چارچوب یادگیری انتقال قابل انعطاف برای بهینه سازی بیزی با تضمین همگرایی
کلمات کلیدی
بهینه سازی بیزی، انتقال یادگیری، روند گاوسی،
ترجمه چکیده
بهینه سازی آزمایشی در بسیاری از زمینه های هوش مصنوعی از جمله یادگیری ماشین شایع است. روش های متعارف مانند جستجوی شبکه و جستجوی تصادفی می تواند به صورت محاسباتی مورد نیاز باشد. در سال های اخیر، بهینه سازی بیزی به عنوان یک روش کارآمد برای بهینه سازی جهانی توابع جعبه جعبه ظاهر شده است. با این حال، یک الگوریتم بهینه سازی عمومی بیزی از ابتدای شروع سردر رنج می برد؟ مسئله. ممکن است برای پیدا کردن موقعیت های امیدوار کننده در مراحل اولیه تلاش کند. ما یک روش یادگیری انتقال جدید برای بهینه سازی بیزی را پیشنهاد می دهیم که در آن دانش را از یک کار بهینه سازی منبع که قبلا تکمیل شده است برای بهینه سازی یک کار هدف مورد استفاده قرار داده ایم. فرض بر این که هر دو توابع منبع و هدف در نزدیکی یکدیگر قرار دارند، داده های منبع را به عنوان مشاهدات پر سر و صدا از تابع هدف مدل سازی می کنیم. سطح صدای مدل مجاورت یا وابستگی بین وظایف است. ما یک مکانیسم برای محاسبه سطح سر و صدا از داده ها به صورت خودکار برای ارتباط متفاوتی بین منبع و وظایف هدف تنظیم می کنیم. سپس خواص همگرایی روش پیشنهادی را با استفاده از دو توابع جذب عمومی تحلیل می کنیم. نتایج نظری ما نشان می دهد که روش پیشنهادی سریعتر از یک بهینه سازی عمومی بی انتقال بیزی همگرایی می کند. ما اثربخشی روش ما تجربی از وظایف تنظیم پارامترهای سه الگوریتم مختلف یادگیری ماشین را نشان می دهد. در تمام آزمایشات، روش ما بهتر از روش های بهینه سازی بیزی برای انتقال یادگیری پیشرفته تر و پیشرفته تر است.
موضوعات مرتبط
مهندسی و علوم پایه مهندسی کامپیوتر هوش مصنوعی
پیش نمایش مقاله
چارچوب یادگیری انتقال قابل انعطاف برای بهینه سازی بیزی با تضمین همگرایی
چکیده انگلیسی
Experimental optimization is prevalent in many areas of artificial intelligence including machine learning. Conventional methods like grid search and random search can be computationally demanding. Over the recent years, Bayesian optimization has emerged as an efficient technique for global optimization of black-box functions. However, a generic Bayesian optimization algorithm suffers from a “cold start” problem. It may struggle to find promising locations in the initial stages. We propose a novel transfer learning method for Bayesian optimization where we leverage the knowledge from an already completed source optimization task for the optimization of a target task. Assuming both the source and target functions lie in some proximity to each other, we model source data as noisy observations of the target function. The level of noise models the proximity or relatedness between the tasks. We provide a mechanism to compute the noise level from the data to automatically adjust for different relatedness between the source and target tasks. We then analyse the convergence properties of the proposed method using two popular acquisition functions. Our theoretical results show that the proposed method converges faster than a generic no-transfer Bayesian optimization. We demonstrate the effectiveness of our method empirically on the tasks of tuning the hyperparameters of three different machine learning algorithms. In all the experiments, our method outperforms state-of-the-art transfer learning and no-transfer Bayesian optimization methods.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Expert Systems with Applications - Volume 115, January 2019, Pages 656-672
نویسندگان
, , , ,