کد مقاله | کد نشریه | سال انتشار | مقاله انگلیسی | نسخه تمام متن |
---|---|---|---|---|
404044 | 677383 | 2016 | 15 صفحه PDF | دانلود رایگان |
کلمات کلیدی
1.مقدمه
۲. بررسی ماشین یادگیری بی نهایت و تحلیلات داده مقیاس بزرگ
۲.۱ ماشین یادگیری بی نهایت
۲.۲ تجزیه و تحلیل داده مقیاس بزرگ
۳. روش مطروحه
۳.۱ مسئله مورد توجه (منافع)
شکل ۱. گره های پنهان تصادفی در ELM کلاسیک و گره های پنهان SVD در روش مطروحه ما. برای گره های پنهان تصادفی ، پارامترهای گره های پنهان بصورت تصادفی مطابق با برخی از احتمالات توزیع نمونه سازی مداوم تولید شده اند ، در حالیکه برای گره های پنهان SVD پارامترهای گره های پنهان تولید شده تحت شرایط تقریب رتبه پایین بهینه می باشند.
۳.۲ ماشین یادگیری بی نهایت مبتنی بر گره های پنهان SVD سریع برای ابعاد بزرگ و داده نمونه بزرگ
3.3 طرح تقریب تسخیر-و-تقسیم سریع
3.4 پیچیدگی محاسباتی
4. مباحثه در مورد توانایی یادگیری خصیصه ی طرح تقریب تسخیر و تقسیم
شکل 3. چهار گروه داده: (a) نمونه کوچک و ابعاد کوچک (REAL-SIM, NEWS20.MUL, AUT_AVN, SECTOR) و (b) نمونه کوچک و ابعاد بزرگ (URL0, NEWS20.BIN) و © نمونه بزرگ و ابعاد بزرگ (WEBSPAM, KDD2010, URL100) و (d) نمونه بزرگ و ابعاد کوچک n (RCV1.MUL, RCV1.BIN, EPSLION). مورد N×d: ابعاد x نمونه ها. ابعاد بزرگ : d > 100,000 ، اندازه بزرگ داده : N > 100,000.
5. مطالعه تجربی و ارزیابی عملکرد
جدول 1. جزییات مجموعه داده ها
5.1 مقایسه عملکرد FSVD-H-ELM و SVD-H-ELM و ELM کلاسیک
جدول 2. سه بخش بندی آزمایشی/تمرینی مختلف
جدول 3. پارامترهای FSVD-H-ELM و SVD-H-ELM و ELM کلاسیک
جدول 4 عملکرد FSVD-H-ELM و SVD-H-ELM و ELM کلاسیک در بخش بندی 1
جدول 5 مقدار t و سطوح p ی FSVD-H-ELM در برابر SVD-H-ELM و ELM کلاسیک
جدول 6 عملکرد PSVD-H-ELM و SVD-H-ELM و ELM کلاسیک بخش II
جدول 7. مقدار T و سطح محسوس P ی FSVD-H-ELM در برابر SVD-H-ELM و ELM کلاسیک (بخش II)
5.2 مقایسه عملکرد FSVD-H-ELM نسبت به دیگر روش های یادگیری ماشینی موجود
جدول 9. مقدار T و سطح محسوس P ی FSVD-H-ELM در برابر SVD-H-ELM و ELM کلاسیک (بخش III)
جدول 8 عملکرد FSVD-H-ELM و SVD-H-ELM و ELM کلاسیک در بخش III
شکل 4. آزمایش صحت FSVD-H-ELM 20 آزمایش در 12 مجموعه داده. در هر آزمایش زیرمجموعه ها مختلف می باند. آزمایش صحت برای ثابت نگه داشتن تمامی 20 آزمایش تجربی مستقل مشاهده شده اند.
5.3 ثبات تقریبت سریع تسخیر و تقسیم
5.4 تاثیرات اندازه زیر مجموعه داده n در عملکرد SVD-H-ELM
جدول ۱۰ ارزیابی عملکرد FSVD-H-ELM و دیگر الگوریتم های یادگیری ماشین موجود
شکل ۵. زمان آزمایشی (به ثانیه) و آزمایش صحت (به ٪). زیر مجموعه داده مختلف با اندازه n ، مشخصا ، آزمایش صحت را می توان برای نگهداری نسبتا ثابت برای زیر مجموعه داده با اندازه n مختلف مشاهده نمود. زمان آزمایشی ، هرچند ، بصورت محسوسی با n تغییر می نماید.
۶. جمع بندی
Big dimensional data is a growing trend that is emerging in many real world contexts, extending from web mining, gene expression analysis, protein–protein interaction to high-frequency financial data. Nowadays, there is a growing consensus that the increasing dimensionality poses impeding effects on the performances of classifiers, which is termed as the “peaking phenomenon” in the field of machine intelligence. To address the issue, dimensionality reduction is commonly employed as a preprocessing step on the Big dimensional data before building the classifiers. In this paper, we propose an Extreme Learning Machine (ELM) approach for large-scale data analytic. In contrast to existing approaches, we embed hidden nodes that are designed using singular value decomposition (SVD) into the classical ELM. These SVD nodes in the hidden layer are shown to capture the underlying characteristics of the Big dimensional data well, exhibiting excellent generalization performances. The drawback of using SVD on the entire dataset, however, is the high computational complexity involved. To address this, a fast divide and conquer approximation scheme is introduced to maintain computational tractability on high volume data. The resultant algorithm proposed is labeled here as Fast Singular Value Decomposition-Hidden-nodes based Extreme Learning Machine or FSVD-H-ELM in short. In FSVD-H-ELM, instead of identifying the SVD hidden nodes directly from the entire dataset, SVD hidden nodes are derived from multiple random subsets of data sampled from the original dataset. Comprehensive experiments and comparisons are conducted to assess the FSVD-H-ELM against other state-of-the-art algorithms. The results obtained demonstrated the superior generalization performance and efficiency of the FSVD-H-ELM.
Journal: Neural Networks - Volume 77, May 2016, Pages 14–28