کد مقاله کد نشریه سال انتشار مقاله انگلیسی نسخه تمام متن
4946576 1439413 2017 31 صفحه PDF دانلود رایگان
عنوان انگلیسی مقاله ISI
Collective mutual information maximization to unify passive and positive approaches for improving interpretation and generalization
ترجمه فارسی عنوان
به حداکثر رساندن حداکثر اطلاعات متقابل کلیدی برای متحد کردن رویکردهای منفعل و مثبت برای بهبود تفسیر و تعمیم دادن
کلمات کلیدی
منفعل، مثبت پتانسیل، تفسیر، تعمیم، اطلاعات متقابل،
ترجمه چکیده
مقاله حاضر با هدف ارائه روش ساده ای برای به حداکثر رساندن اطلاعات متقابل برای تفسیر و تعمیم بهتر است. برای آموزش شبکه های عصبی و به دست آوردن عملکرد بهتر، نورون ها باید به طور غیرمستقیم به تعداد زیادی الگوهای ورودی در نظر بگیرند. به طور همزمان، و به ویژه برای سهولت تفسیر، آنها باید ویژگی هایی را که مخصوص الگوهای ورودی خاص هستند، به گونه ای باورنکردنی که ممکن است، نشان دهند. این تضاد را می توان با معرفی اطلاعات متقابل بین نورون ها و الگوهای ورودی حل کرد. با این حال، به دلیل روش های پیچیده محاسباتی مربوط به حداکثر سازی اطلاعات متقابل، استفاده از حداکثر سازی اطلاعات متقابل به مشکلات واقعی دشوار است. اگر چه بسیاری از روش های ساده تا کنون توسعه یافته اند، آنها لزوما با موفقیت به کار گرفته نمی شوند، به ویژه برای مسائل عملی بزرگ در مقیاس. برای ساده سازی بیشتر، در اینجا ما یک روش محاسباتی جدید برای ارائه اطلاعات متقابل پیشنهاد می کنیم. یکی از ویژگی های اصلی این روش جدید، بررسی شبکه های عصبی چندگانه هنگام تعریف اطلاعات متقابل است، بنابراین ساده سازی روش. علاوه بر این، یادگیری نیز با استفاده از یادگیری غیر مستقیم، مستقل و سریع روش بالقوه ساده شده است. این روش به دو مجموعه داده شناخته شده اعمال شد: داده های اعتباری استرالیا و مجموعه داده های محبوبیت آنلاین. نتایج تجربی نشان داد که از طریق روش حاضر می توان اطلاعات متقابل را افزایش داد. علاوه بر این، حداکثر سازی اطلاعات متقابل با افزایش عملکرد تعمیم و تفسیر همراه بود، که عمدتا به دلیل بازنمودهای داخلی ساده بود.
موضوعات مرتبط
مهندسی و علوم پایه مهندسی کامپیوتر هوش مصنوعی
پیش نمایش مقاله
به حداکثر رساندن حداکثر اطلاعات متقابل کلیدی برای متحد کردن رویکردهای منفعل و مثبت برای بهبود تفسیر و تعمیم دادن
چکیده انگلیسی
The present paper aims to propose a simple method to realize mutual information maximization for better interpretation and generalization. To train neural networks and obtain better performance, neurons should impartially consider as many input patterns as possible. Simultaneously, and especially for ease of interpretation, they should represent characteristics specific to certain input patterns as faithfully as possible. This contradiction can be solved by introducing mutual information between neurons and input patterns. However, because of the complicated computational procedures associated with mutual information maximization, it has been difficult to apply mutual information maximization to actual problems. Though many simplified methods have been developed so far, they have not necessarily been applied with success, in particular to large-scale practical problems. To further aid simplification, here we propose a new computational method to realize mutual information. One of the main characteristics of this new method is the consideration of multiple neural networks when defining mutual information, thereby simplifying the method. In addition, learning is also simplified by using the indirect, independent, and fast learning of the potential method. This method was applied to two well known data sets: the Australian credit data and on-line popularity data set. The experimental results showed that mutual information could be increased via the present method. In addition, mutual information maximization was accompanied by an increase in generalization and interpretation performance, mainly due to the simple internal representations.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Neural Networks - Volume 90, June 2017, Pages 56-71
نویسندگان
,