کد مقاله کد نشریه سال انتشار مقاله انگلیسی ترجمه فارسی نسخه تمام متن
6869487 681112 2015 13 صفحه PDF 19 صفحه WORD دانلود کنید
عنوان انگلیسی مقاله ISI
Non-parametric entropy estimators based on simple linear regression
ترجمه فارسی عنوان
برآورد کننده های غیر پارامتری آنتروپی براساس رگرسیون خطی ساده
کلمات کلیدی
برآورد آنتروپی - غیر پارامتریک - رگرسیون خطی ساده
فهرست مطالب مقاله
چکیدهکلمات کلیدی1. مقدمه2. موارد مقدماتی و علامت گذاری 3. برآورد کننده آنتروپی پیشنهادی 3.1. یک برآورد کننده با حداقل مربعات را حذف کنید 3.2. برآورد کننده حذف یک به یک با حداقل مربعات وزنی شکل 1. (a) و (c): چگالی های احتمالی توزیع های نرمال و دوحالته. منحنی های پر و منحنی های خط چین به ترتیب چگالی تخمین زده شده و چگالی های اطلاعات شهودی با 300 نمونه می باشند. (b) و (d): برای تخمین f(z) در   نقاط   با o نشان داده شده اند، خطوط رگرسیون تطبیقی با خطوط پر نشان داده شده اند، و مقادیر چگالی اطلاعات شهودی با خط چین های افقی نشان داده شده اند.3.3. تخمین مستقیم آنتروپی 3.4. تخمین آنتروپی مستقیم وزنی 4. آزمایش های عددی 4.1. مورد تک متغیره شکل 2. طرح های 15 تابع چگالی احتمالی برای تولید نمونه هاشکل 3. طرح های جعبه ای خطاهای مطلق بدست آمده بوسیله ی شش برآورد کننده مختلف آنتروپی. توزیع های احتمالی اطلاعات شهودی عبارتند از (1) نرمال، (2) چوله، (3) شدیدا چوله، (4) کورتوتیک، (5) دو حالتی، (6) دو حالتی چوله، (7) سه حالتی، (8) پنجه ای. اندازه ی نمونه n برابر با 300 می باشد. شکل 4. طرح های جعبه ای خطاهای مطلق بدست آمده توسط شش آنتروپی مختلف. توزیع های احتمالی اطلاعات شهودی عبارتند از (9) نمایی توان (10) لجستیک (11) لاپلاس، (12) t با df = 5، (13) t ترکیبی (14) نمایی، و (15) کوشی. اندازه ی نمونه n برابر با 300 قرار داده شده است. پنل پایینی سمت راست بهبود دقت های تخمین بدست آمده توسط SRE نسبت به آن هایی که توسط روش k-NN بدست آمده اند، هنگامی که حداکثر منحنی توزیع کوشی افزایش می یابد، را نشان می دهد.جدول 1. میانگین های خطاهای مطلق تخمین های آنتروپی برای هفت روش مختلف. اندازه ی نمونه n برابر با 300 قرار داده شده است. بهترین نتایج بصورت برجسته نشان داده شده اند. (نوعtype = ) شکل 5. میانگین های خطاهای مطلق تخمین آنتروپی هنگامی که اندازه های نمونه از 100 تا 700 متغیر می باشند. توزیع های احتمالی اطلاعات شهودی عبارتند از (1) نرمال، (2) چوله، (3) شدیدا چوله، (4) کورتوتیک، (5) دو حالتی، (6) دو حالتی چوله، (7) سه حالتی، (8) پنجه ای. شکل 6. میانگین های خطاهای مطلق تخمین آنتروپی زمانی که اندازه های نمونه از 100 تا 700 تغییر یافته اند. توزیع های احتمالی اطلاعات شهودی عبارتند از (9) نمایی توان (10) لجستیک (11) لاپلاس، (12) t با df = 5، (13) t ترکیبی (14) نمایی، و (15) کوشی. پنل پایینی سمت راست هزینه های محاسباتی مربوط به برآورد کننده های مختلف را نشان می دهد. 4.2. حالت چند متغیره شکل 7 (a)-(c). میانگین های خطاهای مطلق تخمین آنتروپی زمانی که p بین 2 و 5 متغیر بوده است. تعداد نمونه ها در n = 300 ثابت است، و توزیع های گاوسی با سه ماتریس مختلف کواریانسی بررسی شده است. (d): ضرایب همبستگی و میانگین خطاهای مطلق برای داده های همبستگی کامل.5. سخن آخر ضمیمه A. محاسبه ی دقیق بسط مرتبه دوم جرم احتمالی ضمیمه ی B. صحت بسط تیلور برای DRE
ترجمه چکیده
برآورد کننده های مربوط به آنتروپی دیفرانسیلی مطرح شده اند. برآورد کننده ها براساس بسط مرتبه دوم جرم احتمالی اطراف نقطه ی بررسی نسبت به فاصله از نقطه می باشند. رگرسیون ساده ی خطی برای تخمین مقادیر تابع چگالی و مشتق دوم آن در یک نقطه مورد استفاده قرار گرفته است. بعد از تخمین مقادیر تابع چگالی احتمالی در هر یک از نقاط نمونه برداری ارائه شده، با گرفتن میانگین تجربی لگاریتم منفی تخمین های چگالی، دو برآورد کننده ی آنتروپی بدست می آیند. برآورد کننده های دیگر آنتروپی که آنتروپی را بوسیله ی رگرسیون خطی تخمین می زنند، نیز مطرح شده اند. از طریق آزمایش های عددی نشان داده شده است که چهار برآورد کننده ی پیشنهادی برای توزیع های مختلف احتمالی به خوبی عمل می کنند.
موضوعات مرتبط
مهندسی و علوم پایه مهندسی کامپیوتر نظریه محاسباتی و ریاضیات
چکیده انگلیسی
Estimators for differential entropy are proposed. The estimators are based on the second order expansion of the probability mass around the inspection point with respect to the distance from the point. Simple linear regression is utilized to estimate the values of density function and its second derivative at a point. After estimating the values of the probability density function at each of the given sample points, by taking the empirical average of the negative logarithm of the density estimates, two entropy estimators are derived. Other entropy estimators which directly estimate entropy by linear regression, are also proposed. The proposed four estimators are shown to perform well through numerical experiments for various probability distributions.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Computational Statistics & Data Analysis - Volume 89, September 2015, Pages 72–84
نویسندگان
, , ,