Non-parametric entropy estimators based on simple linear regression

چکیدهکلمات کلیدی1. مقدمه2. موارد مقدماتی و علامت گذاری 3. برآورد کننده آنتروپی پیشنهادی 3.1. یک برآورد کننده با حداقل مربعات را حذف کنید 3.2. برآورد کننده حذف یک به یک با حداقل مربعات وزنی شکل 1. (a) و (c): چگالی های احتمالی توزیع های نرمال و دوحالته. منحنی های پر و منحنی های خط چین به ترتیب چگالی تخمین زده شده و چگالی های اطلاعات شهودی با 300 نمونه می باشند. (b) و (d): برای تخمین f(z) در   نقاط   با o نشان داده شده اند، خطوط رگرسیون تطبیقی با خطوط پر نشان داده شده اند، و مقادیر چگالی اطلاعات شهودی با خط چین های افقی نشان داده شده اند.3.3. تخمین مستقیم آنتروپی 3.4. تخمین آنتروپی مستقیم وزنی 4. آزمایش های عددی 4.1. مورد تک متغیره شکل 2. طرح های 15 تابع چگالی احتمالی برای تولید نمونه هاشکل 3. طرح های جعبه ای خطاهای مطلق بدست آمده بوسیله ی شش برآورد کننده مختلف آنتروپی. توزیع های احتمالی اطلاعات شهودی عبارتند از (1) نرمال، (2) چوله، (3) شدیدا چوله، (4) کورتوتیک، (5) دو حالتی، (6) دو حالتی چوله، (7) سه حالتی، (8) پنجه ای. اندازه ی نمونه n برابر با 300 می باشد. شکل 4. طرح های جعبه ای خطاهای مطلق بدست آمده توسط شش آنتروپی مختلف. توزیع های احتمالی اطلاعات شهودی عبارتند از (9) نمایی توان (10) لجستیک (11) لاپلاس، (12) t با df = 5، (13) t ترکیبی (14) نمایی، و (15) کوشی. اندازه ی نمونه n برابر با 300 قرار داده شده است. پنل پایینی سمت راست بهبود دقت های تخمین بدست آمده توسط SRE نسبت به آن هایی که توسط روش k-NN بدست آمده اند، هنگامی که حداکثر منحنی توزیع کوشی افزایش می یابد، را نشان می دهد.جدول 1. میانگین های خطاهای مطلق تخمین های آنتروپی برای هفت روش مختلف. اندازه ی نمونه n برابر با 300 قرار داده شده است. بهترین نتایج بصورت برجسته نشان داده شده اند. (نوعtype = ) شکل 5. میانگین های خطاهای مطلق تخمین آنتروپی هنگامی که اندازه های نمونه از 100 تا 700 متغیر می باشند. توزیع های احتمالی اطلاعات شهودی عبارتند از (1) نرمال، (2) چوله، (3) شدیدا چوله، (4) کورتوتیک، (5) دو حالتی، (6) دو حالتی چوله، (7) سه حالتی، (8) پنجه ای. شکل 6. میانگین های خطاهای مطلق تخمین آنتروپی زمانی که اندازه های نمونه از 100 تا 700 تغییر یافته اند. توزیع های احتمالی اطلاعات شهودی عبارتند از (9) نمایی توان (10) لجستیک (11) لاپلاس، (12) t با df = 5، (13) t ترکیبی (14) نمایی، و (15) کوشی. پنل پایینی سمت راست هزینه های محاسباتی مربوط به برآورد کننده های مختلف را نشان می دهد. 4.2. حالت چند متغیره شکل 7 (a)-(c). میانگین های خطاهای مطلق تخمین آنتروپی زمانی که p بین 2 و 5 متغیر بوده است. تعداد نمونه ها در n = 300 ثابت است، و توزیع های گاوسی با سه ماتریس مختلف کواریانسی بررسی شده است. (d): ضرایب همبستگی و میانگین خطاهای مطلق برای داده های همبستگی کامل.5. سخن آخر ضمیمه A. محاسبه ی دقیق بسط مرتبه دوم جرم احتمالی ضمیمه ی B. صحت بسط تیلور برای DRE