Multi-armed bandits for adjudicating documents in pooling-based evaluation of information retrieval systems

ارزیابی سیستم های بازیابی اطلاعات برای پیشرفت در فن آوری های جستجو بسیار مهم است. ارزیابی اغلب بر مبنای جمع آوری مجموعه مرجع متشکل از اسناد، پرسش ها و قضاوت های مرتبط با انسان انجام می شود. در محیط های وسیع، بررسی دقیق قضاوت غیر قابل قبول می شود. در عوض، تنها یک مجموعه از اسناد مربوط به ارتباط است. با انتخاب انتخاب اسناد از استخر، می توانیم تعداد قضاوت هایی را که نیاز به شناسایی تعدادی از مدارک مربوطه را بهینه سازی می کنیم. ما استدلال می کنیم که این فرآیند انتخاب تکراری می تواند به طور طبیعی به عنوان یک مشکل یادگیری تقویت شود و روش های نوین و رسمی محکومیت را بر اساس راهزنان مسلح چند گانه ارائه دهد. سند ریخته گری به عنوان یک مشکل دونده مسلحانه، نه تنها از لحاظ نظری جذاب است، بلکه منجر به روش های بسیار موثر تصدیق می شود. در زیر این چارچوب تخصیص تیراندازی، ما مدل های ثابت و غیر ثابت و پیشنهاد هفت روش جدید تصمیم گیری سند (پنج روش ثابت و دو نوع غیر ثابت) پیشنهاد می کنیم. مقاله ما همچنین گزارش های متعددی از آزمایشات انجام شده را به طور کامل مقایسه روش های جدید ما در برابر روش های تصمیم گیری در حال حاضر. این مطالعه مقایسه ای شامل روش های موجود برای ارزیابی تلفیقی و روش های موجود برای جستجوی متاثر است. آزمایش های ما نشان می دهد که روش های قضاوت مبتنی بر نظریه پردازی ما می تواند تلاش های ارزیابی را به حداقل برساند.