Simple to complex cross-modal learning to rank

شکاف ناهمگنی میان روشهای مختلف، چالش مهمی در بازیابی اطلاعات چندرسانه ای است. در برخی از مطالعات، وظایف بازیابی متقابل مضر به عنوان یک مشکل رتبه بندی، رسم شده و فضای تعبیه چندجمله ای مشترک را برای اندازه گیری شباهت متقابل مورادی آموزش می دهد. با این حال، روش های قبلی اغلب فضای تعبیه مشترک را بر اساس توابع نقشه برداری خطی ایجاد می کنند که ممکن است به اندازه کافی پیچیده نباشند تا پیچیدگی های متقابل بین مودال را نشان دهند. علاوه بر این، مطالعات فعلی فرض می کنند که رتبه بندی از اهمیت یکسانی برخوردار است و بنابراین همه رتبه بندی ها به طور همزمان استفاده می شوند یا تعداد کمی از رتبه بندی ها به صورت تصادفی برای آموزش فضای تعبیه در هر تکرار انتخاب می شوند. با این حال، چنین استراتژی ها همیشه از ناهنجاری ها رنج می برند و همچنین توانایی تعمیم پذیری را کاهش می دهند به دلیل عدم درک روشنی از روش شناخت انسان. در این مقاله، ما تئوری یادگیری خود به خود را با در نظر گرفتن تنوع در یادگیری متقابل ملاحظه میکنیم تا بتوانیم فضای تعبیه چندبعدی بهینه را براساس توابع نقشه برداری غیر خطی معرفی کنیم. این استراتژی سبب تقویت استحکام مدل به ناپایداری ها و به دست آوردن تعمیم بهتر از طریق آموزش مدل به تدریج از رتبه بندی آسان توسط پرس و جو های متنوع به پیچیده تر می شود. یک الگوریتم جایگزین کارآمد برای حل مشکل پیشنهادی چالش برانگیز با همگرایی سریع در عمل استثنایی می شود. نتایج تجربی گسترده در چندین مجموعه داده های معیار نشان می دهد که روش پیشنهادی در این ادبیات پیشرفت قابل ملاحظه ای نسبت به حالت های پیشرفت دارد.