Attention driven multi-modal similarity learning

برای یادگیری یک تابع برای اندازه گیری شباهت یا ارتباط بین اشیاء یک کار مهم یادگیری ماشین است که به عنوان یادگیری شباهت یاد می شود. روش های متعارف معمولا برای پردازش الگوهای پیچیده ای کافی نیستند، در حالی که روش های پیچیده تر نتایج حاصل از پارامترها و عملیات ریاضی را که برای تفسیر سخت است، تولید می کنند. برای بهبود هر دو مدل ثبات و تفسیرپذیری، ما یک الگوریتم چندبعدی با توجه به توجه جدید ارائه می دهیم که یک نمونۀ تقریبی توزیع را براساس روش های مختلف ارتباطی می آموزد و یک مکانیزم توجه توجه متقابل را ایجاد می کند تا به صورت انتخابی بر تکه های برجسته ای از اشیاء مورد علاقه تمرکز کند. شبکه های عصبی برای تولید مجموعه ای از بردارهای بازنویسی سطح بالا برای هر دو شیء و بخش های جداگانه آن استفاده می شود. ساختار همسایگی محلی چندین دیدگاه بین اشیاء در نمایندگی شیء سطح بالا توسط یک روش پیش آموزش بدون نظارت کد گذاری می شود. با راه اندازی مقادیر رابطه با مراکز خوشه شی، هر یک از روش های ارتباط می تواند منطقی به عنوان یک موضوع معنایی تفسیر شود. یک برنامه آموزش منطقی مبتنی بر مخلوطی از آموزش بدون نظارت و تحت نظارت برای بهبود تعمیم ارائه شده است. اثربخشی روش پیشنهادی و عملکرد برتر آن در مقایسه با الگوریتم های پیشرفته تر از طریق ارزیابی ها بر اساس وظایف بازیابی تصویر نمایش داده می شود.