Leveraging multi-modal fusion for graph-based image annotation

با توجه به هر یک از ویژگی های بصری به عنوان یک روش در کارهای حاشیه نویسی تصویر، هماهنگی کارآمد از روش های مختلف در یادگیری مبتنی بر گرافیک ضروری است. روشهای متداول مبتنی بر گراف، یک گره را برای هر تصویر در نظر می گیرند و قبل از ساخت گراف، ویژگی های بصری آن را به یک توصیفگر متصل می کنند. در این مقاله، یک رویکرد ارائه می کنیم که یک زیرگراف برای هر نوع مدولا ایجاد می کند به طوری که لبه های زیرگراف با استفاده از یک رویکرد مبتنی بر جستجو که حل چالش عدم تعادل کلاس در مجموعه داده های حاشیه نویسی را تعیین می کند، تعیین می شود. سپس زیرگراف های چندگانه به یکدیگر متصل می شوند تا یک ابرگراف را داشته باشند. این به وسیله معرفی یک چارچوب یادگیری برای برداشتن تگ های تصاویر غیر مجاز بر روی سوپراگراف انجام می شود. رویکرد پیشنهادی به طور همزمان از مزایای یادگیری نیمه نظارت مبتنی بر گراف و نمایندگی چند مدال برخوردار است. ما عملکرد روش پیشنهادی را در مجموعه داده های مختلف ارزیابی می کنیم. نتایج نشان می دهد که رویکرد پیشنهادی دقت سیستم های حاشیه نویسی را بهبود می بخشد.