Featured correspondence topic model for semantic search on social image collections

امروزه با توجه به رشد سریع فن آوری های دیجیتال، حجم زیادی از داده های تصویر ایجاد شده و در سایت های رسانه های اجتماعی به اشتراک گذاشته می شود. تگ های ارائه شده توسط کاربر برای هر تصویر اجتماعی به طور گسترده به عنوان یک پل شناخته می شود تا شکاف معنایی بین ویژگی های تصویر پایین و مفاهیم سطح بالا را پر کند. از این رو، ترکیبی از تصاویر همراه با برچسب های مربوطه برای سیستم های بازیابی هوشمند مفید است، که برای به دست آوردن درک سطح بالا از تصاویر طراحی شده و جستجوی جستجوی معنایی را طراحی می کنند. با این حال، برچسب های ارائه شده توسط کاربر در عمل معمولا ناقص و پر سر و صدا هستند، که ممکن است عملکرد بازیابی را کاهش دهد. برای مقابله با این مشکل، یک چارچوب بازیابی جدید ارائه می کنیم که به طور خودکار محتوای بصری را با تگ های متنی مرتبط می کند و امکان جستجوی تصویری موثر را فراهم می کند. برای این منظور، ما ابتدا یک مدل موضوع احتمالی را که در تصاویر اجتماعی آموخته شده است، برای کشف موضوعات پنهان از همپوشی تگ ها و ویژگی های تصویری پیشنهاد می کنیم. علاوه بر این، مدل موضوع ما با بهره گیری از دانش کارشناس در مورد ارتباط بین برچسب ها با محتوای بصری و ارتباط بین ویژگی های تصویری است که از نظر مکان و توزیع رنگی فرموله شده است. موضوعات کشف شده سپس به پیش بینی برچسب های از دست رفته یک تصویر غیرمستقیم و همچنین مواردی که در پایگاه داده به طور جزئی برچسب گذاری شده اند کمک می کند. این تگ های پیش بینی شده می توانند تا حد زیادی تسهیل اندازه گیری قابل اعتماد از شباهت معنایی بین تصاویر پرس و جو و پایگاه داده. بنابراین، ما علاوه بر ارائه یک طرح نمره دهی به منظور تخمین شباهت با ترکیب برچسب های متنی و نمایش بصری. آزمایش های گسترده ای در سه مجموعه داده های معیار انجام شده نشان می دهد که مدل موضوع ما علامت دقیق در برابر نویز و ناقص تگ ها را فراهم می کند. با استفاده از روش نمره دهی تعمیم یافته ما، که به ویژه برای بسیاری از انواع پرس و جو ها سودمند است، رویکرد پیشنهادی همچنین از رویکردهای پیشرفته تر از نظر دقت بازیابی بهتر است.