A deep-learning based feature hybrid framework for spatiotemporal saliency detection inside videos

اگر چه تحقیقات در زمینه تشخیص حساسیت و توجه بصری در طول سالهای اخیر فعال بوده است، بیشتر کارهای موجود بر روی تصویر ثابت به جای تصویربرداری مبتنی بر ویدیو متمرکز شده است. در این مقاله، یک چارچوب استخراج چارچوب استخراج از لحاظ آماری مبتنی بر یادگیری عمیق مبتنی بر کشف ویژگی برای فیلم های ویدئویی پیشنهاد شده است. مدل یادگیری عمیق برای استخراج ویژگی های سطح بالا از داده های ویدئوی خام استفاده می شود و سپس با دیگر ویژگی های سطح بالا ادغام می شوند. شبکه یادگیری عمیق برای استخراج ویژگی های پنهان از روش متداول دستی استفاده شده است. اثربخشی استفاده از ویژگی های سطح بالا ترکیبی برای تشخیص حساسیت در ویدیو در این کار نشان داده شده است. به جای استفاده از یک تصویر استاتیک، مدل یادگیری عمیق پیشنهاد شده، چندین فریم متوالی را به عنوان ورودی می گیرد و هر دو از ویژگی های فضایی و زمانی در هنگام محاسبه نقشه های ثروت در نظر گرفته می شوند. کارایی چارچوب ویژگی هیبرید پیشنهادی توسط پنج پایگاه داده با صحنه پیچیده انسانی بررسی شده است. نتایج تجربی نشان می دهد که مدل پیشنهادی در مقایسه با پنج حالت دیگر، پیشرفته ترین روش شناسایی قابلیت های ویدئویی است. علاوه بر این، چارچوب پیشنهادی برای سایر برنامه های مبتنی بر ویدئو مانند ویدیو های برجسته مفید است. در نتیجه، یک مجموعه داده های کلیدی فیلم کلی همراه با برجسته های ویدئویی برچسب تولید می شود.