An audio-visual human attention analysis approach to abrupt change detection in videos

تغییرات ناگهانی در فیلم ها، مانند اجرای ناگهانی، معمولا رویدادهای غیر طبیعی را نشان می دهند و نقش مهمی در جذب توجه انسان ایفا می کنند. ما یک رویکرد برای شناسایی تغییرات ناگهانی در فیلم ها بر اساس نظریه تعجب بیسین ارائه می دهیم که هر دو روش بصری و صوتی را در نظر می گیرد. به طور خاص، پس از ایجاد منحنی های شگفت انگیز از روش های صوتی و تصویری، یک دنباله هماهنگ شده بر اساس زمان همگام سازی بین سری های صوتی و تصویری در فیلم ها به دست می آوریم. این رویکرد به طور کامل خودکار شده و هیچ اطلاعات پیشین نیازی ندارد. نتایج تجربی از آزمایشات بر رفتار انسان و مجموعه داده های ویدیویی طبیعی صحنه نشان می دهد که روش پیشنهادی قادر به تشخیص تغییرات ناگهانی مانند درگیری ناگهانی یا فروپاشی یک شی است. رویکرد پیشنهادی بیشتر بر روی تمام داده های جمع آوری شده ما ارزیابی می شود.