Toward an audiovisual attention model for multimodal video content

مدل سازی چشم انداز یک زمینه تحقیق بسیار فعال است و چندین مدل توجه و توجه تصویری در دهه گذشته ارائه شده است. با این حال، به رغم نتایجی که از مطالعات مختلف در مورد تأثیر دیدگاه های انسانی توسط حضور صدای گرفته شده است، بیشتر مدل های توجه کلاسیک ویدیو توجه چند ماهه ویدئویی (نشانه های بصری و شنوایی) را نمی پذیرند. در این مقاله، ما یک مدل معرفتی سمعی و بصری با هدف پیش بینی نقشه های دیدگاه انسانی در هنگام جستجوی محتوای ویدئویی پیشنهاد می کنیم. این مدل که برای ویدئو کنفرانس طراحی شده است، براساس تلفیق نقشه های فضایی، زمانی و شنوایی است. براساس رویکرد محلی سازی بلندگوهای سمعی و بصری، نقشه شنیداری پیشنهاد شده بسته به ماهیت چهره های ویدئویی، یعنی سخنران یا حسابرس، مدوله می شود. برای مقایسه مقادیر پیش بینی شده با حقیقت زمین ردیابی چشم انداز، از معیارهای عملکرد پیشرفته ای استفاده شده است. نتایج به دست آمده نشان می دهد عملکرد بسیار خوبی از مدل پیشنهادی و بهبود قابل توجهی نسبت به مدل های غیر صوتی.