The contribution of dynamic visual cues to audiovisual speech perception

مشاهده حرکات صورت سخنرانانه می تواند به طور قابل توجهی درک گفتار، به ویژه در محیط های پر سر و صدا. با این حال، ماهیت اطلاعات بصری از حرکات صورت سخنران که مربوط به این افزایش است، هنوز نامشخص است. سیگنال های گفتاری گفتاری مانند سیگنال های گفتاری شنوایی، در طول زمان پخش می شوند و حاوی اطلاعات پویای پویا و نشانه های حرکت محلی محلی هستند. دو منبع اطلاعاتی هستند که تصور می شود سیستم های بصری آناتومیک و عملکرد مجزا را جذب می کنند. در حالی که برخی از مطالعات قبلی اهمیت نشانه های حرکت محلی مشخص شده درخشندگی را در ادراک گفتار سمعی و بصری برجسته کرده است، نقش تغییرات سیگنالینگ پویا اطلاعات در شکل در طول زمان هنوز ارزیابی نشده است. بنابراین، ما تلاش کردیم تا اطلاعات مربوط به اطلاعات پویای پویا را به پردازش گفتار سمعی و بصری اختصاص دهیم. برای این منظور، عملکرد شناسایی کلمه در نویز با استفاده از محرک های شنیداری یکمودال و با محرک های صوتی و تصویری اندازه گیری شد. در شرایط سمعی و بصری، چهره های گفتاری به عنوان نمایشگرهای نقطه ای به دست آمده از طریق ضبط حرکت اصلی گفتار ارائه شده است. صفحه نمایش نور نقطه ای می تواند جداسازی باشد، برای کم کردن میزان اطلاعات حرکت محلی تعریف شده براساس نوردهی، یا با کنتراست روشنایی اضافه شده، اجازه می دهد که اثر ترکیبی نشانه های پویای پویا و نشانه های حرکت محلی باشد. تقویت صوتی و تصویری در هر دو شرایط نوردهی مبتنی بر ایزولاسیون و کنتراست در مقایسه با یک وضعیت شنوایی تنها نشان داد که برای اولین بار نقش خاصی از نشانه های پویای پویا برای بهبود گفتار سمعی و بصری را نشان می دهد. این یافته ها به این معنی است که تغییرات پردازش شده در سطح جهانی در شکل چهره سخنران، به طور قابل ملاحظه ای نسبت به درک حرکات مفصلی و تجزیه و تحلیل بیان صوتی و تصویری به طور قابل توجهی کمک می کند.