کد مقاله | کد نشریه | سال انتشار | مقاله انگلیسی | نسخه تمام متن |
---|---|---|---|---|
7320110 | 1475578 | 2015 | 9 صفحه PDF | دانلود رایگان |
عنوان انگلیسی مقاله ISI
The contribution of dynamic visual cues to audiovisual speech perception
ترجمه فارسی عنوان
مشارکت نشانه های بصری پویا در ادراک گفتار سمعی و بصری
دانلود مقاله + سفارش ترجمه
دانلود مقاله ISI انگلیسی
رایگان برای ایرانیان
کلمات کلیدی
ترجمه چکیده
مشاهده حرکات صورت سخنرانانه می تواند به طور قابل توجهی درک گفتار، به ویژه در محیط های پر سر و صدا. با این حال، ماهیت اطلاعات بصری از حرکات صورت سخنران که مربوط به این افزایش است، هنوز نامشخص است. سیگنال های گفتاری گفتاری مانند سیگنال های گفتاری شنوایی، در طول زمان پخش می شوند و حاوی اطلاعات پویای پویا و نشانه های حرکت محلی محلی هستند. دو منبع اطلاعاتی هستند که تصور می شود سیستم های بصری آناتومیک و عملکرد مجزا را جذب می کنند. در حالی که برخی از مطالعات قبلی اهمیت نشانه های حرکت محلی مشخص شده درخشندگی را در ادراک گفتار سمعی و بصری برجسته کرده است، نقش تغییرات سیگنالینگ پویا اطلاعات در شکل در طول زمان هنوز ارزیابی نشده است. بنابراین، ما تلاش کردیم تا اطلاعات مربوط به اطلاعات پویای پویا را به پردازش گفتار سمعی و بصری اختصاص دهیم. برای این منظور، عملکرد شناسایی کلمه در نویز با استفاده از محرک های شنیداری یکمودال و با محرک های صوتی و تصویری اندازه گیری شد. در شرایط سمعی و بصری، چهره های گفتاری به عنوان نمایشگرهای نقطه ای به دست آمده از طریق ضبط حرکت اصلی گفتار ارائه شده است. صفحه نمایش نور نقطه ای می تواند جداسازی باشد، برای کم کردن میزان اطلاعات حرکت محلی تعریف شده براساس نوردهی، یا با کنتراست روشنایی اضافه شده، اجازه می دهد که اثر ترکیبی نشانه های پویای پویا و نشانه های حرکت محلی باشد. تقویت صوتی و تصویری در هر دو شرایط نوردهی مبتنی بر ایزولاسیون و کنتراست در مقایسه با یک وضعیت شنوایی تنها نشان داد که برای اولین بار نقش خاصی از نشانه های پویای پویا برای بهبود گفتار سمعی و بصری را نشان می دهد. این یافته ها به این معنی است که تغییرات پردازش شده در سطح جهانی در شکل چهره سخنران، به طور قابل ملاحظه ای نسبت به درک حرکات مفصلی و تجزیه و تحلیل بیان صوتی و تصویری به طور قابل توجهی کمک می کند.
موضوعات مرتبط
علوم زیستی و بیوفناوری
علم عصب شناسی
علوم اعصاب رفتاری
چکیده انگلیسی
Seeing a speaker's facial gestures can significantly improve speech comprehension, especially in noisy environments. However, the nature of the visual information from the speaker's facial movements that is relevant for this enhancement is still unclear. Like auditory speech signals, visual speech signals unfold over time and contain both dynamic configural information and luminance-defined local motion cues; two information sources that are thought to engage anatomically and functionally separate visual systems. Whereas, some past studies have highlighted the importance of local, luminance-defined motion cues in audiovisual speech perception, the contribution of dynamic configural information signalling changes in form over time has not yet been assessed. We therefore attempted to single out the contribution of dynamic configural information to audiovisual speech processing. To this aim, we measured word identification performance in noise using unimodal auditory stimuli, and with audiovisual stimuli. In the audiovisual condition, speaking faces were presented as point light displays achieved via motion capture of the original talker. Point light displays could be isoluminant, to minimise the contribution of effective luminance-defined local motion information, or with added luminance contrast, allowing the combined effect of dynamic configural cues and local motion cues. Audiovisual enhancement was found in both the isoluminant and contrast-based luminance conditions compared to an auditory-only condition, demonstrating, for the first time the specific contribution of dynamic configural cues to audiovisual speech improvement. These findings imply that globally processed changes in a speaker's facial shape contribute significantly towards the perception of articulatory gestures and the analysis of audiovisual speech.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Neuropsychologia - Volume 75, August 2015, Pages 402-410
Journal: Neuropsychologia - Volume 75, August 2015, Pages 402-410
نویسندگان
Philip Jaekl, Ana Pesquita, Agnes Alsius, Kevin Munhall, Salvador Soto-Faraco,