کد مقاله | کد نشریه | سال انتشار | مقاله انگلیسی | نسخه تمام متن |
---|---|---|---|---|
6937494 | 1449739 | 2017 | 24 صفحه PDF | دانلود رایگان |
عنوان انگلیسی مقاله ISI
Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions?
ترجمه فارسی عنوان
توجه انسان در پاسخ دادن به پرسش های ویژوال: آیا انسان ها و شبکه های عمیق به مناطق مشابه نگاه می کنند؟
دانلود مقاله + سفارش ترجمه
دانلود مقاله ISI انگلیسی
رایگان برای ایرانیان
کلمات کلیدی
پاسخ سوال ویژوال، توجه
موضوعات مرتبط
مهندسی و علوم پایه
مهندسی کامپیوتر
چشم انداز کامپیوتر و تشخیص الگو
چکیده انگلیسی
We conduct large-scale studies on 'human attention' in Visual Question Answering (VQA) to understand where humans choose to look to answer questions about images. We design and test multiple game-inspired novel attention-annotation interfaces that require the subject to sharpen regions of a blurred image to answer a question. Thus, we introduce the VQA-HAT (Human ATtention) dataset. We evaluate attention maps generated by state-of-the-art VQA models against human attention both qualitatively (via visualizations) and quantitatively (via rank-order correlation). Our experiments show that current attention models in VQA do not seem to be looking at the same regions as humans. Finally, we train VQA models with explicit attention supervision, and find that it improves VQA performance.
ناشر
Database: Elsevier - ScienceDirect (ساینس دایرکت)
Journal: Computer Vision and Image Understanding - Volume 163, October 2017, Pages 90-100
Journal: Computer Vision and Image Understanding - Volume 163, October 2017, Pages 90-100
نویسندگان
Abhishek Das, Harsh Agrawal, Larry Zitnick, Devi Parikh, Dhruv Batra,