Embedding semantic information from pictures into cognitive modeling of web-navigation

Several attempts at cognitive modeling of web-navigation behaviour (SNIF-ACT, MESA, CoLiDeS, CoLiDeS+) have focused entirely on the semantic information derived from textual elements and repeatedly ignored the role played by graphical and visual information. While research on visual search has emphasized the efficiency of our visual system at perceiving salient objects, there have been no attempts at including information from the visual modality into cognitive models of web-navigation. This paper discusses a new approach to include semantic information from pictures into cognitive models of web-navigation and verifies its accuracy with a simulation done on a mock-up website. Results show that the optimal links that should be chosen to find the requested information are predicted more often and with greater information scent by this extended model than by the CoLiDeS model.

RésuméLa plupart des tentatives de modélisation cognitives de l’activité de navigation sur le Web (SNIF-ACT, MESA, CoLiDeS, CoLiDeS+) se sont focalisées sur les informations sémantiques issues d’éléments textuels, en ignorant le rôle joué par les informations visuelles et graphiques. Bien que des travaux sur la recherche visuelle montrent l’efficience du système visuel pour percevoir les items saillants, aucune modélisation cognitive des stratégies de navigation sur le Web n’a encore pris en compte ces informations visuelles. L’objectif de cet article est de présenter une nouvelle approche qui inclut les informations sémantiques extraites d’images dans les modèles cognitifs de la navigation sur le Web. Une expérimentation conduite à l’aide d’un site Web spécifiquement élaboré pour l’expérience a permis de vérifier la précision de notre nouvelle modélisation. Les principaux résultats montrent que les liens optimaux, qui devraient être choisis pour trouver l’information recherchée, sont mieux prédits par cette nouvelle modélisation et de façon plus pertinente qu’avec des modèles existants comme CoLiDeS.