Back to Search Start Over

Modèles de saillance visuelle par fusion d'informations sur la luminance, le mouvement et les visages pour la prédiction de mouvements oculaires lors de l'exploration de vidéos

Authors :
Marat, Sophie
Grenoble Images Parole Signal Automatique (GIPSA-lab)
Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Stendhal - Grenoble 3-Université Joseph Fourier - Grenoble 1 (UJF)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Centre National de la Recherche Scientifique (CNRS)
Université Joseph-Fourier - Grenoble I
Denis PELLERIN
Source :
Traitement du signal et de l'image [eess.SP]. Université Joseph-Fourier-Grenoble I, 2010. Français
Publication Year :
2010
Publisher :
HAL CCSD, 2010.

Abstract

When looking at a visual scene, we focalize our attention and our gaze on particular regions of this scene, called salient regions, in order to analyze these regions more precisely. The purpose of this thesis was to better understand the attentional processes that guide our gaze when viewing a video and to model these processes. Two complementary approaches have been used: a behavioral one, using eyetracking experiments, which aims at analysing how subjects gazed at a video and a modelling approach leading to a model, biologically inspired, highlighting the salient regions in videos. Two models have been proposed. The rst saliency model, with two pathways, that extracts the static and the dynamic features from luminance and motion information. The two pathways, although relatively independant, are processed using common steps ("retinal" filter and "cortical" filters) and inspired by what is done in the human visual system. The second saliency model, with three pathways, integrates to the previous one a pathway dedicated to face detection, faces being known to attract subjects' gaze. Eyetracking experiments enables us to study and evaluate these saliency models deeply.; Lorsque nous explorons une scène visuelle nous focalisons notre attention et notre regard sur certaines régions de la scène dites saillantes an d'étudier ces régions plus en détail. L'objectif de cette thèse était de mieux comprendre les processus attentionnels qui guident le regard lorsque nous regardons une vidéo et de modéliser ces processus. Deux approches complémentaires ont été adoptées : une approche comportementale, à l'aide d'expériences d'oculométrie, pour mieux comprendre comment les personnes regardent une vidéo et une approche de modélisation afin de proposer un modèle, inspiré du système visuel humain, permettant de mettre en évidence les régions saillantes dans des vidéos. Deux modèles ont été proposés. Le premier modèle de saillance à deux voies, extrait des cartes statiques et dynamiques à partir des informations sur la luminance et le mouvement. Les traitements de ces deux voies, bien que relativement indépendants, sont réalisés par des modules communs (filtre "rétinien" et filtres "corticaux") à l'instar de ce qui est fait dans le système visuel. Un deuxième modèle de saillance, à trois voies, intègre au modèle précédent une voie dédiée à la détection des visages, les visages étant connus pour attirer les regards. Des expériences d'oculométrie ont permis d'étudier et d'évaluer ces modèles de saillance en détail.

Details

Language :
French
Database :
OpenAIRE
Journal :
Traitement du signal et de l'image [eess.SP]. Université Joseph-Fourier-Grenoble I, 2010. Français
Accession number :
edsair.od......2592..e5d3e101863bb5f31beb7681f95595dc