Back to Search
Start Over
Modèles de saillance visuelle par fusion d'informations sur la luminance, le mouvement et les visages pour la prédiction de mouvements oculaires lors de l'exploration de vidéos
- Source :
- Traitement du signal et de l'image [eess.SP]. Université Joseph-Fourier-Grenoble I, 2010. Français
- Publication Year :
- 2010
- Publisher :
- HAL CCSD, 2010.
-
Abstract
- When looking at a visual scene, we focalize our attention and our gaze on particular regions of this scene, called salient regions, in order to analyze these regions more precisely. The purpose of this thesis was to better understand the attentional processes that guide our gaze when viewing a video and to model these processes. Two complementary approaches have been used: a behavioral one, using eyetracking experiments, which aims at analysing how subjects gazed at a video and a modelling approach leading to a model, biologically inspired, highlighting the salient regions in videos. Two models have been proposed. The rst saliency model, with two pathways, that extracts the static and the dynamic features from luminance and motion information. The two pathways, although relatively independant, are processed using common steps ("retinal" filter and "cortical" filters) and inspired by what is done in the human visual system. The second saliency model, with three pathways, integrates to the previous one a pathway dedicated to face detection, faces being known to attract subjects' gaze. Eyetracking experiments enables us to study and evaluate these saliency models deeply.; Lorsque nous explorons une scène visuelle nous focalisons notre attention et notre regard sur certaines régions de la scène dites saillantes an d'étudier ces régions plus en détail. L'objectif de cette thèse était de mieux comprendre les processus attentionnels qui guident le regard lorsque nous regardons une vidéo et de modéliser ces processus. Deux approches complémentaires ont été adoptées : une approche comportementale, à l'aide d'expériences d'oculométrie, pour mieux comprendre comment les personnes regardent une vidéo et une approche de modélisation afin de proposer un modèle, inspiré du système visuel humain, permettant de mettre en évidence les régions saillantes dans des vidéos. Deux modèles ont été proposés. Le premier modèle de saillance à deux voies, extrait des cartes statiques et dynamiques à partir des informations sur la luminance et le mouvement. Les traitements de ces deux voies, bien que relativement indépendants, sont réalisés par des modules communs (filtre "rétinien" et filtres "corticaux") à l'instar de ce qui est fait dans le système visuel. Un deuxième modèle de saillance, à trois voies, intègre au modèle précédent une voie dédiée à la détection des visages, les visages étant connus pour attirer les regards. Des expériences d'oculométrie ont permis d'étudier et d'évaluer ces modèles de saillance en détail.
- Subjects :
- voie visage
modèle de saillance
eye movement prediction
eyetracking experiments
spatio-temporal
experience d'oculométrie
Attention visuelle
computer vision
vidéos
face pathway
prédiction de mouvements oculaires
vision par ordinateur
saliency models
spatio-temporel
[SPI.SIGNAL]Engineering Sciences [physics]/Signal and Image processing
Visual attention
Subjects
Details
- Language :
- French
- Database :
- OpenAIRE
- Journal :
- Traitement du signal et de l'image [eess.SP]. Université Joseph-Fourier-Grenoble I, 2010. Français
- Accession number :
- edsair.od......2592..e5d3e101863bb5f31beb7681f95595dc