Search

This paper presents a CNN-based fully unsupervised method for motion segmentation from optical flow. We assume that the input optical flow can be represented as a piecewise set of parametric motion models, typically, affine or quadratic motion models. The core idea of this work is to leverage the Expectation-Maximization (EM) framework. It enables us to design in a well-founded manner the loss function and the training procedure of our motion segmentation neural network. However, in contrast to the classical iterative EM, once the network is trained, we can provide a segmentation for any unseen optical flow field in a single inference step, with no dependence on the initialization of the motion model parameters since they are not estimated in the inference stage. Our method outperforms comparable unsupervised methods and is very efficient., Cet article présente une méthode entièrement non supervisée basée sur un réseau neuronal convolutionnel pour la segmentation du mouvement à partir du flot optique. Nous supposons que le flot optique d'entrée peut être représenté par un ensemble de modèles de mouvement paramétriques, typiquement des modèles de mouvement affines ou quadratiques. L'idée centrale de ce travail est d'exploiter le cadre de l'Espérance-Maximisation (EM). Il nous permet de concevoir d'une manière bien fondée la fonction de perte et la procédure d'apprentissage de notre réseau de neurones de segmentation du mouvement. Contrairement à la méthode EM itérative classique, une fois le réseau entraîné, nous pouvons fournir une segmentation pour tout nouveau champ de flot optique en une seule étape d'inférence et sans avoir avoir à estimer de modèles de mouvement. Notre méthode surpasse les méthodes non supervisées comparables et est très efficace en temps de calcul. Mots Clés Segmentation du mouvement, flot optique, réseau de neurones, algorithme EM.

En capturant de manière asynchrone les changements de luminosité dans la scène, les caméras à évènements apportent un changement de paradigme important dans le monde de la vision. De par leurs propriétés, elles ouvrent la porte vers de nouvelles applications à très faible latence. Dans cet article, nous nous intéressons au problème du flot optique basé évènements. Nous proposons une nouvelle méthode pour le résoudre en temps réel, aussi bien avec des caméras à évènements de basse que de haute définition. À travers son évaluation, nous montrons qu'elle produit régulièrement de meilleurs résultats que l'état de l'art actuel, tout en atteignant de plus hautes fréquences de fonctionnement : 250Hz pour une résolution de 346×260 pixels, et 77Hz en 1280×720 pixels.

This work concerns the use of temporal information on a sequence of more than two images for optical flow estimation. Optical flow is defined as the dense field (in any pixel) of the apparent movements in the image plane. We study on the one hand the use of a basis of temporal models, learned by principal component analysis from the studied data, to model the temporal dependence of the movement. This first study focuses on the context of particle image velocimetry in fluid mechanics. On the other hand, the new state of the art of optical flow estimation having recently been established by methods based on deep learning, we train convolutional neural networks to estimate optical flow by taking advantage of temporal continuity, in the case of natural image sequences. We then propose STaRFlow, a convolutional neural network exploiting a memory of information from the past by using a temporal recurrence. By repeated application of the same recurrent cell, the same learned parameters are used for the different time steps and for the different levels of a multiscale process. This architecture is lighter than competing networks while giving STaRFlow state-of-the-art performance. In the course of our work, we highlight several cases where the use of temporal information improves the quality of the estimation, in particular in the presence of occlusions, when the image quality is degraded (blur, noise), or in the case of thin objects.; Ce travail porte sur l'exploitation de l'information temporelle sur une séquence de plus de deux images pour l'estimation du flot optique, défini comme le champ dense (en tout pixel) des mouvements apparents dans le repère image. Nous étudions d'une part l'utilisation d'une base de modèles temporels, appris par analyse en composantes principales à partir des données étudiées, pour modéliser la dépendance temporelle du mouvement. Cette première étude se focalise sur le contexte de la vélocimétrie par images de particules en mécanique des fluides. D'autre part, le nouvel état de l'art de l'estimation de flot optique ayant récemment été établi par des méthodes basées sur l'apprentissage profond, nous entraînons des réseaux de neurones convolutifs à estimer le flot optique en profitant de la continuité temporelle, dans le cas de séquences d'images naturelles. Nous proposons ensuite STaRFlow, un réseau de neurones convolutif exploitant une mémoire de l'information du passé au moyen d'une récurrence temporelle. Par application répétée d'une même cellule récurrente, les mêmes paramètres appris sont utilisés pour les différents instants considérés et pour les différents niveaux d'un processus multi-échelle. Cette architecture est plus légère que les réseaux concurrents tout en conférant à STaRFlow des performances à l'état de l'art. Au fil de nos travaux, nous mettons en évidence plusieurs cas où l'utilisation de l'information temporelle permet d'améliorer la qualité de l'estimation, en particulier en présence d'occultations, lorsque la qualité image est dégradée (flou, bruit), ou encore dans le cas d'objets fins.

This work concerns the use of temporal information on a sequence of more than two images for optical flow estimation. Optical flow is defined as the dense field (in any pixel) of the apparent movements in the image plane. We study on the one hand the use of a basis of temporal models, learned by principal component analysis from the studied data, to model the temporal dependence of the movement. This first study focuses on the context of particle image velocimetry in fluid mechanics. On the other hand, the new state of the art of optical flow estimation having recently been established by methods based on deep learning, we train convolutional neural networks to estimate optical flow by taking advantage of temporal continuity, in the case of natural image sequences. We then propose STaRFlow, a convolutional neural network exploiting a memory of information from the past by using a temporal recurrence. By repeated application of the same recurrent cell, the same learned parameters are used for the different time steps and for the different levels of a multiscale process. This architecture is lighter than competing networks while giving STaRFlow state-of-the-art performance. In the course of our work, we highlight several cases where the use of temporal information improves the quality of the estimation, in particular in the presence of occlusions, when the image quality is degraded (blur, noise), or in the case of thin objects.; Ce travail porte sur l'exploitation de l'information temporelle sur une séquence de plus de deux images pour l'estimation du flot optique, défini comme le champ dense (en tout pixel) des mouvements apparents dans le repère image. Nous étudions d'une part l'utilisation d'une base de modèles temporels, appris par analyse en composantes principales à partir des données étudiées, pour modéliser la dépendance temporelle du mouvement. Cette première étude se focalise sur le contexte de la vélocimétrie par images de particules en mécanique des fluides. D'autre part, le nouvel état de l'art de l'estimation de flot optique ayant récemment été établi par des méthodes basées sur l'apprentissage profond, nous entraînons des réseaux de neurones convolutifs à estimer le flot optique en profitant de la continuité temporelle, dans le cas de séquences d'images naturelles. Nous proposons ensuite STaRFlow, un réseau de neurones convolutif exploitant une mémoire de l'information du passé au moyen d'une récurrence temporelle. Par application répétée d'une même cellule récurrente, les mêmes paramètres appris sont utilisés pour les différents instants considérés et pour les différents niveaux d'un processus multi-échelle. Cette architecture est plus légère que les réseaux concurrents tout en conférant à STaRFlow des performances à l'état de l'art. Au fil de nos travaux, nous mettons en évidence plusieurs cas où l'utilisation de l'information temporelle permet d'améliorer la qualité de l'estimation, en particulier en présence d'occultations, lorsque la qualité image est dégradée (flou, bruit), ou encore dans le cas d'objets fins.

In many applications, noisy video can be a major problem. There are denoising methods with highly effective denoising capabilities but at the cost of a very high computational complexity. Other faster methods are limited in their applications since they does not handle high levels of noise correctly. For many applications, it is however very important to preserve a good image quality in every situation with sometimes strong embedding constraints. In this work, the goal is to propose an embedded solution for live video denoising. The method needs to remain efficient with even under high level of noise. We limit our work to embedded CPU under 30W of power consumption. This work led to a new video denoising algorithm called RTE-VD: Real-Time Embedded Video Denoising. RTE-VD is composed of 3 steps: stabilization, movement compensation by dense optical flow estimation and spatio-temporal filtering. On an embedded CPU (Jetson AGX), RTE-VD runs at 30 frame per seconds on qHD videos (960x580 pixels). In order to achieve such performance, many compromises and optimizations had to be done. We compare RTE-VD to other state-of-the-art methods in both terms of denoising capabilities and processing time. We show that RTE-VD brings a new relevant tradeoff between quality and speed., Pour beaucoup d'applications, la présence de bruit dans les vidéos peut être un problème majeur. Des algorithmes de débruitage existent, la plupart sont qualitativement très efficaces mais au prix d'un temps de traitement trop important pour pouvoir envisager une implémentation temps réel embarquée. D'autres méthodes, plus rares, peuvent être exécutées en temps réel mais gèrent mal les forts niveaux de bruit. Pour bon nombre d'applications, il est cependant important de conserver une bonne qualité d'images en toutes conditions avec parfois d'importantes contraintes d'embarquabilité. Dans ces travaux, nous cherchons à proposer une solution de débruitage vidéo qui permet un traitement en direct sur des systèmes embarqués. La solution proposée doit rester efficace même pour de forts niveaux de bruit. Ici, nous nous limitons à l'utilisation de CPU embarqués d'une consommation inférieure à 30W. Les travaux menés dans le cadre de cette thèse ont permis la mise en place d'une chaîne de débruitage nommée RTE-VD (Real-Time Embedded Video Denoising). RTE-VD se décompose en trois étapes : stabilisation, recalage temporel par flot optique et filtrage spatio-temporel. Sur un CPU embarqué (Jetson AGX), RTE-VD permet de traiter à une cadence de 30 images par seconde, des vidéos au format qHD (960x540 pixels). Afin de pouvoir atteindre ces performances, de nombreux compromis et optimisations ont dû être faits. Nous comparons RTE-VD à d'autres méthodes de référence de la littérature à la fois en termes de qualité du débruitage et de vitesse d'exécution. Nous montrons que RTE-VD apporte un nouveau positionnement pertinent au niveau du rapport qualité/vitesse.

Le but principal de ce projet est de préparer l’implantation clinique du système Clarity qui utilise une sonde ultrasonore pour visualiser l’anatomie interne du patient. Ce système est utilisé pour les cas de prostate et nécessite d’être adapté pour les cas de poumon. L’utilité de ce système est de suivre un substitut afin d’inférer la position d’une tumeur pulmonaire. L’hypothèse de cette étude est qu’un substitut interne serait mieux corrélé avec une tumeur pulmonaire que le seraient des marqueurs externes. Les sous-objectifs sont : 1) aborder l’adaptation du montage pour faire des acquisitions sur des patients ; 2) explorer la performance des algorithmes de détection de mouvements ainsi que des métriques de qualité d’image sur des images US et ciné IRM; 3) démontrer que la corrélation entre un substitut interne et une structure pulmonaire est plus grande que celle avec un substitut externe. Pour les acquisitions d’images US, la sonde est placée sur les volontaires et fixée à la table de traitement à l’aide d’un bras mécanique. Il a été démontré qu’une pression insuffisante peut causer une perte de signal dû à la forme curviligne de la sonde. La diminution de la moyenne des intensités de l’image et de l’écart-type confirme une perte de signal lors d’amplitudes respiratoires élevées justifiée par une perte de contact entre la sonde et la peau malgré la fixation de la sonde. Entre les algorithmes de corrélation croisée normalisée (NCC), d’erreur moyenne quadratique (RMS) et de flux optique, la méthode NCC semble la plus robuste pour suivre le substitut interne (structure dans le foie) dans les images IRM pour 5/9 volontaires sains ( = 0, 050). Cette méthode est utilisé présentement pour les cas de prostate. Le flux optique s’est montré plus efficace pour des cas spécifiques ce qui démontre l’intérêt d’adapter l’algorithme pour les cas de poumons. Enfin, il a été démontré sur les images IRM qu’un substitut interne au niveau du foie est plus efficace pour la majorité des volontaires (8/9) en comparaison avec un marqueur sur la peau placé dans la région abdominale. Le marqueur abdominal possède une meilleure corrélation qu’un marqueur thoracique (9/9) illustrant l’importance du positionnement d’un marqueur externe pour le suivi d’une tumeur pulmonaire., The main objective of this thesis is to prepare the clinical implementation of the Clarity ultrasound system for indirect lung tumours tracking using a surrogate. It is currently used for motion management during prostate treatments and requires adaptation. Our hypothesis is that an internal marker would have a better correlation with the tumour’s position than an external surrogate. The sub-objectives are : 1) test different setups for the image acquisition on patients ; 2) explore the algorithms’ performance for motion detection as well as the image quality metrics on US and dynamic MRI images ; 3) evaluate the correlation between surrogates and a lung structure to determine which performs best. The ultrasound probe is fixed on the treatment couch for the acquisition on healthy volunteers using a mechanical arm. Low pressure on the patient’s skin results in a loss of signal due to the curvilinear shape of the probe. We observed a loss of contact between the probe and the volunteers’ skin due to ample movements causing a deterioration of the image quality. We tested three different motion detection algorithms on dynamic MRI images : normalized cross-correlation (NCC), root mean square error (RMS) and optical flow. The NCC algorithm is the most robust out of the three for 5/9 volunteers for the internal surrogate tracking ( < 0.050). In specific cases, the optical flow method performed better indicating an interest in developping a new algorithm for indirect lung tracking. Finally, the correlation between the surrogates and a lung structure were calculated using the MRI images. The internal surrogate inside the liver was proven more efficient for indirect lung tumour tracking for 8/9 volunteers. External markers give a greater prediction error. It has also been shown that the positioning of the external marker on the patient’s skin impacts the correlation. The abdominal marker is better than the thoracic one for all the volunteers.

The main objective of this thesis is toincrease the visual comfort of theophthalmologists during examinations orsurgeries. To do so, we decided toartificially increase in real time the field ofview in videos of retinal exploration. Thetools used for the acquisition of thesevideos are the slit lamp and theendoscope. The increase of the field ofview passes by the establishment ofdynamic 3D maps of the retina.To our knowledge, there is still no suchmethod in the state of the art.In order to implement our solution, westudied the different methods of motionestimations between two images. Wegrouped them into "classical" methods, onthe one hand, including methods based onSIFT or SURF algorithms. On the otherhand, we grouped deep learning methods(or "CNN" methods for ConvolutionalNeural Network).Some of these methods, such as thoseusing FlowNet networks, required groundtruth annotation of movement betweenimages.Since such bases are very difficult to set upin the medical field and do not exist inophthalmology, general databases havebeen used. In addition, we built twodatabases of artificial displacements whichbackgrounds are composed of images ofretinas. Finally, to get around this problemof annotations, a self-supervised deeplearning approach was studied.After comparing the results, it appears thatmethods using convolutional neuralnetworks outperform conventional methodsfor estimating movements in retinal videos.Moreover, only a strong supervision allowsacceptable results. In the future, we hopethat this work will enable surgeons to bemore confident and effective inenvironments where it is sometimesdifficult to find their bearings.; L’objectif de cette thèse est d’augmenter le confort visuel de l’ophtalmologue au cours d’examens ou de chirurgies de la rétine. Pour ce faire, nous décidons d’augmenter artificiellement et en temps réel le champ visuel dans le cas de vidéos d’exploration acquises à la lampe à fente et à l’endoscope oculaire. L’augmentation passe par la mise en place de cartes dynamiques en 3D de la rétine. A notre connaissance, il n’existe pas de telle méthode dans la littérature. Notre solution passe par l’étude de différentes méthodes d’estimation de déplacements entre deux images. Nous les regroupons en méthodes « classiques » d’une part, comptant notamment des méthodes basées sur les algorithmes SIFT ou SURF. D’autre part, nous rassemblons des méthodes utilisant l’apprentissage profond (ou méthodes « CNN » pour Convolutional Neural Network). Certaines de ces méthodes, comme celles utilisant les réseaux FlowNet, nécessitent une annotation vérité terrain des déplacements entre images. Comme de telles bases de données n’existent pas en ophtalmologie, des bases généralistes ont été utilisées. De plus, nous avons construit deux bases de données de déplacements artificiels ayant pour fond des images de rétines. Enfin, pour contourner le problème d’annotation, une approche utilisant l’apprentissage auto-supervisé a été étudiée. Après comparaisons des résultats, il apparaît que les méthodes « CNN » surpassent les méthodes classiques. De plus, seule une supervision forte de l’apprentissage permet des résultats satisfaisants. A l’avenir, nous espérons que ces travaux pourront permettre aux chirurgiens d’être plus confiants et efficaces dans des environnements où il peut être compliqué de se repérer.

The main objective of this thesis is toincrease the visual comfort of theophthalmologists during examinations orsurgeries. To do so, we decided toartificially increase in real time the field ofview in videos of retinal exploration. Thetools used for the acquisition of thesevideos are the slit lamp and theendoscope. The increase of the field ofview passes by the establishment ofdynamic 3D maps of the retina.To our knowledge, there is still no suchmethod in the state of the art.In order to implement our solution, westudied the different methods of motionestimations between two images. Wegrouped them into "classical" methods, onthe one hand, including methods based onSIFT or SURF algorithms. On the otherhand, we grouped deep learning methods(or "CNN" methods for ConvolutionalNeural Network).Some of these methods, such as thoseusing FlowNet networks, required groundtruth annotation of movement betweenimages.Since such bases are very difficult to set upin the medical field and do not exist inophthalmology, general databases havebeen used. In addition, we built twodatabases of artificial displacements whichbackgrounds are composed of images ofretinas. Finally, to get around this problemof annotations, a self-supervised deeplearning approach was studied.After comparing the results, it appears thatmethods using convolutional neuralnetworks outperform conventional methodsfor estimating movements in retinal videos.Moreover, only a strong supervision allowsacceptable results. In the future, we hopethat this work will enable surgeons to bemore confident and effective inenvironments where it is sometimesdifficult to find their bearings., L’objectif de cette thèse est d’augmenter le confort visuel de l’ophtalmologue au cours d’examens ou de chirurgies de la rétine. Pour ce faire, nous décidons d’augmenter artificiellement et en temps réel le champ visuel dans le cas de vidéos d’exploration acquises à la lampe à fente et à l’endoscope oculaire. L’augmentation passe par la mise en place de cartes dynamiques en 3D de la rétine. A notre connaissance, il n’existe pas de telle méthode dans la littérature. Notre solution passe par l’étude de différentes méthodes d’estimation de déplacements entre deux images. Nous les regroupons en méthodes « classiques » d’une part, comptant notamment des méthodes basées sur les algorithmes SIFT ou SURF. D’autre part, nous rassemblons des méthodes utilisant l’apprentissage profond (ou méthodes « CNN » pour Convolutional Neural Network). Certaines de ces méthodes, comme celles utilisant les réseaux FlowNet, nécessitent une annotation vérité terrain des déplacements entre images. Comme de telles bases de données n’existent pas en ophtalmologie, des bases généralistes ont été utilisées. De plus, nous avons construit deux bases de données de déplacements artificiels ayant pour fond des images de rétines. Enfin, pour contourner le problème d’annotation, une approche utilisant l’apprentissage auto-supervisé a été étudiée. Après comparaisons des résultats, il apparaît que les méthodes « CNN » surpassent les méthodes classiques. De plus, seule une supervision forte de l’apprentissage permet des résultats satisfaisants. A l’avenir, nous espérons que ces travaux pourront permettre aux chirurgiens d’être plus confiants et efficaces dans des environnements où il peut être compliqué de se repérer.

National audience; Nous proposons un nouveau modèle d'inpainting vidéo pour la restauration de films, qui combine la reconstruction de la structure par une méthode de diffusion et la reconstruction de la texture par une méthode de recopie de patchs. Les énergies proposées pour chacune de ces deux méthodes sont minimisées alternativement, afin de préser-ver la structure globale de l'image tout en affinant sa texture. Alors que la reconstruction de la structure est effec-tuée conjointement à l'estimation du mouvement par flux optique via plusieurs approches proximales, la reconstruction de la texture est traitée par une approche variation-nelle non locale (NL-means). Les résultats sur différentes séquences d'images de la base de données Middlebury et de la Cinémathèque de Toulouse montrent une améliora-tion dans la qualité des reconstructions. Mots Clef Inpainting vidéo, flux optique, méthodes variationnelles. Abstract We propose a new video inpainting model for movies restoration application. This model combines structural reconstruction with a diffusion-based method and textural reconstruction with a patch-based method. Both proposed energies (one for each method) are alternatively minimized in order to preserve the overall structure adding textu-ral refinement. While the structural reconstruction is obtained jointly with optical flow computation thanks to several proximal approaches, the textural reconstruction is processed by a variational non-local approach (NL-means). Results on different frames from the Middlebury database and from the Cinémathèque de Toulouse show quality improvement in the reconstructions.

The thesis intends to develop thebricks of an opportunistic vision system fordynamic scene analysis, an opportunistic systemthat would be guided by the applicative task, thatwould benefit from any knowledge and priorismade available by the application, and takeprofit of all available cues (color, texture,geometry) depending on their quality andrelevance. The context of color monocularvision is considered, with a camera embeddedon a mobile platform. A dense optical flowtechnique is first proposed. After a roughestimation, a reliability map is computed and isused for refining the motion map, through aniterative propagation process constrained bylocal information, starting by the color cues.This motion map is then analyzed for rough andfast plane segmentation. A cumulative approachcalled uv-velocity has been developed. It allowsthe fast exhibition of prominent planar surfacesunder certain assumption related the egomotion.Contrary to its predecessor, the socalledc-velocity, it allows a more progressivevoting strategy, it avoids using sampling, it isnot limited to translations of the camera and candetect a wider range of surfaces..The motion models related to each surface canthen be re-injected as a constraint in theestimation of the next optical flow. The raw andfast planar segmentation produced by uvvelocitycan be used to fasten the estimationvisual odometry.The results of optical flow estimation remainacceptable in terms of precision and executiontime (tested on Middleburry dataset) which canbe the input for creating the voting space todetect the planes on image. After the simulationsand real experiments on KITTI dataset, uvvelocityshows its potential to be the polyvalentimage registration on plane detection andopportunistic alert for the system., L'objectif de ces travaux de thèseconsiste à proposer un système de vision pourl’analyse de scènes dynamiques dit «opportuniste » En ce sens, il est orienté vers unetâche applicative précise et profite desconnaissances à priori fournies par l’applicationainsi que des indices disponibles provenant de lascène perçue (couleur, texture, géométrie) selonleur pertinence.Cette thèse propose de pousser jusqu’au bout lavision monoculaire basée sur l’analyse d’imagesissues d’une caméra embarquée sur un véhiculemobile. Dans un premier temps est proposée unenouvelle méthode d’estimation du flot optique,information directement estimable à partir d’uneséquence d’images. L’approche se base sur lagénération d’une carte de fiabilité pour raffinerle flot optique à travers un processus itératifprofitant d’informations disponibles telles que lacouleur. La carte de mouvement ainsi obtenue estensuite exploitée pour une détection rapide desplans 3D principaux. Pour cela, une approchecumulative, appelée uv-velocité, exploitant lespropriétés géométriques du champ des vecteursde mouvement, est développée. Elle permet dedétecter les surfaces planaires en partantd’hypothèses concernant la nature de l’egomouvement.Contrairement à l’approche déjàexistante c-velocité, la méthode proposée permetune stratégie de vote plus progressive qui prenden compte plus de modèles d‘ego-mouvement etplus de modèles de surfaces planairesLe modèle de mouvement de chaque surfacedétectée est réintégré à la méthode d’estimationdu flot optique qui devient une méthoded’optimisation sous contrainte de validité dumodèle planaire afin d’améliorer la précision del’estimation du flot optique. Par ailleurs, nousmontrons dans cette thèse comment un processusd’odométrie visuelle peut tirer profit de laméthode de détection de surfaces planaires.L’approche d’estimation du flot optique estévaluée en termes de précision et de tempsd’exécution sur la base de données Middlebury.En ce qui concerne la uv-velocité, la validationest faite aussi bien sur des flots simulés que surdes images de la base de données de KITTI.

Cette thèse porte sur deux sujets de vision par ordinateur axés sur l’analyse de mouvement dans une scène dynamique vue par une ou plusieurs caméras. En premier lieu, nous avons travaillé sur le problème de la capture de mouvement avec des caméras non synchronisées. Ceci entraı̂ne généralement des erreurs de mise en correspondance 2D et par la suite des erreurs de reconstruction 3D. En contraste avec les solutions matérielles déjà existantes qui essaient de minimiser voire annuler le délai temporel entre les caméras, nous avons proposé une solution qui assure une invariance aux délais. En d’autres termes, nous avons développé une méthode qui permet de trouver la bonne mise en correspondance entre les points à reconstruire indépendamment du délai temporel. En second lieu, nous nous sommes intéressés au problème du flux optique avec une approche différente des méthodes proposées dans l’état de l’art. Le flux optique est utilisé pour l’analyse de mouvement en temps réel. Il est donc important qu’il soit calculé rapidement. Généralement, les méthodes existantes de flux optique sont classées en deux principales catégories: ou bien à la fois denses et précises mais très exigeantes en calcul, ou bien rapides mais moins denses et moins précises. Nous avons proposé une alternative qui tient compte à la fois du temps de calcul et de la précision du résultat. Nous avons proposé d’utiliser les isocontours d’intensité et de les mettre en correspondance afin de retrouver le flux optique en question. Ces travaux ont amené à deux principales contributions intégrées dans les chapitres de la thèse., In this thesis we focused on two computer vision subjects. Both of them concern motion analysis in a dynamic scene seen by one or more cameras. The first subject concerns motion capture using unsynchronised cameras. This causes many correspondence errors and 3D reconstruction errors. In contrast with existing material solutions trying to minimize the temporal delay between the cameras, we propose a software solution ensuring an invariance to the existing temporal delay. We developed a method that finds the good correspondence between points regardless of the temporal delay. It solves the resulting spatial shift and finds the correct position of the shifted points. In the second subject, we focused on the optical flow problem using a different approach than the ones in the state of the art. In most applications, optical flow is used for real-time motion analysis. It is then important to be performed in a reduced time. In general, existing optical flow methods are classified into two main categories: either precise and dense but computationally intensive, or fast but less precise and less dense. In this work, we propose an alternative solution being at the same time, fast and precise. To do this, we propose extracting intensity isocontours to find corresponding points representing the related optical flow. By addressing these problems we made two major contributions.

This thesis aims at designing an embedded stereoscopic perception system that enables autonomous robot navigation in dynamic environments (i.e. including mobile objects). To do so, we need to satisfy several constraints: 1) We want to be able to navigate in unknown environment and with any type of mobile objects, thus we adopt a geometric approach. 2) We want to ensure the best possible coverage of the field of view, so we employ dense methods that process every pixel in the image. 3) The algorithms must be compliant with an embedded platform, therefore we must carefully design the algorithms so they are fast enough to keep a certain level of reactivity. The approach presented in this thesis manuscript and the contributions are summarized below. First, we study several stereo matching algorithms that estimate a disparity map from which we can deduce a depth map, by triangulation. This comparative study highlights one algorithm that is not in the KITTI benchmarks, but that gives a great accuracy/processing time tradeoff. We also propose a filtering method to post-process the disparity maps. By coding these algorithm in CUDA to benefit from hardware acceleration on Graphics Processing Unit, we show that they can perform very fast (19ms on KITTI images, with a GPU GeForce GTX Titan).Second, we want to detect mobile objects and estimate their motion. To do so we compute the stereo rig motion using visual odometry, in order to isolate the part induced by moving objects in the 2D or 3D apparent motion (estimated by optical flow or scene flow algorithms). Considering that the only optical flow algorithm able to perform in real-time is FOLKI, we propose several modifications of it to slightly improve its performances at the cost of a slower processing time. Regarding the scene flow estimation, existing algorithms cannot reach the desired computation speed, so we propose a new approach by decoupling structure and motion for a fast scene flow estimation. Three algorithms are proposed to use this structure-motion decomposition, and one of them, particularly efficient, enables very fast scene flow computing with a relatively good accuracy. To our knowledge it is the only published scene flow algorithm able to perform at framerate on KITTI dataset (10 Hz).Third, to detect moving objects and segment them in the image, we show several statistical models and residual quantities on which we can base the detection by thresholding a chi2 criterion. We propose a rigorous statistical modeling that takes into account all the uncertainties occurring during the estimation, in particular during the visual odometry, which had not been done to our knowledge, in the context of moving object detection. We also propose a new residual quantity for the detection, using an image prediction approach to facilitate uncertainty propagation and the chi2 criterion modeling. The benefit brought by the proposed residual quantity and error model is demonstrated by evaluating detection algorithms on a samples of annotated KITTI data. Finally, we implement our algorithms on ROS to run the perception system on en embedded platform, and we code some algorithms in CUDA to accelerate the computing using GPU. We describe the perception and the navigation system that we use for the experimental validation. We show in our experiments that the proposed stereovision perception system is suitable for embedded robotic applications., L'objectif de cette thèse est de concevoir un système de perception stéréoscopique embarqué, permettant une navigation robotique autonome en environnement dynamique (i.e. comportant des objets mobiles). Pour cela, nous nous sommes imposé plusieurs contraintes : 1) Puisque l'on souhaite pouvoir naviguer en terrain inconnu et en présence de tout type d'objets mobiles, nous avons adopté une approche purement géométrique. 2) Pour assurer une couverture maximale du champ visuel nous avons choisi d'employer des méthodes d'estimation denses qui traitent chaque pixel de l'image. 3) Puisque les algorithmes utilisés doivent pouvoir s'exécuter en embarqué sur un robot, nous avons attaché le plus grand soin à sélectionner ou concevoir des algorithmes particulièrement rapides, pour nuire au minimum à la réactivité du système. La démarche présentée dans ce manuscrit et les contributions qui sont faites sont les suivantes. Dans un premier temps, nous étudions plusieurs algorithmes d’appariement stéréo qui permettent d'estimer une carte de disparité dont on peut déduire, par triangulation, une carte de profondeur. Grâce à cette évaluation nous mettons en évidence un algorithme qui ne figure pas sur les benchmarks KITTI, mais qui offre un excellent compromis précision/temps de calcul. Nous proposons également une méthode pour filtrer les cartes de disparité. En codant ces algorithmes en CUDA pour profiter de l’accélération des calculs sur cartes graphiques (GPU), nous montrons qu’ils s’exécutent très rapidement (19ms sur les images KITTI, sur GPU GeForce GTX Titan).Dans un deuxième temps, nous souhaitons percevoir les objets mobiles et estimer leur mouvement. Pour cela nous calculons le déplacement du banc stéréo par odométrie visuelle pour pouvoir isoler dans le mouvement apparent 2D ou 3D (estimé par des algorithmes de flot optique ou de flot de scène) la part induite par le mouvement propre à chaque objet. Partant du constat que seul l'algorithme d'estimation du flot optique FOLKI permet un calcul en temps-réel, nous proposons plusieurs modifications de celui-ci qui améliorent légèrement ses performances au prix d'une augmentation de son temps de calcul. Concernant le flot de scène, aucun algorithme existant ne permet d'atteindre la vitesse d'exécution souhaitée, nous proposons donc une nouvelle approche découplant structure et mouvement pour estimer rapidement le flot de scène. Trois algorithmes sont proposés pour exploiter cette décomposition structure-mouvement et l’un d’eux, particulièrement efficace, permet d'estimer très rapidement le flot de scène avec une précision relativement bonne. A notre connaissance, il s'agit du seul algorithme publié de calcul du flot de scène capable de s'exécuter à cadence vidéo sur les données KITTI (10Hz).Dans un troisième temps, pour détecter les objets en mouvement et les segmenter dans l'image, nous présentons différents modèles statistiques et différents résidus sur lesquels fonder une détection par seuillage d'un critère chi2. Nous proposons une modélisation statistique rigoureuse qui tient compte de toutes les incertitudes d'estimation, notamment celles de l'odométrie visuelle, ce qui n'avait pas été fait à notre connaissance dans le contexte de la détection d'objets mobiles. Nous proposons aussi un nouveau résidu pour la détection, en utilisant la méthode par prédiction d’image qui permet de faciliter la propagation des incertitudes et l'obtention du critère chi2. Le gain apporté par le résidu et le modèle d'erreur proposés est démontré par une évaluation des algorithmes de détection sur des exemples tirés de la base KITTI. Enfin, pour valider expérimentalement notre système de perception en embarqué sur une plateforme robotique, nous implémentons nos codes sous ROS et certains codes en CUDA pour une accélération sur GPU. Nous décrivons le système de perception et de navigation utilisé pour la preuve de concept qui montre que notre système de perception, convient à une application embarquée.

International audience; La mesure des débits de fuite de gaz est un enjeu important notamment sur le plan écologique. Ces fuites de gaz peuvent être observées à partir d’une caméra infrarouge. L’objectif de cette étude est la validation d’une méthode d’estimation du champ de vitesse du gaz à partir de séquences d’images infrarouges. Pour le cas d’un jet de méthane dans un flux d’air en soufflerie nous montrons qu’un estimateur de flot optique tenant compte des incertitudes d’observations images permet de remonter à la vitesse du gaz. Ces résultats sont comparés à une mesure PIV dans le jet de gaz.

In this thesis we are interested in designing a mobile robot able to analyze the behavior and movement of a a person in indoor and cluttered environment. Our goal is to equip the robot by visual perception capabilities of the human posture to better analyze situations that require understanding of person with which the robot interacts, or detect risk situations such as falls or analyze motor skills of the person. Motion capture in a dynamic and crowded environment raises multiple challenges such as learning the background of the environment and extracting the silhouette that can be partially observable when the person is in hidden places. These difficulties make motion capture difficult. Most of existing methods assume that the scene is static and the person is always fully visible by the camera. These approaches are not able to work in such realitsit conditions. In this thesis, We propose a new motion capture system capable of tracking a person in realistic world conditions. Our approach uses a 3D occupancy grid with a hidden Markov model to continuously learn the changing background of the scene and to extract silhouette of the person, then a hierarchical particle filtering algorithm is used to reconstruct the posture. We propose a novel occlusion management algorithm able to identify and discards hidden body parts of the person from process of the pose estimation. We also proposed a new database containing RGBD images with ground truth data in order to establish a new benchmark for the assessment of motion capture systems in a real environment with occlusions. The ground truth is obtained from a motion capture system based on high-precision marker with eight infrared cameras. All data is available online. The second contribution of this thesis is the development of a new visual odometry method to localize an RGB-D camera mounted on a robot moving in a dynamic environment. The major difficulty of the localization in a dynamic environment, is that mobile objects in the scene induce additional movement that generates outliers pixels. These pixels should be excluded from the camera motion estimation process in order to produce accurate and precise localization. We thus propose an extension of the dense localization method based on the optical flow method to remove outliers pixels using the RANSAC algorithm.; Dans cette thèse nous intéressons à la conception d'un robot mobile capable d’analyser le comportement et le mouvement d’une personne en environnement intérieur et encombré, par exemple le domicile d’une personne âgée. Plus précisément, notre objectif est de doter le robot des capacités de perception visuelle de la posture humaine de façon à mieux maîtriser certaines situations qui nécessitent de comprendre l’intention des personnes avec lesquelles le robot interagit, ou encore de détecter des situations à risques comme les chutes ou encore d’analyser les capacités motrices des personnes dont il a la garde. Le suivi de la posture dans un environnement dynamique et encombré relève plusieurs défis notamment l'apprentissage en continue du fond de la scène et l'extraction la silhouette qui peut être partiellement observable lorsque la personne est dans des endroits occultés. Ces difficultés rendent le suivi de la posture une tâche difficile. La majorité des méthodes existantes, supposent que la scène est statique et la personne est toujours visible en entier. Ces approches ne sont pas adaptées pour fonctionner dans des conditions réelles.Nous proposons, dans cette thèse, un nouveau système de suivi capable de suivre la posture de la personne dans ces conditions réelles. Notre approche utilise une grille d'occupation avec un modèle de Markov caché pour apprendre en continu l'évolution de la scène et d'extraire la silhouette, ensuite un algorithme de filtrage particulaire hiérarchique est utilisé pour reconstruire la posture. Nous proposons aussi un nouvel algorithme de gestion d'occlusion capable d'identifier et d'exclure les parties du corps cachées du processus de l'estimation de la pose. Finalement, nous avons proposé une base de données contenant des images RGB-D avec la vérité-terrain dans le but d'établir une nouvelle référence pour l'évaluation des systèmes de capture de mouvement dans un environnement réel avec occlusions. La vérité-terrain est obtenue à partir d'un système de capture de mouvement à base de marqueur de haute précision avec huit caméras infrarouges. L'ensemble des données est disponible en ligne. La deuxième contribution de cette thèse, est le développement d'une méthode de localisation visuelle à partir d'une caméra du type RGB-D montée sur un robot qui se déplace dans un environnement dynamique. En effet, le système de capture de mouvement que nous avons développé doit équiper un robot se déplaçant dans une scène. Ainsi, l'estimation de mouvement du robot est importante pour garantir une extraction de silhouette correcte pour le suivi. La difficulté majeure de la localisation d'une caméra dans un environnement dynamique, est que les objets mobiles de la scène induisent un mouvement supplémentaire qui génère des pixels aberrants. Ces pixels doivent être exclus du processus de l'estimation du mouvement de la caméra. Nous proposons ainsi une extension de la méthode de localisation dense basée sur le flux optique pour isoler les pixels aberrants en utilisant l'algorithme de RANSAC.

This manuscript presents a synthesis of my research activities since I have been recruited at Irstea. It outlines fifteen years of work to catch the dynamics of turbulent flows by combining metrology, simu- lations and advanced signal processing methodologies. The first chapter presents, the research and the methodological developments to dis- criminate the most energetic structures from PIV and DNS fields into non-canonical turbulent flows that can be found in air conditioning. In a second chapter a hot-wire anemometry technique giving simultaneous velocity and temperature measurements is presented. The third chapter details how the optical flow paradigm can be exploited to fluid flow measurements instead of correlation techniques classically used in PIV. To estimate the motion vector fields from image sequences, the different classes of problems to be solved are explained. The last chapter exhibits the potentiel given by image data assimilation for the development of the future measurement and simulation techniques. To progressively reconstruct 3D realistic turbulent flows, two first applications are presented and perspectives are proposed.; Ce mémoire présente une synthèse de mes travaux de recherche effectués depuis mon recrutements à Irstea. Il retrace quinze années de travaux visant à saisir la dynamique turbulente dans les fluides en combinant métrologies, simulations et méthodes de traitement du signal avancées. Un premier chapitre présente les actions de recherche et les développements méthodologiques visant à discriminer à partir de champs PIV et DNS les structures énergétiquement dominantes dans une série d’écoulements turbulents non-canoniques que l’on trouve dans les applications aérauliques. Le second chapitre présente le développement d’une technique d’anémothermométrie permettant la mesure simultanée de la vitesse et de la température. Le troisième chapitre détaille l’exploitation du paradigme du flot optique pour la mesure du mouvement fluide en lieu et place des techniques de corrélation classiquement utilisées en PIV. Les différentes classes de problèmes à résoudre pour déterminer le champ vectoriel de la vitesse d’un écoulement turbulent à partir de l’analyse d’une séquence d’images d’un scalaire sont explicitées. Enfin le quatrième chapitre, ex- pose le potentiel offert par l’assimilation de données pour développer les futures techniques de mesures et de simulations. Deux premières applications sont présentées pour aller progressivement vers la reconstruction 3D réaliste des écoulements turbulents.

This manuscript presents a synthesis of my research activities since I have been recruited at Irstea. It outlines fifteen years of work to catch the dynamics of turbulent flows by combining metrology, simulations and advanced signal processing methodologies. The first chapter presents, the research and the methodological developments to discriminate the most energetic structures from PIV and DNS fields into non-canonical turbulent flows that can be found in air conditioning. In a second chapter a hot-wire anemometry technique giving simultaneous velocity and temperature measurements is presented. The third chapter details how the optical flow paradigm can be exploited to fluid flow measurements instead of correlation techniques classically used in PIV. To estimate the motion vector fields from image sequences, the different classes of problems to be solved are explained. The last chapter exhibits the potentiel given by image data assimilation for the development of the future measurement and simulation techniques. To progressively reconstruct 3D realistic turbulent flows, two first applications are presented and perspectives are proposed., Ce mémoire présente une synthèse de mes travaux de recherche effectués depuis mon recrutements à Irstea. Il retrace quinze années de travaux visant à saisir la dynamique turbulente dans les fluides en combinant métrologies, simulations et méthodes de traitement du signal avancées. Un premier chapitre présente les actions de recherche et les développements méthodologiques visant à discriminer à partir de champs PIV et DNS les structures énergétiquement dominantes dans une série d'écoulements turbulents non-canoniques que l'on trouve dans les applications aérauliques. Le second chapitre présente le développement d'une technique d'anémothermométrie permettant la mesure simultanée de la vitesse et de la température. Le troisième chapitre détaille l'exploitation du paradigme du flot optique pour la mesure du mouvement fluide en lieu et place des techniques de corrélation classiquement utilisées en PIV. Les différentes classes de problèmes à résoudre pour déterminer le champ vectoriel de la vitesse d'un écoulement turbulent à partir de l'analyse d'une séquence d'images d'un scalaire sont explicitées. Enfin le quatrième chapitre, expose le potentiel offert par l'assimilation de données pour développer les futures techniques de mesures et de simulations. Deux premières applications sont présentées pour aller progressivement vers la reconstruction 3D réaliste des écoulements turbulents.

This thesis is formed of four chapters. The first one presents the mathematical notions and tools used in this thesis and gives a description of the main results obtained within. The second chapter presents our generalization of a result obtained by Rousselet-Chenais in 1990 which describes the sensitivity of eigensubspaces for self-adjoint compact operators. Rousselet-Chenais were limited to sensitivity for specific subspaces of dimension 1, we have extended their result to higher dimensions. We applied our results to the Proper Orthogonal Decomposition (POD) in the case of parametric, temporal and spatial variations (Gappy- POD). The third chapter discusses the optical flow estimate with quadratic or linear energies at infinity. Mathematical results of convergence are shown for the method Progressive Generalized Decomposition (PGD) in the case of quadratic energies. Our proof is based on the decomposition of Brézis-lieb via the convergence almost everywhere of the PGD sequence gradients. A detailed numerical study is made on different types of images : on the passive scalar transport equations, whose displacement fields are solutions of the Navier-Stokes equations. These equations present a challenge for optical flow estimates because of the presence of low gradient regions in the image. We applied our method to the MRI image sequences to estimate the movement of the abdominal organs. PGD presented a superiority in both computing time level (even in 2D) and accuracy representation of the estimated motion. The local diffusion of standard methods (Horn Schunck, for example) limits the convergence rate, in contrast to the PGD which is a more global approach by construction. The last chapter deals with the application of PGD method in the case of variational elliptic equations whose energy present all challenges to classical variational methods : lack of convexity, lack of coercivity and lack of boundedness. We prove convergence results for the weak topology, the PGD sequences converge (when they are well defined) to two extremal solutions on the Nehari manifold. Several mathematical questions about PGD remain open in this chapter. These questions are part of our research perspectives.; Ce mémoire de thèse est formé de quatre chapitres. Un premier chapitre présente les différentes notions et outils mathématiques utilisés dans le corps de la thèse ainsi qu’une description des résultats principaux que nous avons obtenus. Le second chapitre présente une généralisation d’un résultat obtenu par Rousselet-Chénais en 1990 qui décrit la sensibilité des sous-espaces propres d’opérateurs compacts auto-adjoints. Rousselet-Chénais se sont limités aux sous-espaces propres de dimension 1 et nous avons étendu leur résultat aux dimensions supérieures. Nous avons appliqué nos résultats à la Décomposition par Projection Orthogonale (POD) dans le cas de variation paramétrique, temporelle ou spatiale (Gappy-POD). Le troisième chapitre traite de l’estimation du flot optique avec des énergies quadratiques ou linéaires à l’infini. On montre des résultats mathématiques de convergence de la méthode de Décomposition Progressive Généralisée (PGD) dans le cas des énergies quadratiques. Notre démonstration est basée sur la décomposition de Brézis-Lieb via la convergence presque-partout de la suite gradient PGD. Une étude numérique détaillée est faite sur différents type d’images : sur les équations de transport de scalaire passif, dont le champ de déplacement est solution des équations de Navier-Stokes. Ces équations présentent un défi pour l’estimation du flot optique à cause du faible gradient dans plusieurs régions de l’image. Nous avons appliqué notre méthode aux séquences d’images IRM pour l’estimation du mouvement des organes abdominaux. La PGD a présenté une supériorité à la fois au niveau du temps de calcul (même en 2D) et au niveau de la représentation correcte des mouvements estimés. La diffusion locale des méthodes classiques (Horn & Schunck, par exemple) ralentit leur convergence contrairement à la PGD qui est une méthode plus globale par nature. Le dernier chapitre traite de l’application de la méthode PGD dans le cas d’équations elliptiques variationnelles dont l’énergie présente tous les défis aux méthodes variationnelles classiques : manque de convexité, manque de coercivité et manque du caractère borné de l’énergie. Nous démontrons des résultats de convergence, pour la topologie faible, des suites PGD (lorsqu’elles sont bien définies) vers deux solutions extrémales sur la variété de Nehari. Plusieurs questions mathématiques concernant la PGD restent ouvertes dans ce chapitre. Ces questions font partie de nos perspectives de recherche.

This thesis is formed of four chapters. The first one presents the mathematical notions and tools used in this thesis and gives a description of the main results obtained within. The second chapter presents our generalization of a result obtained by Rousselet-Chenais in 1990 which describes the sensitivity of eigensubspaces for self-adjoint compact operators. Rousselet-Chenais were limited to sensitivity for specific subspaces of dimension 1, we have extended their result to higher dimensions. We applied our results to the Proper Orthogonal Decomposition (POD) in the case of parametric, temporal and spatial variations (Gappy- POD). The third chapter discusses the optical flow estimate with quadratic or linear energies at infinity. Mathematical results of convergence are shown for the method Progressive Generalized Decomposition (PGD) in the case of quadratic energies. Our proof is based on the decomposition of Brézis-lieb via the convergence almost everywhere of the PGD sequence gradients. A detailed numerical study is made on different types of images : on the passive scalar transport equations, whose displacement fields are solutions of the Navier-Stokes equations. These equations present a challenge for optical flow estimates because of the presence of low gradient regions in the image. We applied our method to the MRI image sequences to estimate the movement of the abdominal organs. PGD presented a superiority in both computing time level (even in 2D) and accuracy representation of the estimated motion. The local diffusion of standard methods (Horn Schunck, for example) limits the convergence rate, in contrast to the PGD which is a more global approach by construction. The last chapter deals with the application of PGD method in the case of variational elliptic equations whose energy present all challenges to classical variational methods : lack of convexity, lack of coercivity and lack of boundedness. We prove convergence results for the weak topology, the PGD sequences converge (when they are well defined) to two extremal solutions on the Nehari manifold. Several mathematical questions about PGD remain open in this chapter. These questions are part of our research perspectives.; Ce mémoire de thèse est formé de quatre chapitres. Un premier chapitre présente les différentes notions et outils mathématiques utilisés dans le corps de la thèse ainsi qu’une description des résultats principaux que nous avons obtenus. Le second chapitre présente une généralisation d’un résultat obtenu par Rousselet-Chénais en 1990 qui décrit la sensibilité des sous-espaces propres d’opérateurs compacts auto-adjoints. Rousselet-Chénais se sont limités aux sous-espaces propres de dimension 1 et nous avons étendu leur résultat aux dimensions supérieures. Nous avons appliqué nos résultats à la Décomposition par Projection Orthogonale (POD) dans le cas de variation paramétrique, temporelle ou spatiale (Gappy-POD). Le troisième chapitre traite de l’estimation du flot optique avec des énergies quadratiques ou linéaires à l’infini. On montre des résultats mathématiques de convergence de la méthode de Décomposition Progressive Généralisée (PGD) dans le cas des énergies quadratiques. Notre démonstration est basée sur la décomposition de Brézis-Lieb via la convergence presque-partout de la suite gradient PGD. Une étude numérique détaillée est faite sur différents type d’images : sur les équations de transport de scalaire passif, dont le champ de déplacement est solution des équations de Navier-Stokes. Ces équations présentent un défi pour l’estimation du flot optique à cause du faible gradient dans plusieurs régions de l’image. Nous avons appliqué notre méthode aux séquences d’images IRM pour l’estimation du mouvement des organes abdominaux. La PGD a présenté une supériorité à la fois au niveau du temps de calcul (même en 2D) et au niveau de la représentation correcte des mouvements estimés. La diffusion locale des méthodes classiques (Horn & Schunck, par exemple) ralentit leur convergence contrairement à la PGD qui est une méthode plus globale par nature. Le dernier chapitre traite de l’application de la méthode PGD dans le cas d’équations elliptiques variationnelles dont l’énergie présente tous les défis aux méthodes variationnelles classiques : manque de convexité, manque de coercivité et manque du caractère borné de l’énergie. Nous démontrons des résultats de convergence, pour la topologie faible, des suites PGD (lorsqu’elles sont bien définies) vers deux solutions extrémales sur la variété de Nehari. Plusieurs questions mathématiques concernant la PGD restent ouvertes dans ce chapitre. Ces questions font partie de nos perspectives de recherche.

Time to contact or time to collision (TTC) is of utmost importance information for animals as well as for mobile robots because it enables them to avoid obstacles; it is a convenient way to analyze the surrounding environment. The problem of TTC estimation is largely discussed in perspective images. Although a lot of works have shown the interest of omnidirectional camera for robotic applications such as localization, motion, monitoring, few works use omnidirectional images to compute the TTC. In this thesis, we show that TTC can be also estimated on catadioptric images. We present two approaches for TTC estimation using directly or indirectly the optical flow based on de-rotation strategy. The first, called ''gradient based TTC'', is simple, fast and it does not need an explicit estimation of the optical flow. Nevertheless, this method cannot provide a TTC on each pixel, valid only for para-catadioptric sensors and requires an initial segmentation of the obstacle.The second method, called ''TTC map estimation based on optical flow'', estimates TTC on each point on the image and provides the depth map of the environment for any obstacle in any direction and is valid for all central catadioptric sensors. Some results and comparisons in synthetic and real images will be given.; Cette thèse s'intéresse à l'estimation du temps à collision d'un robot mobile muni d'une caméra catadioptrique. Ce type de caméra est très utile en robotique car il permet d'obtenir un champ de vue panoramique à chaque instant. Le temps de collision a été largement étudié dans le cas des caméras perspectives. Cependant, ces méthodes ne sont pas directement applicables et nécessitent d'être adaptées, à cause des distorsions des images obtenues par les caméras omnidirectionnelles. Dans ce travail, nous proposons d'exploiter explicitement et implicitement le flot optique calculé sur les images omnidirectionnelles pour en déduire le temps à collision (TTC) entre le robot et l'obstacle. Nous verrons que la double projection d'un point 3D sur le miroir puis sur le plan caméra aboutit à des nouvelles formulations du TTC pour les caméras catadioptriques. La première formulation est appelée globale basée sur les gradients, elle estime le TTC en exprimant le mouvement apparent en fonction du TTC et l'équation de la surface plane en fonction des coordonnées images et à partir des paramètres de son vecteur normal. Ces deux outils sont intégrés dans l'équation du flot optique (ECMA) afin d'en déduire le TTC. Cette méthode a l'avantage d'être simple rapide et fournit une information supplémentaire sur l'inclinaison de la surface plane. Néanmoins, la méthode globale basée sur les gradients est valable seulement pour les capteurs para-catadioptriques et elle peut être appliquée seulement pour les surfaces planes. La seconde formulation, appelée locale basée sur le flot optique, estime le TTC en utilisant explicitement le mouvement apparent. Cette formulation nous permet de connaître à chaque instant et sur chaque pixel de l'image le TTC à partir du flot optique en ce point. Le calcul du TTC en chaque pixel permet d'obtenir une carte des temps de collision. C'est une méthode plus générale car elle est valable pour tous les capteurs à PVU et elle peut être utilisée pour n'importe quelle forme géométrique d'obstacle. Les deux approches sont validées sur des données de synthèse et des expérimentations réelles.

Time to contact or time to collision (TTC) is of utmost importance information for animals as well as for mobile robots because it enables them to avoid obstacles; it is a convenient way to analyze the surrounding environment. The problem of TTC estimation is largely discussed in perspective images. Although a lot of works have shown the interest of omnidirectional camera for robotic applications such as localization, motion, monitoring, few works use omnidirectional images to compute the TTC. In this thesis, we show that TTC can be also estimated on catadioptric images. We present two approaches for TTC estimation using directly or indirectly the optical flow based on de-rotation strategy. The first, called ''gradient based TTC'', is simple, fast and it does not need an explicit estimation of the optical flow. Nevertheless, this method cannot provide a TTC on each pixel, valid only for para-catadioptric sensors and requires an initial segmentation of the obstacle.The second method, called ''TTC map estimation based on optical flow'', estimates TTC on each point on the image and provides the depth map of the environment for any obstacle in any direction and is valid for all central catadioptric sensors. Some results and comparisons in synthetic and real images will be given.; Cette thèse s'intéresse à l'estimation du temps à collision d'un robot mobile muni d'une caméra catadioptrique. Ce type de caméra est très utile en robotique car il permet d'obtenir un champ de vue panoramique à chaque instant. Le temps de collision a été largement étudié dans le cas des caméras perspectives. Cependant, ces méthodes ne sont pas directement applicables et nécessitent d'être adaptées, à cause des distorsions des images obtenues par les caméras omnidirectionnelles. Dans ce travail, nous proposons d'exploiter explicitement et implicitement le flot optique calculé sur les images omnidirectionnelles pour en déduire le temps à collision (TTC) entre le robot et l'obstacle. Nous verrons que la double projection d'un point 3D sur le miroir puis sur le plan caméra aboutit à des nouvelles formulations du TTC pour les caméras catadioptriques. La première formulation est appelée globale basée sur les gradients, elle estime le TTC en exprimant le mouvement apparent en fonction du TTC et l'équation de la surface plane en fonction des coordonnées images et à partir des paramètres de son vecteur normal. Ces deux outils sont intégrés dans l'équation du flot optique (ECMA) afin d'en déduire le TTC. Cette méthode a l'avantage d'être simple rapide et fournit une information supplémentaire sur l'inclinaison de la surface plane. Néanmoins, la méthode globale basée sur les gradients est valable seulement pour les capteurs para-catadioptriques et elle peut être appliquée seulement pour les surfaces planes. La seconde formulation, appelée locale basée sur le flot optique, estime le TTC en utilisant explicitement le mouvement apparent. Cette formulation nous permet de connaître à chaque instant et sur chaque pixel de l'image le TTC à partir du flot optique en ce point. Le calcul du TTC en chaque pixel permet d'obtenir une carte des temps de collision. C'est une méthode plus générale car elle est valable pour tous les capteurs à PVU et elle peut être utilisée pour n'importe quelle forme géométrique d'obstacle. Les deux approches sont validées sur des données de synthèse et des expérimentations réelles.

Augmented reality is the process of inserting virtual elements into a real scene, observed through a screen. Augmented Reality systems can take different forms to get the desired balance between three criteria: accuracy, latency and robustness. Three main components can be identified: localization, reconstruction and display. The contributions of this thesis are focused on display and reconstruction. Most augmented reality systems use non-transparent screens as they are widely available. However, for critical applications such as surgery or driving assistance, the user cannot be ever isolated from reality. We answer this problem by proposing a new “augmented tablet” system with a semi-transparent screen. Such a system needs a suitable calibration scheme:to correctly align the displayed augmentations and reality, one need to know at every moment the poses of the user and the observed scene with regard to the screen. Two tracking devices (user and scene) are thus necessary, and the system calibration aims to compute the pose of those devices with regard to the screen. The calibration process set up in this thesis is as follows: the user indicates the apparent projections in the screen of reference points from a known 3D object ; then the poses to estimate should minimize the 2D on-screen distance between those projections and the ones computed by the system. This is a non-convex problem difficult to solve without a sane initialization. We develop a direct estimation method by computing the extrinsic parameters of virtual cameras. Those are defined by their optical centers which coincide with user positions, and their common focal plane consisting of the screen plane. The user-entered projections are then the 2D observations of the reference points in those virtual cameras. A symmetrical thinking allows one to define virtual cameras centered on the reference points, and “looking at” the user positions. Those initial estimations can then be refined with a bundle adjustment. Meanwhile, 3D reconstruction is based on the triangulation of matches between images. Those matches can be sparse when computed by detection and description of image features or dense when computed through the minimization of a cost function of the whole image. A dense correspondence field is better because it makes it possible to reconstruct a 3D surface, useful especially for realistic handling of occlusions for augmented reality. However, such a field is usually estimated thanks to variational methods, minimizing a convex cost function using local information. Those methods are accurate but subject to local minima, thus limited to small deformations. In contrast, sparse matches can be made very robust by using adequately discriminative descriptors. We propose to combine the advantages of those two approaches by adding a feature-based term into a dense variational method. It helps prevent the optimization from falling into local minima without degrading the end accuracy. Our feature-based term is suited to feature with non-integer coordinates and can handle point or line segment matches while implicitly filtering false matches. We also introduce comprehensive handling of occlusions so as to support large deformations. In particular, we have adapted and generalized a local method for detecting selfocclusions. Results on 2D optical flow and wide-baseline stereo disparity estimation are competitive with the state of the art, with a simpler and most of the time faster method. This proves that our contributions enables new applications of variational methods without degrading their accuracy. Moreover, the weak coupling between the components allows great flexibility and genericness. This is the reason we were able to also transpose the proposed method to the problem of non-rigid surface registration and outperforms the state of the art methods., La réalité augmentée consiste en l'insertion d'éléments virtuels dans une scène réelle, observée à travers un écran. Les systèmes de réalité augmentée peuvent prendre des formes différentes pour obtenir l'équilibre désiré entre trois critères : précision, latence et robustesse. On identifie trois composants principaux : localisation, reconstruction et affichage. Nous nous concentrons sur l'affichage et la reconstruction. Pour certaines applications, l'utilisateur ne peut être isolé de la réalité. Nous proposons un système sous forme de "tablette augmentée" avec un écran semi transparent, au prix d'un étalonnage adapté. Pour assurer l'alignement entre augmentations et réalité, il faut connaître les poses relatives de l'utilisateur et de la scène observée par rapport à l'écran. Deux dispositifs de localisation sont nécessaires et l'étalonnage consiste à calculer la pose de ces dispositifs par rapport à l'écran. Le protocole d'étalonnage est le suivant : l'utilisateur renseigne les projections apparentes dans l'écran de points de référence d'un objet 3D connu ; les poses recherchées minimisent la distance 2D entre ces projections et celles calculées par le système. Ce problème est non convexe et difficile à optimiser. Pour obtenir une estimation initiale, nous développons une méthode directe par l'étalonnage intrinsèque et extrinsèque de caméras virtuelles. Ces dernières sont définies par leurs centres optiques, confondus avec les positions de l'utilisateur, ainsi que leur plan focal, constitué par l'écran. Les projections saisies par l'utilisateur constituent alors les observations 2D des points de référence dans ces caméras virtuelles. Un raisonnement symétrique permet de considérer des caméras virtuelles centrées sur les points de référence de l'objet, "observant" les positions de l'utilisateur. Ces estimations initiales sont ensuite raffinées par ajustement de faisceaux. La reconstruction 3D est basée sur la triangulation de correspondances entre images. Ces correspondances peuvent être éparses lorsqu'elles sont établies par détection, description et association de primitives géométriques ou denses lorsqu'elles sont établies par minimisation d'une fonction de coût sur toute l'image. Un champ dense de correspondance est préférable car il permet une reconstruction de surface, utile notamment pour une gestion réaliste des occultations en réalité augmentée. Les méthodes d'estimation d'un tel champ sont basées sur une optimisation variationnelle, précise mais sensible aux minimums locaux et limitée à des images peu différentes. A l'opposé, l'emploi de descripteurs discriminants peut rendre les correspondances éparses très robustes. Nous proposons de combiner les avantages des deux approches par l'intégration d'un coût basé sur des correspondances éparses de primitives à une méthode d'estimation variationnelle dense. Cela permet d'empêcher l'optimisation de tomber dans un minimum local sans dégrader la précision. Notre terme basé correspondances éparses est adapté aux primitives à coordonnées non entières, et peut exploiter des correspondances de points ou de segments tout en filtrant implicitement les correspondances erronées. Nous proposons aussi une détection et gestion complète des occultations pour pouvoir mettre en correspondance des images éloignées. Nous avons adapté et généralisé une méthode locale de détection des auto-occultations. Notre méthode produit des résultats compétitifs avec l'état de l'art, tout en étant plus simple et plus rapide, pour les applications de flot optique 2D et de stéréo à large parallaxe. Nos contributions permettent d'appliquer les méthodes variationnelles à de nouvelles applications sans dégrader leur performance. Le faible couplage des modules permet une grande flexibilité et généricité. Cela nous permet de transposer notre méthode pour le recalage de surfaces déformables avec des résultats surpassant l'état de l'art, ouvrant de nouvelles perspectives.

In this thesis we study different relaxations of non-convex functionals that can be found in image processing. Some problems, such as image segmentation, can indeed be written as the minimization of a functional. The minimizer of the functional represents the segmentation. Different methods have been proposed in order to find local or global minima of the non-convex functional of the two-phase piecewise constant Mumford-Shah model. With a convex relaxation of this model we can find a global minimum of the nonconvex functional. We present and compare some of these methods and we propose a new model with a narrow band. This model finds local minima while using robust convex optimization algorithms. Then a convex relaxation of a two-phase segmentation model is built that compares two given histograms with those of the two segmented regions. We also study some relaxations of high-dimension multi-label problems such as optical flow computation. A convex relaxation with a new algorithm is proposed. The algorithm is iterative with exact projections. A new algorithm is given for a relaxationthat is convex in each variable but that is not convex globally. We study the problem of constructing a solution of the original non-convex problem with a solution of the relaxed problem. We compare existing methods with new ones.; Cette thèse étudie différentes relaxations pour minimiser des fonctionnelles non convexes qui apparaissent en traitement d’images. Des problèmes comme la segmentation d’image peuvent en effet s’écrire comme un problème de minimisation d’une certaine fonctionnelle, le minimiseur représentant la segmentation recherchée. Différentes méthodes ont été proposées pour trouver des minima locaux ou globaux de la fonctionnelle non convexe du modèle de Mumford-Shah constant par morceaux à deux phases. Certaines approches utilisent une relaxation convexe qui permet d’obtenir des minima globaux de la fonctionnelle non convexe. On rappelle et compare certaines de ces méthodes et on propose un nouveau modèle par bande étroite, qui permet d’obtenir des minima locaux tout en utilisant des algorithmes robustes qui proviennent de l’optimisation convexe. Ensuite, on construit une relaxation convexe d’un modèle de segmentation à deux phases qui repose sur la comparaison entre deux histogrammes donnés et les histogrammes estimés globalement sur les deux régions de la segmentation. Des relaxations pour des problèmes multi-étiquettes à plusieurs dimensions comme le flot optique sont également étudiées. On propose une relaxation convexe avec un algorithme itératif qui ne comprend que des projections qui se calculent exactement, ainsi qu’un nouvel algorithme pour une relaxation convexe sur chaque variable mais non convexe globalement. On étudie la manière d’estimer une solution du problème non convexe original à partir d’une solution d’un problème relaxé en comparant des méthodes existantes avec des nouvelles

This PHD thesis concerns the analysis of gestures, especially the characteri-zation and the recognition of gestures. The analysis of gestural data is a research field which involves Human-Machine communication, video management and signal processing fields. The main contribution of this PHD thesis is the design and implementation of a hybrid Markov system for sequential data recognition. The recognition task typically combines two tasks : segmentation and classification. Therefore, the proposed hybrid model combines the ability of modeling and segmentation of HiddenMarkov Models and the ability of local discrimination of Conditional Random Fields. We applied this hybrid system to the recognition of gesture sequences in videos in the context of one-shot-learning. The interesting recognition performance achieved in the context of the competition of ChaLearn show the advantage of the proposed approach for the context of learning with few examples. The recognition task requires a step of data characterization. In the context of gesture characterization, we propose two contributions. The first contribution is an improvement of local tracking of the dominant hand in a gesture with particle filters. This improvement is mainly based on a penalisation, computed with optical flow method, of the estimator and an automatic vocabulary reference generation. The second contribution is a method of global characterization of a gesture that we call the "gesture signature". The gesture signature describes the location, velocity and orientation of the global movement in a gesture combining velocity information calculated with optical flow method., Cette thèse concerne l’analyse de gestes, et plus particulièrement la caractérisation et la reconnaissance de gestes. L’analyse des données gestuelles est un axe de recherche impliquant les domaines de la communication Homme-Machine, de gestion des documents vidéo et du traitement du signal.La contribution principale de notre travail de thèse est l’étude, la conception et la mise en œuvre d’un système markovien hybride pour la reconnaissance de données séquentielles. La tâche de reconnaissance combine classiquement deuxtâches : la segmentation et la classification. Le modèle hybride proposé combine ainsi la capacité de modélisation et de segmentation des Modèles de Markov Cachés et la capacité de discrimination locale des Champs Aléatoires onditionnels.Nous avons appliqué ce système hybride à la reconnaissance des séquences de gestes dans des vidéos, dans le cadre applicatif de l’apprentissage avec un seul exemple. Les bonnes performances de reconnaissance obtenues dans le contexte de la compétition ChaLearn montrent l’intérêt de l’approche proposée pour l’apprentissage avec peu de données.La tâche de reconnaissance nécessite une étape de caractérisation des données. Dans le cadre de la caractérisation des gestes, nous proposons deux contributions. La première contribution est une amélioration du suivi local de la main domi-nante dans un geste avec les filtres particulaires. Cette amélioration est basée principalement sur une pénalisation issue des flots optiques de l’estimateur, et une génération automatique d’un vocabulaire de référence. La deuxième contribution est la proposition d’une méthode de caractérisation globale du geste que nous appelons une « signature du geste ». La signature du geste décrit la localisation, la vélocité et l’orientation du mouvement global dans un geste en combinantdes informations de vitesse calculée avec les flots optiques.

[Departement_IRSTEA]Ecotechnologies [TR1_IRSTEA]SPEE [Departement_IRSTEA]Ecotechnologies [TR1_IRSTEA]SPEEColloque avec actes et comité de lecture. Internationale.; National audience; De manière générale les approches de type PIV nécessitent d'introduire un a priori sur la solution à estimer. Les méthodes locales imposent une uniformité du champ de vitesse dans un petit voisinage. Les approches globales introduisent un terme de régularisation qui peut être basé sur la dynamique des fluides. Nous montrons dans cette étude que l'introduction d'un a priori de type loi de puissance permet d'améliorer de façon significative les estimations du champ de vitesse vers les petites échelles. / PIV techniques need to introduce prior knowledge to estimate motion fields. Local approaches require window with constant velocity. Global approaches relies on a spatial regularization term which can be derived from the physics of fluids. In the present study we show that using regularizations based on turbulence power laws clearly provides accurate estimates down to the smal lest scales.

The automatic analysis of crowded areas in video sequences is particularly difficult because ofthe large amount of information to be processed simultaneously and the complexity of the scenes. We propose in this thesis a method for detecting abnormal events in possibly dense scenes observed from a static camera. The approach is based on the automatic classification of motion requiring no prior information. Motion patterns are encoded in an unsupervised learning framework in order to generate a statistical model of frequently observed (aka. normal) events. Then at the detection stage, motion patterns that deviate from the model are classified as unexpected events. The method is particularly adapted to scenes with structured movement with directional flow of objects or people such as corridors, roads, intersections. No camera calibration is needed, nor image segmentation, object detection and tracking. In contrast to approaches that rely on trajectory analysis of tracked objects, our method is independent of the number of targets and runs in real-time. Our system relies on a local classification of global scene movement. The local analysis is done on each blocks of a regular grid. We first introduce a new spatio-temporal local descriptor to characterize the movement efficiently. Assuming a locally uniform motion of space-time blocks of the image, our approach consists in determining whether there is a linear relationship between spatial gradients and temporal gradients. This spatio-temporal descriptor holds the Illumination constancy constraint like optical flow techniques, but it allows taking into account the spatial neighborhood and a temporal window by giving a smooth characterization of the motion, which makes it more robust to noise. In addition, its low computational complexity is suitable for real-time applications. Secondly, we present two different classification frameworks : The first approach is a static (frame by frame) classification approach based on a Bayesian characterization of the motion by using an approximation of the Parzen windowing method or Kernel Density Estimation (KDE) to model the probability density function of motion patterns.This new method is the sparse variant of the KDE (SKDE). We show that the SKDE is a very efficient algorithm giving compact representations and good approximations of the density functions. The second approach, based on Bayesian Networks, models the dynamics of the movement. Instead of considering motion patterns in each block independently, temporal sequences of motion patterns are learned by using Hidden Markov Models (HMM). The second proposed improvement consists in modeling the movement in one block by taking into account the observed motion in adjacent blocks. This is performed by the coupled HMM method. Evaluations were conducted to highlight the classification performance of the proposed methods,on both synthetic data and very challenging real video sequences captured by video surveillance cameras.These evaluations allow us to give first conclusions concerning automatic analyses of possibly crowded area., Cette thèse est une collaboration entre le LAboratoire des Sciences et Matériaux pour l’Électronique et d’Automatique (LASMEA) de Clermont-Ferrand et le Laboratoire Vision et Ingénierie des Contenus (LVIC) du CEA LIST à Saclay. La première moitié de la thèse a été accomplie au sein de l’équipe ComSee (1) du LASMEA et la deuxième au LVIC. L’objectif de ces travaux est de concevoir un système de vidéo-assistance temps réel pour la détection d’évènements dans des scènes possiblement denses.La vidéosurveillance intelligente de scènes denses telles que des foules est particulièrement difficile, principalement à cause de leur complexité et de la grande quantité de données à traiter simultanément. Le but de cette thèse consiste à élaborer une méthode de détection d’évènements rares dans de telles scènes, observées depuis une caméra fixe. La méthode en question s’appuie sur l’analyse automatique de mouvement et ne nécessite aucune information à priori. Les mouvements nominaux sont déterminés grâce à un apprentissage statistique non supervisé. Les plus fréquemment observés sont considérés comme des évènements normaux. Une phase de classification permet ensuite de détecter les mouvements déviant trop du modèle statistique, pour les considérer comme anormaux. Cette approche est particulièrement adaptée aux lieux de déplacements structurés, tels que des scènes de couloirs ou de carrefours routiers. Aucune étape de calibration, de segmentation de l’image, de détection d’objets ou de suivi n’est nécessaire. Contrairement aux analyses de trajectoires d’objets suivis, le coût calculatoire de notre méthode est invariante au nombre de cibles présentes en même temps et fonctionne en temps réel. Notre système s’appuie sur une classification locale du mouvement de la scène, sans calibration préalable. Dans un premier temps, une caractérisation du mouvement est réalisée, soit par des méthodes classiques de flot optique, soit par des descripteurs spatio-temporels. Ainsi, nous proposons un nouveau descripteur spatio-temporel fondé sur la recherche d’une relation linéaire entre les gradients spatiaux et les gradients temporels en des zones où le mouvement est supposé uniforme. Tout comme les algorithmes de flot optique, ce descripteur s’appuie sur la contrainte d’illumination constante.Cependant en prenant en compte un voisinage temporel plus important, il permet une caractérisation du mouvement plus lisse et plus robuste au bruit. De plus, sa faible complexité calculatoire est bien adaptée aux applications temps réel. Nous proposons ensuite d’étudier différentes méthodes de classification : La première, statique, dans un traitement image par image, s’appuie sur une estimation bayésienne de la caractérisation du mouvement au travers d’une approche basée sur les fenêtres de Parzen. Cette nouvelle méthode est une variante parcimonieuse des fenêtres de Parzen. Nous montrons que cette approche est algorithmiquement efficace pour approximer de manière compacte et précise les densités de probabilité. La seconde méthode, basée sur les réseaux bayésiens, permet de modéliser la dynamique du mouvement. Au lieu de considérer ce dernier image par image, des séquences de mouvements sont analysées au travers de chaînes de Markov Cachées. Ajouté à cela, une autre contribution de ce manuscrit est de prendre en compte la modélisation du voisinage d’un bloc afin d’ajouter une cohérence spatiale à la propagation du mouvement. Ceci est réalisé par le biais de couplages de chaînes de Markov cachées.Ces différentes approches statistiques ont été évaluées sur des données synthétiques ainsi qu’en situations réelles, aussi bien pour la surveillance du trafic routier que pour la surveillance de foule.Cette phase d’évaluation permet de donner des premières conclusions encourageantes quant à la faisabilité de la vidéosurveillance intelligente d’espaces possiblement denses.

The aim of this thesis is to study parietal desynchronisation of the left ventricle from conventional cine-MRI. The first part of our work consisted in the quantification of the left ventricle wall motion of the heart directly from conventional retrospective SSFP type cine-MRI sequences used in the study of cardiac function. The developed methods for measuring displacements within the images are frequency-based optical flow methods. These techniques seem to be particularly adapted to MRI specificities. We have demonstrated their robustness in the event of Rician noise and pixel intensity variations as a function of time. These variations are often associated with the through-plane motion of the heart, in particular in the short-axis orientation. The second part of our work concerned the assessment of desynchronisation from short axis cine-MRI. Time-displacement and time-velocity curves of the heart wall were obtained from tracking points of interest localised on the left ventricle segments close to the endocardium. With respect to the quantification of the delay between curves, our work relied on research carried out in the field of echocardiography desynchronisation. Various parameters for the measurement of desynchronisation from cine-MRI were proposed. This work was the subject of a preliminary clinical study including patients considered as normal further based on clinical examination and patients having normal or prolonged QRS duration without ischemic heart disorder. The dyssynchrony measurements from cardiac MRI were compared to measurements obtained with echocardiography. The first results indicate a good correlation between echography and MRI measurements. The third part of our work consisted in studying heart wall motion directly from raw images from multicoil MRI. The developed optical flow algorithms were tested and they showed that it was possible to estimate myocardial movement. Preliminary results are encouraging. The results of the preliminary study of left intraventricular asynchronism from MRI are also promising. Cardiac cine-MRI could be an alternative to echocardiography in the case of weakly echogenic patients. The validation of this quantitative technique for asynchronism from MRI is of major interest. A more detailed study is in progress, in particular to predict the response of CRT (cardiac resynchronisation therapy) of patients without ischemic disorder presenting a mechanical desynchronisation from MRI and echographic parameters., L'objectif de cette thèse est d'étudier la désynchronisation pariétale en ciné-IRM conventionnelle. La première partie de notre travail a consisté à quantifier les mouvements de la paroi du ventricule gauche du coeur directement à partir de séquences de ciné-IRM standards, de type SSFP avec une synchronisation rétrospective, utilisées pour l'étude de la fonction cardiaque. Les méthodes développées pour mesurer les déplacements dans les images sont basées sur des techniques fréquentielles de flux optique. Ces techniques semblent particulièrement adaptées aux particularités des IRM. Nous montrons en effet leur robustesse en présence de bruit ricien et de variations d'intensité des pixels au cours du temps, variations généralement provoquées par les mouvements du coeur à travers le plan, notamment en coupe petit axe. La seconde partie de notre travail a porté sur l'évaluation de la désynchronisation en ciné-IRM en coupe petit axe. Des courbes d'évolution des déplacements et des vitesses de la paroi au cours du temps ont été obtenues par un suivi de points d'intérêt localisés sur les différents segments du ventricule gauche proches de l'endocarde. Pour calculer les délais entre ces courbes, nous nous sommes appuyés sur les études effectuées en échocardiographie et avons proposé différents paramètres de mesure de la désynchronisation pour l'IRM. Ce travail a fait l'objet d'une étude clinique préliminaire comprenant des coeurs considérés comme normaux suite à l'examen clinique et de coeurs de patients à QRS larges et fins ne présentant pas de cardiopathie ischémique. Les mesures de désynchronisation en IRM cardiaque ont été comparées aux mesures pratiquées en échocardiographie. Les premiers résultats indiquent une corrélation entre les mesures d'échographie et d'IRM. La troisième partie de notre travail a consisté à étudier les mouvements du coeur directement à partir des images brutes des antennes en IRM multicanaux. Les algorithmes de flux optique développés et testés pour ce type d'images ont montré qu'il était possible d'estimer les mouvements myocardiques. Les premiers résultats semblent encourageants. Les résultats de l'étude préliminaire de l'asynchronisme intraventriculaire gauche en IRM sont prometteurs. La ciné-IRM cardiaque pourrait être une alternative à l'échocardiographie notamment pour les patients faiblement échogènes. La validation de cette technique de quantification de l'asynchronisme en IRM est un enjeu important. Une étude plus approfondie est en cours, notamment pour prédire la réponse à la CRT de patients sans cardiopathie ischémique présentant une désynchronisation mécanique à partir des facteurs de mesures en IRM et en échographie.

These works are concerned with the issue of ill-posed image processing problems solved using the calculus of variation formulation. We investigate mainly the problems of optical flow determination and the 3D recovering from 2D image sequences. As these problems are ill-posed, a unique solution can be retrieved using spatial regularization techniques. We then propose to introduce alternative constraints in order to moderate the influence of the regularization. These constraints are deduced from heuristics on the experimental conditions. In a first chapter, we examine a study case in biological images. Spherical structures simulating cellular membranes are observed from a focal microscope. The spherical topology is taken into account in order to improve image processing tasks such as segmentation, optical flow estimation or tracking. The information is then used to recover 3D images from the 2D images. In a second chapter, we propose to deal with the temporal information within the image sequences. This information is first modeled as an evolution on the state (the quantity to determine) and the difficulty is to solve this equation with the equations linking the state and the images. To this end, we use the variational data assimilation framework. Without specific knowledge on the dynamics we consider a generic evolution equation and an error on this latter. Although the evolution equation is a rough approximation, we show the optical flow can be determined without spatial regularization. If the noisy or missing observations can be identified, we propose a simple way to evict these data in the computation of the solution and to provide a coherent solution, using the evolution equation. In a last chapter, we briefly describe another research works: resolution of non-linear variational image processing problems, ground occupation analyzing using high resolution satellite images and the tracking of targets., Dans ces travaux nous nous intéressons aux formulations variationnelles pour résoudre des problèmes mal posés du traitement d'images. Nous nous focalisons principalement sur le calcul du flot optique dans les séquences d'images ainsi que la reconstruction 3D à partir d'une séquence d'images 2D. Comme ces problèmes sont mal posés au sens où ils sont sous-contraints, on utilise souvent des techniques de régularisation spatiale pour obtenir l'unicité de la solution. Nous nous proposons d'introduire d'autres contraintes dans la formulation du problème pour limiter l'importance de cette régularisation, voire pour la supprimer complètement. Ces contraintes sont dérivées des informations a priori sur les conditions expérimentales. Dans un premier chapitre, nous examinons un cas d'étude tiré de l'imagerie biologique: il s'agit d'acquisitions multi-focales de vésicules géantes, nous en exploitons alors la topologie sphérique pour divers problèmes tels que le suivi, la segmentation, l'estimation du flot optique et la reconstruction 3D. Ces contraintes sont donc d'ordre spatiales. Dans un second chapitre, nous étudions la possibilité de tirer partie de l'information temporelle présente dans les séquences d'images. Cette information est alors modélisée par une équation d'évolution. La difficulté à lever est de résoudre conjointement cette équation et les contraintes qui dérivent du problème de traitement d'images. Nous utilisons alors le formalisme de l'assimilation variationnelle de données dans une formulation dite ''faible'' car nous attribuons une erreur sur l'équation d'évolution. Bien que l'équation d'évolution décrive imparfaitement la dynamique, nous montrons que l'on peut résoudre le problème mal posé de l'estimation du flot optique sans recourir à la régularisation. Nous montrons également que lorsque les informations sont manquantes, il est possible de fournir une estimation réaliste du flot optique, ceci permet de gérer les cas difficiles d'occultations. Enfin, dans un dernier chapitre, nous résumons des travaux parallèles portant sur la résolution variationnelle de problèmes non linéaires de traitement d'images, des travaux sur l'occupation des sols en imagerie satellitaire haute définition et enfin sur le suivi multi-cibles.

This thesis deals with navigation of a VTOL Unmanned Aerial Vehicle in unknown or uncertain environment. The use of optical flow is bio-inspired. It provides information on velocity of the vehicle and proximity of obstacles. Two contributions are presented in this work. The first one addresses automatic landing on a static or mobile platform. The maneuver is split into two tasks : stabilization of the linear velocity above the target and vertical landing. The approach shows that regulation of the divergent optical flow around a constant set point enables a smooth landing without collision despite uncertainties on the vehicle and the platform dynamics. The second contribution concerns terrain following with obstacle avoidance. The general approach considered enables us to address different applications such as corner avoidance, steep terrain following, corridor following, etc. Stability analysis assesses robustness and limits of the controller in the presence of various uncertainties such as uncertainties on the geometry of the environment. All the algorithms are simulated and experimented on a quadrotor UAV built at the CEA LIST.; Cette thèse porte sur la navigation sans collision d'un véhicule aérien à décollage et atterrissage vertical en environnement inconnu ou incertain. L'utilisation du flot optique, inspirée du monde animal, permet d'obtenir des informations sur la vitesse du véhicule et sur la proximité des obstacles. Deux contributions sont présentées dans ce travail. La première aborde l'atterrissage automatique sur une plateforme statique ou mobile. La manœuvre se décompose en deux tâches : la stabilisation de la vitesse au-dessus de la cible, puis l'atterrissage vertical. L'approche montre que la régulation du flot optique divergent autour d'une consigne constante permet un atterrissage en douceur et sans collision malgré les incertitudes sur la dynamique de la plateforme et du véhicule. La deuxième contribution concerne le suivi de terrain avec évitement d'obstacles. L'approche générale proposée permet d'aborder différentes applications telles que l'évitement d'obstacles frontaux, le suivi de terrain pentu, le suivi de couloir, etc. L'analyse de stabilité évalue la robustesse et les limites du contrôleur en présence de diverses incertitudes telles que les incertitudes sur la géométrie de l'environnement. L'ensemble des algorithmes de commande est simulé et expérimenté sur un mini-drone quadrirotor développé au CEA LIST.

The growing number of video data makes often difficult, even impossible, any attemptof watching them entirely. In the context of automatic analysis of videos, a recurring request is to identify moments in the video when something unusual happens.We propose several algorithms to identify unusual events, making the hypothesis that these events have a low probability. We address several types of events, from those generates by moving areas to the trajectories of objects tracked. In the first part of the study, we build a simple tracking system. We propose several measures of similarity between trajectories. These measures give an estimate of the similarity of trajectories by taking into account both spatial and/or temporal aspects. It is possible to differentiate between objects moving on the same path, but with different speeds. Based on these measures, we build models of trajectories representing the common behavior of objects, so that we can identify those that are abnormal.We noticed that the tracking yields bad results, especially in crowd situations. Therefore, we use the optical flow vectors to build a movement model based on a codebook. This model stores the preferred movement directions for each pixel. It is possible to identify abnormal movement at pixel-level, without having to use a tracker. By using temporal coherence, we can further improve the detection rate, affected by errors of estimation of optic flow. In a second step, we change the method of construction of this model. With the new approach, we can extract higher-level features — the equivalent trajectories, but still without the notion of object tracking. In this situation, we can reuse partial trajectory analysis to detect rare events.All aspects presented in this study have been implemented. In addition, we have design some applications, like predicting the trajectories of visible objects or storing and retrieving tracked objects in a database., Le travail présenté dans cette étude se place dans le contexte de l’analyse automatique des vidéos. A cause du nombre croissant des données vidéo, il est souvent difficile, voire impossible qu’un ou plusieurs opérateurs puissent les regarder toutes. Une demande récurrente est d’identifier les moments dans la vidéo quand il y a quelque chose d’inhabituel qui se passe, c’est-à-dire la détection des événements anormaux.Nous proposons donc plusieurs algorithmes permettant d’identifier des événements inhabituels, en faisant l’hypothèse que ces événements ont une faible probabilité. Nous abordons plusieurs types d’événements, de l’analyse des zones en mouvement à l’analyse des trajectoires des objets suivis.Après avoir dédié une partie de la thèse à la construction d’un système de suivi,nous proposons plusieurs mesures de similarité entre des trajectoires. Ces mesures, basées sur DTW (Dynamic Time Warping), estiment la similarité des trajectoires prenant en compte différents aspects : spatial, mais aussi temporel, pour pouvoir - par exemple - faire la différence entre des trajectoires qui ne sont pas parcourues de la même façon (en termes de vitesse de déplacement). Ensuite, nous construisons des modèles de trajectoires, permettant de représenter les comportements habituels des objets pour pouvoir ensuite détecter ceux qui s’éloignent de la normale.Pour palier les défauts de suivi qui apparaissent dans la pratique, nous analysons lesvecteurs de flot optique et nous construisons une carte de mouvement. Cette carte modélise sous la forme d’un codebook les directions privilégiées qui apparaissent pour chaque pixel, permettant ainsi d’identifier tout déplacement anormal, sans avoir pour autant la notion d’objet suivi. En utilisant la cohérence temporelle, nous pouvons améliorer encore plus le taux de détection, affecté par les erreurs d’estimation de flot optique. Dans un deuxième temps, nous changeons la méthode de constructions de cette carte de mouvements, pour pouvoir extraire des caractéristiques de plus haut niveau — l’équivalent des trajectoires, mais toujours sans nécessiter le suivi des objets. Nous pouvons ainsi réutiliser partiellement l’analyse des trajectoires pour détecter des événements rares.Tous les aspects présentés dans cette thèse ont été implémentés et nous avons construit certaines applications, comme la prédiction des déplacements des objets ou la mémorisation et la recherche des objets suivis.

This experiment examined whether newborn stepping, a primitive form of bipedal locomotion, could be modulated by optical flow. Forty-eight 3-day-old infants were exposed to optical flows that were projected onto a horizontal surface above which the infants were suspended. Significantly more air steps were elicited by exposure to a terrestrial optical flow specifying forward translation than by a rotating optical flow or a static optical pattern. Thus, a rudimentary coupling between optical flow and stepping is present at birth, suggesting a precocious capacity in the newborn to perceive and utilize visual information specifying self-motion. The findings may help the early diagnosis of infants with visual or visual-motor deficits and the development of visually based interventions for disabled infants.

This thesis deals with camera motion estimation, when the camera films a static scene, from the obtained sequence of images. The proposed method concerns motion estimation between two adjacent frames and is based on the determination of a 2D quadratic deformation between images. From the motion estimation, we next study the problem of scene structure estimation. We apply Belief Propagation method directly on an images couple, without any rectification, just using motion estimation.Finally, we study the injectivity of the map that associates an optical flow to camera motion and scene structure. Given two camera motions, we describe the domain where the two flows can be identical and the surfaces leading to these ambiguous flows., Cette thèse aborde le problème de l'estimation du mouvement d'une caméra filmant une scène fixe, à partir de la séquence d'images obtenue.La méthode proposée s'applique à l'estimation du mouvement entre deux images consécutives et repose sur la détermination d'une déformation 2D quadratique. A partir du mouvement estimé, nous étudions ensuite le problème de l'estimation de la structure de la scène filmée. Pour cela, nous appliquons une méthode de Belief Propagation directement sur un couple d'images, sans rectification, en utilisant l'estimation du mouvement.Enfin, nous examinons l'injectivité de la fonction associant un flot optique au mouvement d'une caméra et à la structure de la scène filmée. Deux mouvements de caméra étant donnés, nous décrivons le domaine d'observation où les flots générés sont susceptibles d'être identiques, et les surfaces filmées qui, associées aux deux mouvements, produiront ces flots ambigus.

Président: M. Jean-Michel Morel Rapporteurs: Mm Michel Barlaud et Frédéric Cao Examinateurs: M. Laurent Cohen, Mme Françoise Dibos, M. Richard Lengagne; This thesis is devoted to the study of a computer vision problem and of two video surveillance problems. We propose a method for moving objects detection in a video sequence; it is based on the apparent velocity predetermination and on a shape optimisation problem. For other moving objects detection and tracking models, we propose to use the iterated conditional modes discrete algorithm which is renowned to be very fast and allows to decrease the computing time of the continuous algorithms when it is combined to them. For video surveillance, we seek to estimate crowd density and to detect abnormal behaviour in parisian subway environment. We propose a crowd density estimation based on the computation of curvature on the image. Abnormal behaviour detection is performed by a research of the modes in the histogram of the apparent velocity directions.; Cette thèse est consacrée à l'étude d'un problème de vision par ordinateur et de deux problèmes de vidéo surveillance. Nous proposons une méthode de détection d'objets en mouvement dans une séquence vidéo basée sur une détermination préalable du mouvement apparent et sur un problème d'optimisation de forme. Pour d'autres modèles de détection et de suivi d'objets en mouvement, nous proposons d'appliquer l'algorithme discret des modes conditionnels itérés réputé très rapide et qui permet de réduire le temps de calcul des algorithmes continus lorsqu'il leur est combiné. En vidéo surveillance, on cherche d'une part à estimer la densité d'une foule et d'autre part à détecter des comportements anormaux dans l'environnement du métro parisien. Nous proposons une estimation de la densité d'une foule basée sur un calcul de courbure sur l'image. La détection de comportements anormaux s'effectue par une recherche des modes dans l'histogramme des directions du mouvement apparent.

Président: M. Jean-Michel Morel Rapporteurs: Mm Michel Barlaud et Frédéric Cao Examinateurs: M. Laurent Cohen, Mme Françoise Dibos, M. Richard Lengagne; This thesis is devoted to the study of a computer vision problem and of two video surveillance problems. We propose a method for moving objects detection in a video sequence; it is based on the apparent velocity predetermination and on a shape optimisation problem. For other moving objects detection and tracking models, we propose to use the iterated conditional modes discrete algorithm which is renowned to be very fast and allows to decrease the computing time of the continuous algorithms when it is combined to them. For video surveillance, we seek to estimate crowd density and to detect abnormal behaviour in parisian subway environment. We propose a crowd density estimation based on the computation of curvature on the image. Abnormal behaviour detection is performed by a research of the modes in the histogram of the apparent velocity directions.; Cette thèse est consacrée à l'étude d'un problème de vision par ordinateur et de deux problèmes de vidéo surveillance. Nous proposons une méthode de détection d'objets en mouvement dans une séquence vidéo basée sur une détermination préalable du mouvement apparent et sur un problème d'optimisation de forme. Pour d'autres modèles de détection et de suivi d'objets en mouvement, nous proposons d'appliquer l'algorithme discret des modes conditionnels itérés réputé très rapide et qui permet de réduire le temps de calcul des algorithmes continus lorsqu'il leur est combiné. En vidéo surveillance, on cherche d'une part à estimer la densité d'une foule et d'autre part à détecter des comportements anormaux dans l'environnement du métro parisien. Nous proposons une estimation de la densité d'une foule basée sur un calcul de courbure sur l'image. La détection de comportements anormaux s'effectue par une recherche des modes dans l'histogramme des directions du mouvement apparent.

Colloque avec actes et comité de lecture. nationale.; National audience; Le traitement et l'interprétation de la perception du mouvement visuel ont une importance croissante en robotique autonome. Les modèles connexionnistes y ont apporté leur puissance de généralisation et leur robustesse au manque d'information. Leur parallélisme intrinsèque conjugué à un traitement local nous fournit différents axes de recherche pour le développement de modèles de perception-action en temps réel appliqués à la perception visuelle dynamique du mouvement. Nous proposons un rapide survol de l'état de l'art en neurophysiologie, des algorithmes proposés pour l'obtention du flot optique, et de quelques réalisations matérielles. Nous présentons ensuite les bases d'une approche connexionniste bio-inspirée avec une adaptation particulière des filtres de Gabor spatio-temporels. Finalement, nous envisageons une approche connexionniste plus modulaire et fortement localisée pour la perception visuelle du mouvement.

The enhancement of sub-micronic technologies made CMOS image sensors an interesting alternative. Vision machines are traditionally based on architectures linked to an image sensor. The proposed approach in this work deals with the integration of photodetecting elements plus image processing circuits in a single chip. These smart sensors, also called retinas, enable to make the vision system both compact and optimised. The processing is indeed speeded up, and power consumption reduced, compared to classical solutions (sensor, then hardware or software processing). More precisely, this thesis deals with the integration of a motion estimation algorithm, using electronic functions for computations, instead of a strong iterative numeric computation. Afterf finishing a circuit for a correlation-based retina project, we first designed a standard sensor (an imager) to acquire knowledge in the image sensors field. Then, We designed a retina performing these computations in an electronic way. That motion estimation algorithm is based on a robust block matching technique, composed of a pixel coding step, then a search step of these codes in a potential destination window. That approach is new because it can treat textured scenes with changing luminosity, moreover we integrate a kind of algorithm that was only used in software or digital approaches (FPGA, DSP)., Le développement des technologies sub-microniques a permis un regain d'intérêt pour les capteurs d'images CMOS, qui inondent aujourd'hui le marché des capteurs. Les approches conventionnelles pour la conception de machines de vision sont en général basées sur des architectures connectées à une caméra. L'approche proposée dans ce travail consiste à associer, dans un même circuit – une rétine CMOS -, les photocapteurs et des fonctions de pré-traitement de l'image, permettant ainsi de répartir et d'optimiser le traitement. Ces rétines ont des performances en vitesse, en intégration et en consommation meilleures que les solutions classiques (capteurs puis traitements logiciels et/ou matériels). Cette thèse porte plus précisément sur l'intégration d'un algorithme d'estimation du mouvement en transposant le calcul numérique fortement itératif en une structure de calcul électronique. Après avoir réalisé un circuit permettant d'acquérir des connaissances dans le domaine des capteurs d'images CMOS, nous avons conçu un circuit de vision estimant le mouvement. Cette estimation de mouvement est basée sur une méthode robuste de mise en correspondance de blocs de pixels, comprenant une phase de pré-codage des pixels suivid'une recherche de ce codage dans une fenêtre de destination potentielle. Cette approche est novatrice car elle propose une rétine CMOS pouvant traiter (électroniquement) des scènes fortement texturées, et à luminosité changeante, en s'appuyant sur une méthode jusqu'alors réservée aux approches numériques (FPGA, DSP) ou logicielles.

The purpose of this thesis is the detection of deformable structures and the estimation of their motion. This work is applied to satellite imagery, and specifically focused on meteorological infrared images. On these images, the structures of interest are clouds. A markovian model is proposed to locate these structures. This model captures cloud structures with homogeneity and regularity properties.The second part of this work introduces a novel method for motion estimation. The classical hypothesis underlying motion estimation is the invariance of brightness of each point during its displacement. This hypothesis is not valid in the context of our work. We therefore propose a method based on the invariance of moving objects' total brightness. Applied to clouds on infrared data, this hypothesis is proved to be equivalent to the invariance of volume. We demonstrate that this leads to a constraint strictly equivalent to the equation of mass conservation in fluid mechanisms. This partial differential equation is then solved within a variational framework. Two alternatives are proposed, the first one using a prior affine motion model, the second unifying the two invariance principles mentioned above.These methods are applied to the reconstruction of clouds' trajectories. A framework is proposed to analyse these trajectories: it is based on a decomposition of trajectories on a spline functions basis, this decomposition being plugged into a data analysis system; L'objet de cette thèse est la détection et l'estimation du mouvement d'objets déformables. Ce travail a été appliqué à l'imagerie satellitaire. Nous nous sommes particulièrement intéressés aux images infrarouges météorologiques. Sur de telles images, les structures en mouvement sont les nuages. Pour localiser ces structures, nous utilisons un modèle markovien de segmentation qui intègre des propriétés d'homogénéité et de régularité caractérisant les structures nuageuses. Ce modèle markovien fonctionne comme un processus de croissance de région avec un procédé automatique d'estimation des paramètres du modèle.Dans une seconde partie, nous proposons une méthode originale pour l'estimation du mouvement. Au lieu de supposer l'invariance de l'intensité lumineuse de chaque point au cours de son déplacement, hypothèse classiquement faite mais non vérifiée dans notre contexte, nous supposons l'invariance de l'intensité lumineuse totale d'un objet. Dans le contexte d'images infrarouges nous montrons que l'hypothèse d'invariance de l'intensité lumineuse totale équivaut à une hypothèse de conservation du volume des nuages. Nous montrons également que cette dernière hypothèse mène à une nouvelle contrainte qui est exactement l'équation de la conservation de la masse, utilisée en mécanique des fluides. Un formalisme variationnel est utilisé pour la résolution de cette équation aux dérivées partielles. Deux variantes de ce modèle sont également proposées, intégrant des modèles affines de mouvement ou unifiant les deux principes d'invariances précédement cités.Finalement, ces méthodes permettent de reconstruire avec précision les trajectoires des nuages au cours du temps. Dans une dernière partie prospective, nous proposons une méthode simple d'analyse des trajetoires des nuages basée sur une décomposition sur une base de spline et des procédés d’analyse de données de ces décompositions.