Search

Diminished Reality (DR) is a video editing technique that alters reality by removing certain objects. It can be used as a preliminary step in Augmented Reality to replace real objects by virtual ones with different sizes and shapes. It can also be used solely, for example, in the case of virtually emptying a furnished apartment. The general approach of DR consists in three main steps. First, an inpainting technique is applied to a target region in the image to coherently remove an object. The image corresponds to a keyframe of the video stream. Second, the resulting inpainted region is transmitted to the next frames of the video stream by copying pixel intensities with respect to the camera pose and scene geometry. This consists in estimating the camera orientation and position in 3D which can be obtained by a Simultaneous Localization and Mapping (SLAM) technique. Third, the target region is updated with respect to the lighting change in the scene.In this thesis, we focused on the third step of the DR pipeline. Although many DR applications have been proposed in the literature, few are the ones who dealt with light change in the scene. Most of past work assumes that the surface is Lambertian and therefore perfectly diffuse. However, this is often not true, especially in indoor environments. By identifying specular highlights as the main cause for lighting change in the target region, we proposed two main approaches to address this problem.First, we proposed a specularity propagation method applied to real-time DR. Using the DR pipeline mentioned earlier, we integrated an interpolation function based on Thin-Plate Splines (TPS) in order to estimate the change ratios of the pixel intensities in the target region. This function is constrained by a number of specularity properties to achieve a plausible reconstruction of the specular highlights in the video stream. Our approach was tested on several real-time videos and achieved coherent reproduction of specularities in the context of DR.Second, we addressed the lighting problem in DR and AR as an inverse rendering problem. To do so, we analyzed the image components as described in light reflection models. In Computer Graphics, local illumination models such as Phong’s are used to render synthetic images in real-time. In this case, the parameters of the model are set by the user as inputs along with the scene’s geometry, the light source configuration and the camera pose. However, in a Mixed Reality (MR) application, the parameters of the model are unknown and have to be set in concordance with the real image from the camera. So, in this case we want to solve an inverse local illumination problem where the input is the real image. The output is the model’s parameters along with the light source configuration, the scene’s geometry and the camera pose. In this thesis, we proposed an exhaustive evaluation of the well-posedness of this problem with a focus on the specular highlights. The camera pose and the scene’s geometry are estimated using the SLAM approach and the rest of the unknown parameters are estimated by minimizing a photometric cost. We showed that we can invert a local illumination model from the observation of a single specular highlight. Therefore, in the context of AR and DR applications, we do not need to know the number of light sources in the scene a priori since each specularity is processed separately. This also opens many perspectives for similar inversion problems like camera localization., La réalité diminuée (RD) est une technique de montage vidéo qui modifie la réalité en supprimant certains objets. Il peut être utilisé comme étape préliminaire en réalité augmentée pour remplacer des objets réels par des objets virtuels de différentes tailles et formes. Il peut également être utilisé, par exemple, dans le cas de la réaménagement virtuel d'un appartement meublé. L'approche générale de RD consiste en trois étapes principales. Tout d'abord, une technique d'inpainting est appliquée à une région cible dans l'image pour retirer de manière cohérente un objet. Ceci correspond à une image clé du flux vidéo. Deuxièmement, la région modifiée résultante est transmise aux images suivantes du flux vidéo en copiant les intensités de pixels par rapport à la pose de la caméra et à la géométrie de la scène. Cela consiste à estimer l'orientation et la position de la caméra en 3D qui peuvent être obtenues par une technique de localisation et de cartographie simultanées (SLAM). Troisièmement, la région cible est mise à jour par rapport au changement d'illumination dans la scène.Dans cette thèse, nous nous sommes concentrés sur la troisième étape du pipeline DR. Bien que de nombreuses applications RD aient été proposées dans la littérature, rares sont celles qui ont traité des changements de lumière dans la scène. La plupart des travaux passés supposent que la surface est Lambertienne et donc parfaitement diffuse. Cependant, ce n'est souvent pas vrai, en particulier dans les environnements intérieurs. En identifiant les reflets spéculaires comme la principale cause du changement d'illumination dans la région cible, nous avons proposé deux approches principales pour résoudre ce problème.Dans un premier temps, nous avons proposé une méthode de propagation temps-réel de la spécularité appliquée à la RD. En utilisant le pipeline RD mentionné précédemment, nous avons intégré une fonction d'interpolation basée sur des splines à plaques minces (TPS) afin d'estimer les rapports de changement des intensités de pixels dans la région cible. Cette fonction est contrainte à un nombre de propriétés spécifiques à la forme de la spécularité pour obtenir une reconstruction plausible des reflets spéculaires dans le flux vidéo. Notre approche a été testée sur plusieurs vidéos en temps réel et a réalisé une reproduction cohérente des spécularités dans le contexte de la RD.Deuxièmement, nous avons abordé le problème d'illumination en RD et RA comme un problème de rendu inverse. Pour ce faire, nous avons analysé les composants de l'image comme décrit dans les modèles de réflexion de la lumière. En infographie, des modèles d'illumination locales tels que Phong sont utilisés pour rendre des images synthétiques en temps réel. Dans ce cas, les paramètres du modèle sont définis par l'utilisateur en tant qu'entrées en plus de la géométrie de la scène, la configuration de la source lumineuse et la pose de la caméra. Cependant, dans une application de réalité mixte (MR), les paramètres du modèle sont inconnus et doivent être définis en concordance avec l'image réelle de la caméra. Donc, dans ce cas, nous voulons résoudre un problème d'inversion de l’illumination locale où l'entrée est l'image réelle. La sortie correspond aux paramètres du modèle ainsi qu'à la configuration de la source lumineuse, à la géométrie de la scène et à la pose de la caméra. Dans cette thèse, nous avons proposé une évaluation exhaustive du conditionnement de ce problème en mettant l'accent sur les reflets spéculaires. La pose de la caméra et la géométrie de la scène sont estimées à l'aide de l'approche SLAM et les autres paramètres inconnus sont estimés en minimisant un coût photométrique. Nous avons montré que nous pouvons inverser un modèle d’illumination locale à partir de l'observation d'une seule spécularité. (...)

The understanding of physical mechanisms such as transparency, shading, lighting or specular variations, can make easier the processing and the analysis of images, either by modelling these phenomena or by computing attributes that are invariant with respect to them. First of all, we study the transparency of a coloured ink printed on a coloured support. We propose some colour attributes that are invariant with respect to the support colour and with respect to the quantity of ink used. The latter are used to carry out the segmentation process of ink markings, which mixes a classification and a region-growing approach. The proposed technique is applied to pork traceability, where an identifier has to be detected on the pieces of meat. In this application, we compare several segmentation methods and we show the relevance of the use of invariant attributes. Then, a study on reflection models enables us to improve the robustness of point tracking in luminance images. Indeed, most techniques assume that the objects are lambertian, which means that the dynamic property of the observed scene is reduced to the geometric aspects and neglects the photometric ones. A few approaches propose to compensate for an affine model of the illumination variations in a small area around the point to be tracked. However, as far as we know, their theoretical validity is not clearly justified. Therefore, through a study on standard reflection models, we deduce the assumptions on which they are based. Moreover, we propose a point tracking approach based on a local photometricmodel, in which the illumination variations are approximated by a continuous function around the points to be tracked. Several experimentations are carried out on different objects, which undergo illumination variations or not, and prove the good robustness of our technique in comparison with the existing methods. In the same way, the tracking of larger area of the scene is improved by a more comprehensive photometric model. We also tackle the problem of robustness of the point tracking in colour images with respect to illumination variations. Firstly, the method developed in intensity images is extended to the case of colour ones. The use of colour invariants ensures a global correction with respect to lighting changes. Furthermore, we improve the use of most relevant invariants by using a local photometric model. Experiments on real images sequences are proposed to compare the different approaches. They show the improvement of robustness of these techniques with respect to illumination changes., Comprendre les mécanismes de transparence, d'apparition d'ombres, de variation d'éclairage, de spécularités, ne peut que faciliter la mise en ½uvre de tâches de traitement et d'analyse d'images, soit en modélisant ces phénomènes soit en calculant des attributs qui leur sont invariants. Cette thèse s'intéresse à deux problématiques liées à ces aspects. Premièrement, nous étudions la transparence d'une encre colorée imprimée sur un support de couleur. Nous proposons des attributs couleur invariants vis-à-vis de la couleur du support et vis-à-vis de la quantité d'encre. Ceux-ci sont exploités dans la mise en ½uvre d'un algorithme de segmentation de marquages à l'encre, alliant une classification et une croissance de région. Finalement, l'approche proposée est appliquée dans le cadre de la traçabilité de la viande porcine, où un identifiant doit être détecté sur des pièces de porc. Dans ce contexte applicatif, nous comparons plusieurs méthodes de segmentation mises en ½uvre et montrons la pertinence de l'utilisation d'attributs invariants. Ensuite, l'étude de modèles de réflexion a permis d'améliorer la robustesse du suivi de points d'intérêt. En effet, la plupart des techniques suppose que les objets sont lambertiens, admettant ainsi que la dynamique d'une scène se résume à l'aspect géométrique et non photométrique. Quelques approches proposent une compensation d'un modèle affine des variations d'illumination dans un voisinage proche du point à suivre, mais, à notre connaissance, leur fondement n'a pas été clairement justifié. Ainsi, à partir de l'étude des modèles de réflexion standards, nous déduisons les hypothèses sur lesquelles elles se basent. Ensuite, nous proposons une méthode de suivi de points basée sur un modèle photométrique local, les variations d'illumination étant approximées par une fonction continue autour du point à suivre. Des expérimentations sur divers types d'objets, soumis à des changements d'illumination ou non, prouvent la bonne robustesse de cette approche en comparaison aux méthodes existantes. De la même manière, le suivi de motifs plus larges est amélioré par un modèle photométrique plus complet. Nous abordons également le problème de la robustesse du suivi de points couleur vis-à-vis des variations d'illumination. D'une part, la méthode développée dans les images d'intensité a été étendue au cas de la couleur. Ensuite, l'utilisation d'invariants couleur permet d'assurer une correction globale vis-à-vis des changements d'éclairage. Enfin, nous améliorons l'utilisation des invariants les plus pertinents par un modèle photométrique local. Des expériences sur séquences réelles permettent de comparer les différentes approches et de prouver la meilleure robustesse de ces techniques vis-à-vis des variations d'illumination.