1. Morphological and logarithmic analysis of large image databases
- Author
-
Guillaume Noyel, Centre de Recherche en Sciences et Technologies de l'Information et de la Communication - EA 3804 (CRESTIC), Université de Reims Champagne-Ardenne (URCA), University of Strathclyde [Glasgow], Université de Reims Champagne-Ardenne, Michel Jourlin, European Project: 717108,H2020,H2020-SMEINST-1-2015,Eye Light(2016), Noyel, Guillaume, and Eye fundus colour images enhancement service for Diabetic Retinopathy diagnosis - Eye Light - - H20202016-03-01 - 2016-08-31 - 717108 - VALID
- Subjects
Artificial intelligence ,Eye fundus images ,Radiographie ,imagerie médicale ,Reconstruction 3D ,Calcul vectoriel ,Colour ,percolation ,[INFO.INFO-CV] Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV] ,Segmentation ,Métriques fonctionnelles d’Asplund ,Diabetic retinopathy ,Vector processing ,region homogeneity ,stereovision ,Image registration ,ACM: I.: Computing Methodologies/I.5: PATTERN RECOGNITION ,Public health ,Radial distortions ,segmentation vasculaire ,multimodal acquisition ,vessel segmentation ,[MATH.MATH-NA] Mathematics [math]/Numerical Analysis [math.NA] ,Acquisition multimodale ,Recalage d’image déformable ,Robustness to lighting variations ,Contrastes perceptuels ,Texture analysis ,low contrast images ,Accélération d’algorithmes ,Images à faibles contrastes ,Parallelisation ,large image databases ,Medical imaging ,logarithmic mathematical morphology ,Calibrage ,fond d’oeil ,[SPI.SIGNAL]Engineering Sciences [physics]/Signal and Image processing ,radiography ,ACM: I.: Computing Methodologies ,[MATH.MATH-NA]Mathematics [math]/Numerical Analysis [math.NA] ,Apprentissage profond ,Contrast enhancement ,Apprentissage statistique ,rétine ,perceptual contrasts ,Morphologie mathématique logarithmique ,Logarithmic image processing ,Retina ,Recalage d’image ,rétinopathie diabétique ,Industrial control ,B-spline ,B-splines ,distorsion radiale ,Machine learning ,traitement massif d’image ,Robustesse aux variations d’éclairement ,Industrie ,functional Asplund metrics ,Industry ,Contrôle industriel ,3D reconstruction ,speed up of algorithms ,ACM: G.: Mathematics of Computing/G.1: NUMERICAL ANALYSIS ,[SPI.SIGNAL] Engineering Sciences [physics]/Signal and Image processing ,ACM: I.: Computing Methodologies/I.4: IMAGE PROCESSING AND COMPUTER VISION ,grandes banques d’images ,[INFO.INFO-CV]Computer Science [cs]/Computer Vision and Pattern Recognition [cs.CV] ,Deep learning ,Intelligence artificielle ,calibration ,Morphologie mathématique ,massive image processing ,Mathematical morphology ,Parallélisation ,santé publique ,Couleur ,homographie affine ,affine homography ,Analyse de texture ,Deformable image registration ,Homogénéité de région ,Amélioration des contrastes ,Stéréovision - Abstract
With the massive use of digital photography, large databases of images have been built during the last decades, both for industry and medicine. However, the images were generally captured with different lighting conditions, poses of the camera and types of camera. This causes difficulties when comparing images of the same scene. I have proposed methods to analyse these large databases which address these issues. They have been applied to the field of tyres for the control of their visual aspect and the study of their performances as well as to the field of healthcare for the diagnosis and the follow-up of diabetic retinopathy. These methods fall into the framework of Mathematical Morphology and Logarithmic Image processing (LIP). In particular, thanks to partnerships with academia, I have developed approaches of morphological segmentation and classification by machine learning. They have been used for the analysis of images of tyre surfaces (which can be textured or in three dimensions) in order to look for defaults. They have also served for the automatic analysis of eye fundus images from patients with diabetes. Due to the large amount of data to analyse, I have speeded up algorithms with regards to their complexity as well as their efficient programming. The program can be run in parallel over several processor cores or written in a vector way (i.e., several numbers processed at the same time in place of a single one). Thanks to the LIP model, I have proposed methods to improve colour contrast in retinal images. I have studied the properties of these functional metrics which have been defined either with the LIP-additive law, or with the LIP-multiplicative law. The first metric, which is LIP-additive, is robust to lighting variations caused by a change in the exposure time of the camera or in the source intensity. The second one, which is LIP-multiplicative, is robust to lighting variations due to changes of opacity of the captured object. These metrics are useful for pattern matching, thanks to distance maps between a reference function and an image. I have established the link between these maps of Asplund distances and Mathematical Morphology. Then, I have created the new framework of Logarithmic Mathematical Morphology which is based on the fundamental operations of erosion and dilation with the LIP-additive law. This gives them the interesting property of being adaptive to lighting variations caused by a change of camera exposure-time. Other operators, robust to these variations, have been defined in this novel framework. The latter and the LIP model have allowed the introduction of segmentation methods robust to lighting variations. Percolation techniques have also been studied with logarithmic colour contrasts. In addition, I have conceived and made a three-dimensional and multimodal acquisition system by stereovision, in the domain of the visible light and in the one of X-rays for tyre imaging. The complete chain has been studied and validated, including stereoscopic acquisition, calibration of the acquisition system and 3D reconstruction. In addition, in order to compare images of radial cuts of tyres with their 2D plan, a deformable registration method based on cubic B-splines has been successfully tested. For the longitudinal (i.e., temporal) analysis of eye fundus images, I have introduced a superimposition model made of an affine homography (i.e., a rotation, a translation and an anisotropic scaling) and one or two corrections of radial distortions depending on the number of cameras used for the acquisition. Compared to other state-of-the-art methods, in series of image pairs from public health databases captured with an interval of a year, the proposed approach gives better results. These research works form my contribution to the analysis of large image databases in industry or in medicine., Avec l’utilisation de plus en plus massive de la photographie numérique, de grandes banques de données d’images ont été constituées durant ces dernières décennies tant dans l’industrie que pour la médecine. Cependant, les images ont généralement été acquises avec différentes conditions d’éclairement, poses de l’appareil photographique et types d’appareil. Ceci cause des difficultés de comparaison entre les images d’une même scène. J’ai proposé des méthodes pour l’analyse de ces grandes banques de données qui répondent à cette problématique. Elles ont été appliquées dans le domaine des pneumatiques pour le contrôle de leur aspect visuel et l’étude de leur performancesainsi que dans celui de la santé pour le diagnostic et le suivi de la rétinopathie diabétique. Ces méthodes appartiennent aux cadres de travail de la Morphologie Mathématique et du Logarithmic Image Processing (LIP). Grâce à des collaborations académiques, j’ai développé des approches de segmentation morphologiques et de classification par apprentissage statistique. Elles ont été utilisées pour l’analyse d’images texturées et tridimensionnelles de la surface des pneumatiques, à des fins de recherche de défauts. Elles ont aussi servi à l’analyse automatique des images du fond d’œil chez les patients atteints de diabète. Du fait de la grande quantité de données à analyser, j’ai amélioré des algorithmes tant au niveau de leur complexité qu’au niveau de leur programmation efficace. Le programme peut être exécuté en parallèle sur plusieurs cœurs de processeurs et écritde manière vectorielle (i.e. plusieurs nombres traités à la fois au lieu d’un seul). Grâce au modèle LIP, j’ai proposé des méthodes d’amélioration des contrastes couleur des images rétiniennes. J’ai étudié les propriétés des métriques fonctionnelles d’Asplund définies soit avec la loi LIP-additive, soit avec la loi LIP-multiplicative. La première métrique, qui est LIP-additive, est robuste aux variations d’éclairement causées par un changement du temps d’exposition de la caméra ou de l’intensité de la source. La seconde, qui est LIP-multiplicative, est robuste aux variations d’éclairement dues à un changement d’opacité de l’objet capturé. Ces métriques sont utiles à la reconnaissance des formes, grâce aux cartes de distances entre une fonction de référence et une image.J’ai établi le lien entre ces cartes de distances d’Asplund et la Morphologie Mathématique. Puis, j’ai créé le nouveau cadre de la Morphologie Mathématique Logarithmique qui consiste à définir les opérations fondamentales d’érosion et de dilatation avec la loi LIP-additive. Ceci leur donne la propriété intéressante d’être adaptatives aux variations d’éclairement causées par un changementdu temps d’exposition de la caméra. D’autres opérateurs, robustes à ces variations, ont été définis dans ce nouveau cadre de travail. Celui-ci et le modèle LIP ont permis l’introduction de méthodes de segmentation robustes aux variations d’éclairement. Des techniques de percolations ont aussi été étudiées avec des contrastes logarithmiques couleur. En outre, j’ai conçu et réalisé un système d’acquisitions tridimensionnelles et multimodales par stéréovision dans le domaine de la lumière visible et dans celui des rayons X pour l’imagerie des pneumatiques. La chaîne complète comprenant l’acquisition stéréoscopique, le calibrage des systèmes d’acquisition et la reconstruction 3D a été étudiée et validée. De plus, afin de comparer les images de coupes radiales de pneumatiques avec leurs épures (i.e. leurs plans 2D), une méthode de recalage déformable à partir de B-splines cubiques a été testée avec succès. Pour l’analyse longitudinale (i.e. temporelle) des images du fond d’œil, j’ai introduit un nouveau modèle de superposition composé d’une homographie affine (i.e. une rotation, une translation et une mise à l’échelle anisotrope) et d’une ou deux corrections de distorsions radiales selon le nombre de caméras employées lors de l’acquisition. Comparée à plusieurs méthodes de l’état de l’art, sur des séries de paires d’images provenant de banques dedonnées de santé publique acquises avec une année d’intervalle, l’approche proposée donne de meilleurs résultats. Ces travaux de recherche constituent ma contribution à l’analyse des grandes banques d’images dans l’industrie ou en médecine.
- Published
- 2021