Search

International audience; This book constitutes the refereed joint proceedings of the First International Workshop on Graphs in Biomedical Image Analysis, GRAIL 2017, the 6th International Workshop on Mathematical Foundations of Computational Anatomy, MFCA 2017, and the Third International Workshop on Imaging Genetics, MICGen 2017, held in conjunction with the 20th International Conference on Medical Imaging and Computer-Assisted Intervention, MICCAI 2017, in Québec City, QC, Canada, in September 2017.

Arabidopsis thaliana is a plant species widely utilized by scientists to estimate the impact of genetic differences in root morphological features. For this purpose, images of this plant after genetic modifications are taken to study differences in the root architecture. This task requires manual segmentations of radicular structures, although this is a particularly tedious and time-consuming labor. In this work, we present an unsupervised method for Arabidopsis thaliana root segmentation based on morphological operations and fully-connected Conditional Random Fields. Although other approaches have been proposed to this purpose, all of them are based on more complex and expensive imaging modalities. Our results prove that our method can be easily applied over images taken using conventional scanners, with a minor user intervention. A first data set, our results and a fully open source implementation are available online.

Image registration methods, which aim at aligning two or more images into one coordinate system, are among the oldest and most widely used algorithms in computer vision. Registration methods serve to establish correspondence relationships among images (captured at different times, from different sensors or from different viewpoints) which are not obvious for the human eye. A particular type of registration algorithm, known as graph-based deformable registration methods, has become popular during the last decade given its robustness, scalability, efficiency and theoretical simplicity. The range of problems to which it can be adapted is particularly broad. In this thesis, we propose several extensions to the graph-based deformable registration theory, by exploring new application scenarios and developing novel methodological contributions.Our first contribution is an extension of the graph-based deformable registration framework, dealing with the challenging slice-to-volume registration problem. Slice-to-volume registration aims at registering a 2D image within a 3D volume, i.e. we seek a mapping function which optimally maps a tomographic slice to the 3D coordinate space of a given volume. We introduce a scalable, modular and flexible formulation accommodating low-rank and high order terms, which simultaneously selects the plane and estimates the in-plane deformation through a single shot optimization approach. The proposed framework is instantiated into different variants based on different graph topology, label space definition and energy construction. Simulated and real-data in the context of ultrasound and magnetic resonance registration (where both framework instantiations as well as different optimization strategies are considered) demonstrate the potentials of our method.The other two contributions included in this thesis are related to how semantic information can be encompassed within the registration process (independently of the dimensionality of the images). Currently, most of the methods rely on a single metric function explaining the similarity between the source and target images. We argue that incorporating semantic information to guide the registration process will further improve the accuracy of the results, particularly in the presence of semantic labels making the registration a domain specific problem.We consider a first scenario where we are given a classifier inferring probability maps for different anatomical structures in the input images. Our method seeks to simultaneously register and segment a set of input images, incorporating this information within the energy formulation. The main idea is to use these estimated maps of semantic labels (provided by an arbitrary classifier) as a surrogate for unlabeled data, and combine them with population deformable registration to improve both alignment and segmentation.Our last contribution also aims at incorporating semantic information to the registration process, but in a different scenario. In this case, instead of supposing that we have pre-trained arbitrary classifiers at our disposal, we are given a set of accurate ground truth annotations for a variety of anatomical structures. We present a methodological contribution that aims at learning context specific matching criteria as an aggregation of standard similarity measures from the aforementioned annotated data, using an adapted version of the latent structured support vector machine (LSSVM) framework.; Les méthodes de recalage d’images, qui ont pour but l’alignement de deux ou plusieurs images dans un même système de coordonnées, sont parmi les algorithmes les plus anciens et les plus utilisés en vision par ordinateur. Les méthodes de recalage servent à établir des correspondances entre des images (prises à des moments différents, par différents senseurs ou avec différentes perspectives), lesquelles ne sont pas évidentes pour l’œil humain. Un type particulier d’algorithme de recalage, connu comme « les méthodes de recalage déformables à l’aide de modèles graphiques » est devenu de plus en plus populaire ces dernières années, grâce à sa robustesse, sa scalabilité, son efficacité et sa simplicité théorique. La gamme des problèmes auxquels ce type d’algorithme peut être adapté est particulièrement vaste. Dans ce travail de thèse, nous proposons plusieurs extensions à la théorie de recalage déformable à l’aide de modèles graphiques, en explorant de nouvelles applications et en développant des contributions méthodologiques originales.Notre première contribution est une extension du cadre du recalage à l’aide de graphes, en abordant le problème très complexe du recalage d’une tranche avec un volume. Le recalage d’une tranche avec un volume est le recalage 2D dans un volume 3D, comme par exemple le mapping d’une tranche tomographique dans un système de coordonnées 3D d’un volume en particulier. Nos avons proposé une formulation scalable, modulaire et flexible pour accommoder des termes d'ordre élevé et de rang bas, qui peut sélectionner le plan et estimer la déformation dans le plan de manière simultanée par une seule approche d'optimisation. Le cadre proposé est instancié en différentes variantes, basés sur différentes topologies du graph, définitions de l'espace des étiquettes et constructions de l'énergie. Le potentiel de notre méthode a été démontré sur des données réelles ainsi que des données simulées dans le cadre d’une résonance magnétique d’ultrason (où le cadre d’installation et les stratégies d’optimisation ont été considérés).Les deux autres contributions inclues dans ce travail de thèse, sont liées au problème de l’intégration de l’information sémantique dans la procédure de recalage (indépendamment de la dimensionnalité des images). Actuellement, la plupart des méthodes comprennent une seule fonction métrique pour expliquer la similarité entre l’image source et l’image cible. Nous soutenons que l'intégration des informations sémantiques pour guider la procédure de recalage pourra encore améliorer la précision des résultats, en particulier en présence d'étiquettes sémantiques faisant du recalage un problème spécifique adapté à chaque domaine.Nous considérons un premier scénario en proposant un classificateur pour inférer des cartes de probabilité pour les différentes structures anatomiques dans les images d'entrée. Notre méthode vise à recaler et segmenter un ensemble d'images d'entrée simultanément, en intégrant cette information dans la formulation de l'énergie. L'idée principale est d'utiliser ces cartes estimées des étiquettes sémantiques (fournie par un classificateur arbitraire) comme un substitut pour les données non-étiquettées, et les combiner avec le recalage déformable pour améliorer l'alignement ainsi que la segmentation.Notre dernière contribution vise également à intégrer l'information sémantique pour la procédure de recalage, mais dans un scénario différent. Dans ce cas, au lieu de supposer que nous avons des classificateurs arbitraires pré-entraînés à notre disposition, nous considérons un ensemble d’annotations précis (vérité terrain) pour une variété de structures anatomiques. Nous présentons une contribution méthodologique qui vise à l'apprentissage des critères correspondants au contexte spécifique comme une agrégation des mesures de similarité standard à partir des données annotées, en utilisant une adaptation de l’algorithme « Latent Structured Support Vector Machine ».

Deformable image registration plays a fundamental role in many clinical applications. In this paper we investigate the use of graphical models in the context of a particular type of image registration problem, known as slice-to-volume registration. We introduce a scalable, modular and flexible formulation that can accommodate low-rank and high order terms, that simultaneously selects the plane and estimates the in-plane deformation through a single shot optimization approach. The proposed framework is instantiated into different variants seeking either a compromise between computational efficiency (soft plane selection constraints and approximate definition of the data similarity terms through pair-wise components) or exact definition of the data terms and the constraints on the plane selection. Simulated and real-data in the context of ultrasound and magnetic resonance registration (where both framework instantiations as well as different optimization strategies are considered) demonstrate the potentials of our method.; Le recalage d'images déformable est un élément essentiel dans de nombreuses applications cliniques. Dans ce rapport, nous nous intéressons aux modèles graphiques utilisés dans un type de recalage particulier : volume 3D et coupe 2D. Nous établissons un modèle modulaire, flexible et de taille variable qui intègre les potentiels d'ordres supérieurs et résoud simultanément la sélection de plan et l'estimation des transformations intra-plan, en une seule et même optimisation. Le cadre proposé peut être modifié selon plusieurs variantes cherchant soit un compromis entre l'efficacité de calcul (contraintes douces de sélection du plan et calcul approché du terme d'attache aux données par un potentiel à deux nœuds) ou une définition exacte du terme d'attache aux données et des contraintes de la sélection de plan. Nos expériences sur des données simulées et réelles pour des images ultrasons et des IRM (où différentes instanciations et méthodes d'optimisation ont été considérées) prouvent le potentiel de notre méthode.

The invention concerns a method and device for elastic registration of a two-dimensional source digital image of an object of interest with a slice of a three dimensional target volume of the object of interest, comprising defining a Markov Random Field framework comprising at least one undirected pairwise graph superimposed on the two-dimensional image domain comprising at least a set of regular vertices and at least a set of edges, defining at least a grid of control points, each control point corresponding to a vertex of the set of vertices, and a neighborhood system of edges associated with vertices. The method of the invention comprises defining a set of multi-dimensional labels of a discrete space to apply a displacement to each control point, a control point displacement defining a transformation adapted to obtain a plane slice of the target volume and an in-plane deformation transformation of the source digital image. A set of labels is obtained, defining a set of displaced control points, by minimizing an energy target function, the set of displaced control points defining a plane slice of the target volume that elastically matches the two-dimensional source digital image according to the energy target function. The energy target function is a sum comprising first order and/or second order and/or third order terms defined over first, second, third order sets of control points.

Background: Computed tomography (CT) is the most common imaging modality in traumatic brain injury (TBI). However, its conventional use requires expert clinical interpretation and does not provide detailed quantitative outputs, which may have prognostic importance. Deep learning could reliably and efficiently detect, distinguish, and quantify different lesion types, providing opportunities for personalised treatment strategies and clinical research. Methods: An initial convolutional neural network (CNN) was trained and validated on expert manual segmentations (97 scans). This CNN was then used to automatically segment a new set of 839 scans, which were then manually corrected by experts. From these, a subset of 184 scans was used to train a final CNN for multi-class, voxel-wise segmentation of lesion types. The performance of this CNN was evaluated on a held-out test set with 655 scans. External validation was performed on a large, independent set of 500 patients from a different continent. Findings: When compared to manual reference, CNN-derived lesion volumes showed a mean error of 0·86mL (95% CI -5·23 to 6·94) for intraparenchymal haemorrhage (IPH), 1·83mL (-12·01 to 15·66) for extra-axial haemorrhage (EAH), 2·09mL (-9·38 to 13·56) for perilesional oedema and 0·07mL (-1·00 to 1·13) for intraventricular haemorrhage (IVH). Further, the CNN detected lesions with AUCs of 0·90 (0·86-0·94) for IPH, 0·80 (0·75-0·85) for EAH, 0·95 (0·89-1·00) for IVH on the external, independent patient dataset. Interpretation: We demonstrate the ability of a CNN to separately segment, detect and quantify multi-class haemorrhagic lesions and importantly, perilesional oedema. These volumetric lesion estimates allow clinically relevant quantification of lesion burden and progression, with potential applications in clinical care and research in TBI. Funding: European Union 7th Framework Programme, Hannelore Kohl Stiftung; OneMind; Integra Neurosciences; European Research Council Horizon 2020; Engineering and Physical Sciences Research Council (UK); Academy of Medical Sciences/Health Foundation (UK); National Institute for Health Research (UK)., CENTER-TBI study was supported by the European Union 7th Framework program (EC grant 602150). Additional funding sources: Hannelore Kohl Stiftung; NeuroTrauma Sciences; Integra Neurosciences; European Research Council (ERC) Horizon 2020 (EC grant 757173); Engineering and Physical Sciences Research Council (EPSRC) (EP/R511547/1); Academy of Medical Sciences/The Health Foundation (UK); National Institute for Health Research (UK).