1. Objective Evaluation of Multiple Sclerosis Lesion Segmentation using a Data Management and Processing Infrastructure
- Author
-
Franca Wagner, Sorina Camarasu-Pop, Hélène Urien, Isabelle Bloch, Xavier Tomas-Fernandez, Jeremy Beaumont, John Muschelli, Chunliang Wang, Baptiste Laurent, Charles R.G. Guttmann, Tristan Glatard, Michael Kain, Mathieu Simon, Michel Dojat, April Khademi, Martin Styner, Pascal Girard, Thomas Tourdias, Michel M. dos Santos, Wellington Pinheiro dos Santos, Sergi Valverde, Richard McKinley, Abel G. Silva-Filho, Jesse Knight, Eloy Roura, Sandra Vukusic, Francisco Javier Vera-Olmos, François Cotton, Xavier Lladó, Elizabeth M. Sweeney, Senan Doyle, Anne Kerbrat, Olivier Commowick, Mariano Cabezas, Florent Leray, Amirreza Mahbod, Norberto Malpica, Gilles Edan, Roxana Ameli, Christian Barillot, Frederic Cervenansky, Florence Forbes, Simon K. Warfield, Audrey Istace, Jean-Christophe Ferré, Vision, Action et Gestion d'informations en Santé ( VisAGeS ), Institut National de la Santé et de la Recherche Médicale ( INSERM ) -Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -SIGNAUX ET IMAGES NUMÉRIQUES, ROBOTIQUE ( IRISA_D5 ), Institut de Recherche en Informatique et Systèmes Aléatoires ( IRISA ), Université de Rennes 1 ( UR1 ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ) -Université de Rennes 1 ( UR1 ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ) -Institut de Recherche en Informatique et Systèmes Aléatoires ( IRISA ), Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Institut National des Sciences Appliquées - Rennes ( INSA Rennes ) -Université de Bretagne Sud ( UBS ) -École normale supérieure - Rennes ( ENS Rennes ) -CentraleSupélec-Centre National de la Recherche Scientifique ( CNRS ) -IMT Atlantique Bretagne-Pays de la Loire ( IMT Atlantique ), Centre Hospitalier Lyon Sud [CHU - HCL] ( CHLS ), Hospices Civils de Lyon ( HCL ), Laboratoire de Traitement de l'Information Medicale ( LaTIM ), Université européenne de Bretagne ( UEB ) -Télécom Bretagne-Centre Hospitalier Régional Universitaire de Brest ( CHRU Brest ) -Université de Brest ( UBO ) -Institut National de la Santé et de la Recherche Médicale ( INSERM ) -Institut Mines-Télécom [Paris], Centre de Recherche en Acquisition et Traitement de l'Image pour la Santé ( CREATIS ), Université Claude Bernard Lyon 1 ( UCBL ), Université de Lyon-Université de Lyon-Institut National des Sciences Appliquées de Lyon ( INSA Lyon ), Université de Lyon-Institut National des Sciences Appliquées ( INSA ) -Institut National des Sciences Appliquées ( INSA ) -Hospices Civils de Lyon ( HCL ) -Université Jean Monnet [Saint-Étienne] ( UJM ) -Institut National de la Santé et de la Recherche Médicale ( INSERM ) -Centre National de la Recherche Scientifique ( CNRS ), Service de neurochirurgie [Rennes], Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ) -Hôpital Pontchaillou-CHU Pontchaillou [Rennes], Service de neurologie [Rennes], Université de Rennes ( UNIV-RENNES ) -Université de Rennes ( UNIV-RENNES ), Neuroinflammation: imagerie et thérapie de la sclérose en plaques, Université Bordeaux Segalen - Bordeaux 2-Institut National de la Santé et de la Recherche Médicale ( INSERM ), Concordia University [Montreal], Pixyl Medical [Grenoble], Modelling and Inference of Complex and Structured Stochastic Systems ( MISTIS ), Inria Grenoble - Rhône-Alpes, Institut National de Recherche en Informatique et en Automatique ( Inria ) -Institut National de Recherche en Informatique et en Automatique ( Inria ) -Laboratoire Jean Kuntzmann ( LJK ), Université Pierre Mendès France - Grenoble 2 ( UPMF ) -Université Joseph Fourier - Grenoble 1 ( UJF ) -Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique ( CNRS ) -Université Grenoble Alpes ( UGA ) -Université Pierre Mendès France - Grenoble 2 ( UPMF ) -Université Joseph Fourier - Grenoble 1 ( UJF ) -Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique ( CNRS ) -Université Grenoble Alpes ( UGA ) -Institut National Polytechnique de Grenoble ( INPG ), University of Guelph, Department of Electrical and Computer Engineering [TORONTO] ( ECE ), University of Toronto, Royal Institute of Technology [Stockholm] ( KTH ), University of Bern, Johns Hopkins Bloomberg School of Public Health [Baltimore, MD, USA], Visio per computador I robotica ( VICOROB ), Universitat de Girona ( UdG ), Universidade Federal de Pernambuco [Recife] ( UFPE ), Computational Radiology Laboratory [Boston] ( CRL ), Brigham and Women's Hospital [Boston]-Children's Hospital, Laboratoire Traitement et Communication de l'Information ( LTCI ), Télécom ParisTech-Institut Mines-Télécom [Paris]-Université Paris-Saclay, Universidad Rey Juan Carlos [Madrid] ( URJC ), Brigham and Women's Hospital [Boston], Service de Neurologie, CHU Pontchaillou, Rennes, Grenoble Institut des Neurosciences ( GIN ), Université Joseph Fourier - Grenoble 1 ( UJF ) -CHU Grenoble-Institut National de la Santé et de la Recherche Médicale ( INSERM ), Computer Science ( North Carolina State University ), North Carolina State University [Raleigh] ( NCSU ), Vision, Action et Gestion d'informations en Santé (VisAGeS), Institut National de la Santé et de la Recherche Médicale (INSERM)-Inria Rennes – Bretagne Atlantique, Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-SIGNAUX ET IMAGES NUMÉRIQUES, ROBOTIQUE (IRISA-D5), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT), Centre Hospitalier Lyon Sud [CHU - HCL] (CHLS), Hospices Civils de Lyon (HCL), Laboratoire de Traitement de l'Information Medicale (LaTIM), Université européenne de Bretagne - European University of Brittany (UEB)-Université de Brest (UBO)-Télécom Bretagne-Institut Mines-Télécom [Paris] (IMT)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre Hospitalier Régional Universitaire de Brest (CHRU Brest), Centre de Recherche en Acquisition et Traitement de l'Image pour la Santé (CREATIS), Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Université de Lyon-Institut National des Sciences Appliquées de Lyon (INSA Lyon), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université Jean Monnet - Saint-Étienne (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), Département de Radiologie [CHU de Rennes], Université de Rennes (UR), CHU Pontchaillou [Rennes], CHU Bordeaux [Bordeaux], Modelling and Inference of Complex and Structured Stochastic Systems (MISTIS ), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Laboratoire Jean Kuntzmann (LJK ), Institut polytechnique de Grenoble - Grenoble Institute of Technology (Grenoble INP )-Institut National de Recherche en Informatique et en Automatique (Inria)-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019])-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes [2016-2019] (UGA [2016-2019]), Ryerson University [Toronto], Royal Institute of Technology [Stockholm] (KTH ), Johns Hopkins Bloomberg School of Public Health [Baltimore], Johns Hopkins University (JHU), Research institute of Computer Vision and Robotics [Girona] (VICOROB), Universitat de Girona (UdG), Universidade Federal de Pernambuco [Recife] (UFPE), Computational Radiology Laboratory [Boston] (CRL), Brigham and Women's Hospital [Boston]-Boston Children's Hospital, Laboratoire Traitement et Communication de l'Information (LTCI), Télécom ParisTech-Institut Mines-Télécom [Paris] (IMT)-Centre National de la Recherche Scientifique (CNRS), Universidad Rey Juan Carlos [Madrid] (URJC), Service de Neurologie [Lyon], CHU Lyon, [GIN] Grenoble Institut des Neurosciences (GIN), Institut National de la Santé et de la Recherche Médicale (INSERM)-Université Grenoble Alpes (UGA), University of North Carolina [Chapel Hill] (UNC), University of North Carolina System (UNC), This work was partly funded by France Life Imaging (grant ANR-11-INBS-0006 from the French 'Investissements d’Avenir' program) for funding and sponsoring the challenge. This work has also been partly supported by a grant (OFSEP) provided by the French State and handled by the 'Agence nationale de la recherche', within the framework of the 'Investissements d’Avenir' program, under the reference ANR-10-COHO-002. We also thank the French national cohort OFSEP (a French 'Investissements d’Avenir' program), and particularly the imaging group inside this cohort consortium for their constant support, fruitful discussions on the challenge and providing the MR images., ANR-11-INBS-0006,FLI,France Life Imaging(2011), ANR-10-COHO-0002,OFSEP,Observatoire Français de la Sclérose en Plaques(2010), Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Rennes 1 (UR1), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Université européenne de Bretagne - European University of Brittany (UEB)-Télécom Bretagne-Centre Hospitalier Régional Universitaire de Brest (CHRU Brest)-Université de Brest (UBO)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Institut Mines-Télécom [Paris] (IMT), Université Jean Monnet [Saint-Étienne] (UJM)-Hospices Civils de Lyon (HCL)-Institut National des Sciences Appliquées de Lyon (INSA Lyon), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Université de Lyon-Institut National des Sciences Appliquées (INSA)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Centre National de la Recherche Scientifique (CNRS)-Institut National de la Santé et de la Recherche Médicale (INSERM), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES), Modelling and Inference of Complex and Structured Stochastic Systems (MISTIS), Institut National de Recherche en Informatique et en Automatique (Inria)-Institut National de Recherche en Informatique et en Automatique (Inria)-Laboratoire Jean Kuntzmann (LJK), Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA)-Université Pierre Mendès France - Grenoble 2 (UPMF)-Université Joseph Fourier - Grenoble 1 (UJF)-Institut Polytechnique de Grenoble - Grenoble Institute of Technology-Centre National de la Recherche Scientifique (CNRS)-Université Grenoble Alpes (UGA)-Institut National Polytechnique de Grenoble (INPG), Boston Children's Hospital-Brigham and Women's Hospital [Boston], Grenoble Institut des Neurosciences (GIN), Université Joseph Fourier - Grenoble 1 (UJF)-Centre Hospitalier Universitaire [Grenoble] (CHU)-Institut National de la Santé et de la Recherche Médicale (INSERM), ANR-11-INBS-0006/11-INBS-0006,FLI,France In vivo Imaging(2011), ANR-10-COHO-002-01/10-COHO-0002,OFSEP,Observatoire Français de la Sclérose en Plaques(2010), Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National de Recherche en Informatique et en Automatique (Inria)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Université de Rennes (UNIV-RENNES)-CentraleSupélec-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique), Institut Mines-Télécom [Paris] (IMT)-Institut Mines-Télécom [Paris] (IMT)-Université de Bretagne Sud (UBS)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-École normale supérieure - Rennes (ENS Rennes)-Centre National de la Recherche Scientifique (CNRS)-Université de Rennes 1 (UR1), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique)-Université de Rennes 1 (UR1), Institut National des Sciences Appliquées (INSA)-Université de Rennes (UNIV-RENNES)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Brest (UBO)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre Hospitalier Régional Universitaire de Brest (CHRU Brest)-IMT Atlantique Bretagne-Pays de la Loire (IMT Atlantique)-Institut Brestois Santé Agro Matière (IBSAM), Université de Brest (UBO), Images et Modèles, Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Hospices Civils de Lyon (HCL)-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)-Université Claude Bernard Lyon 1 (UCBL), Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Hospices Civils de Lyon (HCL)-Université Jean Monnet [Saint-Étienne] (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS), Université de Rennes (UNIV-RENNES)-Université de Rennes (UNIV-RENNES)-Hôpital Pontchaillou-CHU Pontchaillou [Rennes], Université Bordeaux Segalen - Bordeaux 2-Institut National de la Santé et de la Recherche Médicale (INSERM), Service Informatique et développements, Department of Electrical and Computer Engineering [University of Toronto] (ECE), Télécom ParisTech-Institut Mines-Télécom [Paris] (IMT), Service de Neurologie [CHU Rennes], Université Joseph Fourier - Grenoble 1 (UJF)-CHU Grenoble-Institut National de la Santé et de la Recherche Médicale (INSERM), Computer Science (North Carolina State University), North Carolina State University [Raleigh] (NC State), University of North Carolina System (UNC)-University of North Carolina System (UNC), RMN et optique : De la mesure au biomarqueur, Edan, Gilles, Infrastructures - France Life Imaging - - FLI2011 - ANR-11-INBS-0006 - INBS - VALID, Cohortes - Observatoire Français de la Sclérose en Plaques - - OFSEP2010 - ANR-10-COHO-0002 - COHO - VALID, and Université de Lyon-Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Hospices Civils de Lyon (HCL)-Université Jean Monnet - Saint-Étienne (UJM)-Institut National de la Santé et de la Recherche Médicale (INSERM)-Centre National de la Recherche Scientifique (CNRS)
- Subjects
Male ,Computer science ,Data management ,MESH: Parenchymal Tissue ,lcsh:Medicine ,Esclerosi múltiple ,computer.software_genre ,030218 nuclear medicine & medical imaging ,MESH: Magnetic Resonance Imaging ,Machine Learning ,0302 clinical medicine ,open science ,Image Processing, Computer-Assisted ,Segmentation ,[ SDV.IB ] Life Sciences [q-bio]/Bioengineering ,Image processing -- Digital techniques ,lcsh:Science ,610 Medicine & health ,Multiple sclerosis lesion ,image segmentation ,MESH: Machine Learning ,Magnetic Resonance Imaging ,MESH: Image Processing, Computer-Assisted ,Random forest ,performance evaluation ,MESH: Neural Networks, Computer ,[SDV.IB]Life Sciences [q-bio]/Bioengineering ,Female ,[SDV.NEU]Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC] ,Objective evaluation ,Algorithms ,MESH: Algorithms ,Machine learning ,Article ,Multiple sclerosis ,03 medical and health sciences ,Imatges -- Processament -- Tècniques digitals ,distributed computing ,Image Interpretation, Computer-Assisted ,Humans ,[SDV.NEU] Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC] ,Parenchymal Tissue ,Retrospective Studies ,MESH: Humans ,business.industry ,Deep learning ,Imatge -- Segmentació ,lcsh:R ,MESH: Retrospective Studies ,MESH: Multiple Sclerosis ,MESH: Male ,Imaging segmentation ,computing infrastructure ,[ SDV.NEU ] Life Sciences [q-bio]/Neurons and Cognition [q-bio.NC] ,lcsh:Q ,Neural Networks, Computer ,Artificial intelligence ,business ,computer ,MESH: Female ,MESH: Image Interpretation, Computer-Assisted ,030217 neurology & neurosurgery - Abstract
We present a study of multiple sclerosis segmentation algorithms conducted at the international MICCAI 2016 challenge. This challenge was operated using a new open-science computing infrastructure. This allowed for the automatic and independent evaluation of a large range of algorithms in a fair and completely automatic manner. This computing infrastructure was used to evaluate thirteen methods of MS lesions segmentation, exploring a broad range of state-of-theart algorithms, against a high-quality database of 53 MS cases coming from four centers following a common definition of the acquisition protocol. Each case was annotated manually by an unprecedented number of seven different experts. Results of the challenge highlighted that automatic algorithms, including the recent machine learning methods (random forests, deep learning, …), are still trailing human expertise on both detection and delineation criteria. In addition, we demonstrate that computing a statistically robust consensus of the algorithms performs closer to human expertise on one score (segmentation) although still trailing on detection scores This work was partly funded by France Life Imaging (grant ANR-11-INBS-0006 from the French “Investissements d’Avenir” program) for funding and sponsoring the challenge. This work has also been partly supported by a grant (OFSEP) provided by the French State and handled by the “Agence nationale de la recherche”, within the framework of the “Investissements d’Avenir” program, under the reference ANR-10-COHO-002. We also thank the French national cohort OFSEP (a French “Investissements d’Avenir” program), and particularly the imaging group inside this cohort consortium for their constant support, fruitful discussions on the challenge and providing the MR images
- Published
- 2018