Deep learning for segmentation of brain MRI - validation on the ventricular system and white matter lesions

Magnetic resonance images (MRIs) enable neuroradiologists to investigate the human brain to look for possible causes of disease. The clinical interpretation of these images is, however, mostly limited to subjective assessment or a rough measurement of the area or volume of brain structures and presence of lesions. Multiple automatic methods have been developed to label different brain structures from MRIs, from which size, shape, and location of these structures and lesions can be extracted. These types of measurements enable researchers to perform comparisons in large scale studies. Multiple conventional whole-brain segmentation methods are based on finding a geometric transformation from MRIs with manually delineated brain structures to a target MRI that will consequently have the corresponding brain structures automatically labeled. These methods have worked very well for transforming labels between subjects and they have been extensively used in brain MRI studies. However, their main disadvantages are: 1) They are very slow (6+ hours for labelling one image), 2) their results are often inaccurate when the brain is deformed, e.g., due to atrophy, and 3) it is not possible to transform brain lesions from one subject to another, since their placement in the brain is variable. Current state-of-the-art brain segmentation methods are often based on deep neural networks (DNNs). DNNs can learn to approximate any function between an input and output given enough training data. After training, the DNNs can be used to analyse images fast and accurately. However, it can be very expensive and time consuming to generate enough training data for DNNs. A DNN trained on one MRI data set often does not work adequately well on another data set where different MRI parameters or scanners are used. Therefore, it would be beneficial to develop DNN methods that minimize the need for manually delineated training data. We have developed novel, automatic methods to label the ventricular system and WM lesions in the brain. Ventricular enlargement and WM lesions are associated with neurodegenerative diseases, e.g. Alzheimer’s disease, vascular dementia, and adult hydrocephalus. Our method, called SegAE, is the first unsupervised convolutional neural network for simultaneous segmentation of tissues and WM lesions from brain MRIs. SegAE‘s output are images that show the proportion of tissues and WM lesions in each voxel, but labelling WM lesions automatically has thus far been a challenging problem to solve, e.g. due to the variability of lesion load and location, and the inhomogeneous nature of MRI signal intensities within tissues. Furthermore, we use the output from SegAE to make images that have the same contrast irrespective of scanner type and parameters. That is advantageous because one major challenge in automatic medical image analysis is the lack of consistency of results using different data sets. This way we can make use of a DNN trained on manually labelled images from one data set and use it on another where the DNN input is a standardized image of the materials that cause the signal intensities in the MRI sequences. We have validated our methods on various data sets, including the AGES-Reykjavik study, that includes thousands of brain MRIs with a large variability of ventricular volumes and WM lesions. The methods have been compared to state-of-the-art methods and manual delineations by neuroradiologists. Our results indicate that the methods are accurate and robust to different scanners, and variability in brain structure, as well as being significantly faster than conventional methods.
Segulómmyndir gera taugaröntgenlæknum kleift að líta inn í heila mannsins í leit að orsökum sjúkdóma. Túlkun myndanna í klíník er hins vegar að mestu leyti takmörkuð við huglægt mat eða grófa mælingu á stærð og umfangi heilasvæða og vefjaskemmda. Fjöldi sjálfvirkra aðferða hefur verið þróaður til að merkja mismunandi heilasvæði út frá segulómmyndum. Með sjálfvirkum merkingum fást mælingar á stærð, lögun og staðsetningu heilasvæða og vefjaskemmda. Slíkar mælingar gera rannsakendum kleift að framkvæma stórar samanburðarrannsóknir. Hefðbundnar merkingaraðferðir eru meðal annars byggðar á því að finna rúmfræðilega vörpun frá nokkrum handmerktum myndum yfir í þá mynd sem við höfum áhuga á að fá nýjar merkingar fyrir. Þessar aðferðir hafa gefist mjög vel til þess að yfirfæra merkingar á heilasvæðum og þær eru mikið notaðar í rannsóknum. Ókostir þeirra eru hins vegar að: 1) Þær eru mjög hægar (6+ klst að merkja eina mynd), 2) niðurstöður eru oft ónákvæmar þegar heilinn er mikið aflagaður svo sem vegna rýrnunar, 3) ekki er hægt að varpa staðsetningu vefjaskemmda frá einum einstaklingi til annars, þar sem staðsetning þeirra í heilanum getur verið breytileg. Nákvæmustu og hröðustu aðferðir sem til eru í dag byggja á djúpum tauganetum. Tauganet geta lært hvaða fall sem er milli inntaks og úttaks ef næg þjálfunargögn eru fyrir hendi. Eftir þjálfun geta tauganetin greint myndir mjög hratt og nákvæmlega. Hins vegar er mjög dýrt og tímafrekt að útbúa næg þjálfunargögn fyrir tauganet. Oft virkar tauganet sem þjálfað er á einu gagnasafni ekki jafn vel á öðru gagnasafni þar sem öðruvísi púlsaraðir (þ.e. stillingar á segulómtækinu) eru notaðar við myndatöku. Því er til mikils að vinna við þróun tauganeta sem lágmarka þörf á handgerðum þjálfunarmyndum. Við höfum þróað nýstárlegar, sjálfvirkar aðferðir til að merkja heilahólf og hvítavefsbreytingar í heilanum, en þekkt er að stækkun heilahólfa og umfang hvítavefsbreytinga eru tengd heilahrörnunarsjúkdómum, m.a. Alzheimerssjúkdómi, æðaheilabilun og fullorðinsvatnshöfði. Aðferðin okkar kallast SegAE, en hún er fyrsta földunartauganetið (e. Convolutional Neural Network) sem þjálfað er á óstýrðan hátt (e. unsupervised) til þess að finna vefi og hvítavefsbreytingar í heila út frá segulómmyndum. Úttak SegAE eru myndir sem sýna hlutfall vefja og hvítavefsbreytinga í hverjum myndpunkti en að merkja hvítavefsbreytingar sjálfvirkt hefur hingað til reynst erfitt vandamál að leysa m.a. vegna þess að stærð og staðsetning hvítavefsbreytinga er mjög breytileg milli einstaklinga og birtustig vefja er ekki staðlað í segulómmyndum. Auk þess notum við úttak SegAE til þess að búa til staðlaða mynd af heilanum óháð gerð og stillingum segulómtækja. Þetta er mikill kostur þar sem ein helsta áskorun læknisfræðilegrar myndgreiningar í dag er ósamræmi niðurstaðna á milli tækja. Þannig getum við tekið tauganet sem þjálfað er á handgerðum myndum úr einu gagnasafni og notað það á öðru þar sem inntakið í tauganetið eru staðlaðar myndir af þeim efnum sem orsaka birtuskil myndaraða í segulómun. Við höfum prófað aðferðirnar á mismunandi gagnasöfnum, þ.á.m. Öldrunarrannsókn Hjartaverndar, sem inniheldur þúsundir heilamynda af einstaklingum með mikinn breytileika m.t.t. heilahólfa og hvítavefsbreytinga. Aðferðirnar hafa verið bornar saman við aðferðir í fremstu röð auk handmerktra mynda, sem merktar hafa verið af taugaröntgenlæknum. Niðurstöður okkar benda til þess að aðferðirnar séu afar nákvæmar og stöðugar gagnvart breytileika milli segulómtækja og breytileika í byggingu heilans og eru þær þar að auki hraðvirkari en fyrri aðferðir.
Rannís, grant no. 173942-051