Search

This thesis deals with deformable registration techniques of preoperative data to the intra-operative sceneas an indispensable step in the realisation of augmented reality for abdominal surgery. Such techniques arethus discussed as well as evaluation methodologies associated with them. Two contexts are considered : theregistration for computer-assisted laparoscopic surgery and the postural registration of the patient on theoperating table. For these two contexts, the needs to be met by the registration algorithms considered arediscussed, as well as the main limitations of the existing solutions. Algorithms developped during this thesis,allowing to meet these needs are thus proposed and discussed. Special attention is given to their evaluation.Different datasets allowing a quantitative evaluation of the accuracy of the registration algorithms, also realizedduring this thesis, and made public, are also discussed. Such data are extremely important because they respondto a lack of evaluation data needed in order to evaluate the registration error in a quantitative way, and thus tocompare the different algorithms. The modeling of the illumination of the laparoscopic scene, allowing one toextract strong constraints between the data to be registered and the surface of the observed organ, and thus tobe used to constrain these registration problems, is also discussed. This manuscript has seven parts. The firstdeals with the context surrounding this thesis. Minimally invasive surgery is presented as well as various generalcomputer vision problems which, when applied to the medical context, allow the definition of computer-assistedsurgery. The second part deals with the prerequisites for reading the thesis. The pre-processing of pre-operativeand per-operative data, before their use by the presented registration algorithms, is thus discussed. The thirdpart corresponds to the registration of hepatic data in laparoscopy, and the evaluation associated with thisproblems. The fourth part deals with the problem of postural registration. The fifth part proposes a modellingof the lighting in laparoscopy which can be used to obtain strong constraints between the observed surfaceand the laparoscopic images. The sixth part proposes a use of the light models discussed in the previous partin order to refine and densify reconstructions of the laparoscopic scene. Finally, the seventh and last partcorresponds to our conclusions regarding the issues addressed during this thesis, and to future work.; Cette thèse concerne les techniques de recalage déformable de données pré-opératoires dans la scène peropératoire en tant qu’étape indispensable à la réalisation de réalité augmentée pour la chirurgie abdominale. De telles techniques sont ainsi discutées, de même que les méthodologies d’évaluation associées à ces dernières.Deux contextes sont considérés : le recalage pour la chirurgie coelioscopique assistée par ordinateur et le recalage postural de patient sur la table d’opération. Pour ces deux contextes, les besoins auxquels doivent répondre les algorithmes de recalage considérés sont discutés, ainsi que les principales limitations des solutions existantes.Des algorithmes réalisés au cours de cette thèse, permettant de répondre à ces besoins sont ainsi proposés et discutés. Une attention toute particulière est alors accordée à leur évaluation. Différents jeux de données permettant une évaluation quantitative de la précision des algorithmes de recalage, créés eux aussi durant cette thèse, et rendu publics, sont ainsi présentés. De telles données sont extrêmement importantes car elles répondent à un manque de données standardisées permettant d’évaluer l’erreur de recalage de façon quantitative, et ainsi de comparer les différents algorithmes. La modélisation de l’éclairage de la scène coelioscopique, permettant d’extraire des contraintes fortes sur les données à recaler et la surface de l’organe observé, et ainsi d’être utilisée pour contraindre ces problématiques de recalage, est aussi discutée. Ce manuscrit est séparé en sept parties. La première traite du contexte de la thèse. La chirurgie mini-invasive est présentée ainsi que différents problèmes de vision par ordinateur généraux qui, une fois appliqués au contexte médical permettent de définir la chirurgie assistée par ordinateur. La seconde partie traite des prérequis à la lecture de la thèse. Le prétraitement des données pré-opératoires et per-opératoires, avant utilisation par les algorithmes de recalage présentés,est ainsi discuté. La troisième partie correspond au recalage de données hépatiques en coelioscopie, et de l’évaluation associée à cette méthode. La quatrième partie correspond quant à elle à la problématique du recalage postural. La cinquième partie propose une modélisation de l’éclairage en coelioscopie pouvant être utilisée pour obtenir des contraintes fortes entre la surface observée et les images coelioscopiques. La sixièmepartie propose une utilisation des modèles de lumière discutés dans la partie précédente afin de raffiner et densifier des reconstructions de la scène coelioscopique. Enfin, la septième et dernière partie correspond à nos conclusions vis-à-vis des problématiques abordées au cours de la thèse, et aux travaux futurs.

This thesis deals with deformable registration techniques of preoperative data to the intra-operative sceneas an indispensable step in the realisation of augmented reality for abdominal surgery. Such techniques arethus discussed as well as evaluation methodologies associated with them. Two contexts are considered : theregistration for computer-assisted laparoscopic surgery and the postural registration of the patient on theoperating table. For these two contexts, the needs to be met by the registration algorithms considered arediscussed, as well as the main limitations of the existing solutions. Algorithms developped during this thesis,allowing to meet these needs are thus proposed and discussed. Special attention is given to their evaluation.Different datasets allowing a quantitative evaluation of the accuracy of the registration algorithms, also realizedduring this thesis, and made public, are also discussed. Such data are extremely important because they respondto a lack of evaluation data needed in order to evaluate the registration error in a quantitative way, and thus tocompare the different algorithms. The modeling of the illumination of the laparoscopic scene, allowing one toextract strong constraints between the data to be registered and the surface of the observed organ, and thus tobe used to constrain these registration problems, is also discussed. This manuscript has seven parts. The firstdeals with the context surrounding this thesis. Minimally invasive surgery is presented as well as various generalcomputer vision problems which, when applied to the medical context, allow the definition of computer-assistedsurgery. The second part deals with the prerequisites for reading the thesis. The pre-processing of pre-operativeand per-operative data, before their use by the presented registration algorithms, is thus discussed. The thirdpart corresponds to the registration of hepatic data in laparoscopy, and the evaluation associated with thisproblems. The fourth part deals with the problem of postural registration. The fifth part proposes a modellingof the lighting in laparoscopy which can be used to obtain strong constraints between the observed surfaceand the laparoscopic images. The sixth part proposes a use of the light models discussed in the previous partin order to refine and densify reconstructions of the laparoscopic scene. Finally, the seventh and last partcorresponds to our conclusions regarding the issues addressed during this thesis, and to future work., Cette thèse concerne les techniques de recalage déformable de données pré-opératoires dans la scène peropératoire en tant qu’étape indispensable à la réalisation de réalité augmentée pour la chirurgie abdominale. De telles techniques sont ainsi discutées, de même que les méthodologies d’évaluation associées à ces dernières.Deux contextes sont considérés : le recalage pour la chirurgie coelioscopique assistée par ordinateur et le recalage postural de patient sur la table d’opération. Pour ces deux contextes, les besoins auxquels doivent répondre les algorithmes de recalage considérés sont discutés, ainsi que les principales limitations des solutions existantes.Des algorithmes réalisés au cours de cette thèse, permettant de répondre à ces besoins sont ainsi proposés et discutés. Une attention toute particulière est alors accordée à leur évaluation. Différents jeux de données permettant une évaluation quantitative de la précision des algorithmes de recalage, créés eux aussi durant cette thèse, et rendu publics, sont ainsi présentés. De telles données sont extrêmement importantes car elles répondent à un manque de données standardisées permettant d’évaluer l’erreur de recalage de façon quantitative, et ainsi de comparer les différents algorithmes. La modélisation de l’éclairage de la scène coelioscopique, permettant d’extraire des contraintes fortes sur les données à recaler et la surface de l’organe observé, et ainsi d’être utilisée pour contraindre ces problématiques de recalage, est aussi discutée. Ce manuscrit est séparé en sept parties. La première traite du contexte de la thèse. La chirurgie mini-invasive est présentée ainsi que différents problèmes de vision par ordinateur généraux qui, une fois appliqués au contexte médical permettent de définir la chirurgie assistée par ordinateur. La seconde partie traite des prérequis à la lecture de la thèse. Le prétraitement des données pré-opératoires et per-opératoires, avant utilisation par les algorithmes de recalage présentés,est ainsi discuté. La troisième partie correspond au recalage de données hépatiques en coelioscopie, et de l’évaluation associée à cette méthode. La quatrième partie correspond quant à elle à la problématique du recalage postural. La cinquième partie propose une modélisation de l’éclairage en coelioscopie pouvant être utilisée pour obtenir des contraintes fortes entre la surface observée et les images coelioscopiques. La sixièmepartie propose une utilisation des modèles de lumière discutés dans la partie précédente afin de raffiner et densifier des reconstructions de la scène coelioscopique. Enfin, la septième et dernière partie correspond à nos conclusions vis-à-vis des problématiques abordées au cours de la thèse, et aux travaux futurs.

International audience; Deep brain stimulation of the medial globus pallidus is a surgical procedure for treating patients suffering from Parkinson's disease. Its therapeutic effect may be limited by the presence of pyramidal tract side effect (PTSE). PTSE is a contraction time-locked to the stimulation when the current spreading reaches the motor fibers of the pyramidal tract within the internal capsule. The lack of side-effect predictive model leads the neurologist to secure an optimal electrode placement by iterating clinical testing on an awake patient during the surgical procedure. The objective of the study was to propose a preoperative predictive model of PTSE. A machine learning based method called PyMAN (for Pyramidal tract side effect Model based on Artificial Neural network) that accounted for the current of the stimulation, the 3D electrode coordinates and the angle of the trajectory, was designed to predict the occurrence of PTSE. Ten patients implanted in the medial globus pallidus have been tested by a clinician to create a labeled dataset of the stimulation parameters that trigger PTSE. The kappa index value between the data predicted by PyMAN and the labeled data was.78. Further evaluation studies are desirable to confirm whether PyMAN could be a reliable tool for assisting the surgeon to prevent PTSE during the preoperative planning. © 2016 SPIE.

The development of endovascular aortic procedures is growing. These mini-invasive techniques allow a reduction of surgical trauma, usually important in conventional open surgery. The technical limitations of endovascular repair are pushed to special aortic localizations which were in the past decade indication for open repair. Success and efficiency of such procedures are based on the development and the implementation of decision-making tools. This work aims to improve endovascular procedures thanks to a better utilization of pre and intraoperative imaging. This approach is in the line with the framework of computer-assisted surgery whose concepts are applied to vascular surgery. The optimization of endograft deployment is considered in three steps. The first part is dedicated to preoperative imaging analysis and shows the limits of the current sizing tools. The accuracy of a new measurement criterion is assessed (outer curvature length). The second part deals with intraoperative imaging and shows the contribution of augmented reality in endovascular aortic repair. In the last part, image guided surgery on soft tissues is addressed, especially the arterial deformations occurring during endovascular procedures which disprove rigid registration in fusion imaging. The use of finite element simulation to deal with this issue is presented. We report an original approach based on a predictive model of deformations using finite element simulation with geometrical and anatomo-mechanical patient specific parameters extracted from the preoperative CT-scan., Les techniques endovasculaires, particulièrement pour l’aorte, sont en plein essor en chirurgie vasculaire. Ces techniques mini-invasives permettent de diminuer l’agression chirurgicale habituellement importante lors de la chirurgie conventionnelle. Les limites techniques sont repoussées à certaines localisations de l’aorte qui étaient il y a encore peu de temps inaccessibles aux endoprothèses. Le succès et l’efficience de ces interventions reposent en partie sur l'élaboration et la mise en œuvre de nouveaux outils d'aide à la décision. Ce travail entend contribuer à l’amélioration des procédures interventionnelles aortiques grâce à une meilleure exploitation de l’imagerie pré et peropératoire. Cette démarche s’inscrit dans le cadre plus général des Gestes Médico-Chirurgicaux Assistés par Ordinateur, dont les concepts sont revisités pour les transposer au domaine de la chirurgie endovasculaire. Trois axes sont développés afin de sécuriser et optimiser la pose d'endoprothèse. Le premier est focalisé sur l’analyse préopératoire du scanner (sizing) et montre les limites des outils de mesure actuels et évalue la précision d’un nouveau critère de mesure des longueurs de l’aorte (courbure externe). Le deuxième axe se positionne sur le versant peropératoire et montre la contribution de la réalité augmentée dans la pose d’une endoprothèse aortique. Le troisième axe s’intéresse au problème plus général des interventions sur les tissus mous et particulièrement aux déformations artérielles qui surviennent au cours des procédures interventionnelles qui mettent en défaut le recalage rigide lors de la fusion d’images. Nous présentons une approche originale basée sur un modèle numérique de prédiction des déformations qui utilise la simulation par éléments finis en y intégrant des paramètres géométriques et anatomo-mécaniques spécifique-patient extraits du scanner préopératoire.

The development of endovascular aortic procedures is growing. These mini-invasive techniques allow a reduction of surgical trauma, usually important in conventional open surgery. The technical limitations of endovascular repair are pushed to special aortic localizations which were in the past decade indication for open repair. Success and efficiency of such procedures are based on the development and the implementation of decision-making tools. This work aims to improve endovascular procedures thanks to a better utilization of pre and intraoperative imaging. This approach is in the line with the framework of computer-assisted surgery whose concepts are applied to vascular surgery. The optimization of endograft deployment is considered in three steps. The first part is dedicated to preoperative imaging analysis and shows the limits of the current sizing tools. The accuracy of a new measurement criterion is assessed (outer curvature length). The second part deals with intraoperative imaging and shows the contribution of augmented reality in endovascular aortic repair. In the last part, image guided surgery on soft tissues is addressed, especially the arterial deformations occurring during endovascular procedures which disprove rigid registration in fusion imaging. The use of finite element simulation to deal with this issue is presented. We report an original approach based on a predictive model of deformations using finite element simulation with geometrical and anatomo-mechanical patient specific parameters extracted from the preoperative CT-scan., Les techniques endovasculaires, particulièrement pour l’aorte, sont en plein essor en chirurgie vasculaire. Ces techniques mini-invasives permettent de diminuer l’agression chirurgicale habituellement importante lors de la chirurgie conventionnelle. Les limites techniques sont repoussées à certaines localisations de l’aorte qui étaient il y a encore peu de temps inaccessibles aux endoprothèses. Le succès et l’efficience de ces interventions reposent en partie sur l'élaboration et la mise en œuvre de nouveaux outils d'aide à la décision. Ce travail entend contribuer à l’amélioration des procédures interventionnelles aortiques grâce à une meilleure exploitation de l’imagerie pré et peropératoire. Cette démarche s’inscrit dans le cadre plus général des Gestes Médico-Chirurgicaux Assistés par Ordinateur, dont les concepts sont revisités pour les transposer au domaine de la chirurgie endovasculaire. Trois axes sont développés afin de sécuriser et optimiser la pose d'endoprothèse. Le premier est focalisé sur l’analyse préopératoire du scanner (sizing) et montre les limites des outils de mesure actuels et évalue la précision d’un nouveau critère de mesure des longueurs de l’aorte (courbure externe). Le deuxième axe se positionne sur le versant peropératoire et montre la contribution de la réalité augmentée dans la pose d’une endoprothèse aortique. Le troisième axe s’intéresse au problème plus général des interventions sur les tissus mous et particulièrement aux déformations artérielles qui surviennent au cours des procédures interventionnelles qui mettent en défaut le recalage rigide lors de la fusion d’images. Nous présentons une approche originale basée sur un modèle numérique de prédiction des déformations qui utilise la simulation par éléments finis en y intégrant des paramètres géométriques et anatomo-mécaniques spécifique-patient extraits du scanner préopératoire.

The main objective of this thesis is to provide surgeons with tools for pre and intra-operative decision support during minimally invasive hepaticsurgery. These interventions are usually based on laparoscopic techniques or, more recently, flexible endoscopy. During such operations, the surgeon tries to remove a significant number of liver tumors while preserving the functional role of the liver. This involves defining an optimal hepatectomy, i.e. ensuring that the volume of post-operative liver is at least at 55% of the original liver and the preserving at hepatic vasculature. Although intervention planning can now be considered on the basis of preoperative patient-specific, significant movements of the liver and its deformations during surgery data make this very difficult to use planning in practice. The work proposed in this thesis aims to provide augmented reality tools to be used in intra-operative conditions in order to visualize the position of tumors and hepatic vascular networks at any time.; L’objectif principal de cette thèse est de fournir aux chirurgiens des outils d’aide à la décision pré et per-opératoire lors d’interventions minimalement invasives en chirurgie hépatique. Ces interventions reposent en général sur des techniques de laparoscopie ou plus récemment d’endoscopie flexible. Lors de telles interventions, le chirurgien cherche à retirer un nombre souvent important de tumeurs hépatiques, tout en préservant le rôle fonctionnel du foie. Cela implique de définir une hépatectomie optimale, c’est à dire garantissant un volume du foie post-opératoire d’au moins 55% du foie initial et préservant au mieux la vascularisation hépatique. Bien qu’une planification de l’intervention puisse actuellement s’envisager sur la base de données pré-opératoire spécifiques au patient, les mouvements importants du foie et ses déformations lors de l’intervention rendent cette planification très difficile à exploiter en pratique. Les travaux proposés dans cette thèse visent à fournir des outils de réalité augmentée utilisables en conditions per-opératoires et permettant de visualiser à chaque instant la position des tumeurs et réseaux vasculaires hépatiques.

The main objective of this thesis is to provide surgeons with tools for pre and intra-operative decision support during minimally invasive hepaticsurgery. These interventions are usually based on laparoscopic techniques or, more recently, flexible endoscopy. During such operations, the surgeon tries to remove a significant number of liver tumors while preserving the functional role of the liver. This involves defining an optimal hepatectomy, i.e. ensuring that the volume of post-operative liver is at least at 55% of the original liver and the preserving at hepatic vasculature. Although intervention planning can now be considered on the basis of preoperative patient-specific, significant movements of the liver and its deformations during surgery data make this very difficult to use planning in practice. The work proposed in this thesis aims to provide augmented reality tools to be used in intra-operative conditions in order to visualize the position of tumors and hepatic vascular networks at any time.; L’objectif principal de cette thèse est de fournir aux chirurgiens des outils d’aide à la décision pré et per-opératoire lors d’interventions minimalement invasives en chirurgie hépatique. Ces interventions reposent en général sur des techniques de laparoscopie ou plus récemment d’endoscopie flexible. Lors de telles interventions, le chirurgien cherche à retirer un nombre souvent important de tumeurs hépatiques, tout en préservant le rôle fonctionnel du foie. Cela implique de définir une hépatectomie optimale, c’est à dire garantissant un volume du foie post-opératoire d’au moins 55% du foie initial et préservant au mieux la vascularisation hépatique. Bien qu’une planification de l’intervention puisse actuellement s’envisager sur la base de données pré-opératoire spécifiques au patient, les mouvements importants du foie et ses déformations lors de l’intervention rendent cette planification très difficile à exploiter en pratique. Les travaux proposés dans cette thèse visent à fournir des outils de réalité augmentée utilisables en conditions per-opératoires et permettant de visualiser à chaque instant la position des tumeurs et réseaux vasculaires hépatiques.

International audience; This paper presents a method for real-time augmented reality of internal liver structures during minimally invasive hepatic surgery. Vessels and tumors computed from pre-operative CT scans can be overlaid onto the laparoscopic view for surgery guidance. Compared to current methods, our method is able to locate the in-depth positions of the tumors based on partial three-dimensional liver tissue motion using a real-time biomechanical model. This model permits to properly handle the motion of internal structures even in the case of anisotropic or heterogeneous tissues, as it is the case for the liver and many anatomical structures. Experimentations conducted on phantom liver permits to measure the accuracy of the augmentation while real-time augmentation on in vivo human liver during real surgery shows the benefits of such an approach for minimally invasive surgery.

International audience; PURPOSE: Surgery is continuously subject to technological and medical innovations that are transforming daily surgical routines. In order to gain a better understanding and description of surgeries, the field of surgical process modelling (SPM) has recently emerged. The challenge is to support surgery through the quantitative analysis and understanding of operating room activities. Related surgical process models can then be introduced into a new generation of computer-assisted surgery systems. METHODS: In this paper, we present a review of the literature dealing with SPM. This methodological review was obtained from a search using Google Scholar on the specific keywords: "surgical process analysis", "surgical process model" and "surgical workflow analysis". RESULTS: This paper gives an overview of current approaches in the field that study the procedural aspects of surgery. We propose a classification of the domain that helps to summarise and describe the most important components of each paper we have reviewed, i.e., acquisition, modelling, analysis, application and validation/evaluation. These five aspects are presented independently along with an exhaustive list of their possible instantiations taken from the studied publications. CONCLUSION: This review allows a greater understanding of the SPM field to be gained and introduces future related prospects.

This HDR is an opportunity to present the work that I have carried out over the last 10 years through the development of a research activity on biomechanics at CEMEF. This work is structured around two axes: the behavior of living tissues and numerical modeling in biomechanics. First axis: characterization of the mechanical properties of living tissues : One part of my research activity consists in developing a methodology for characterizing the mechanical properties of materials, including biological ones. Regarding soft tissues, my close collaboration with hospital practitioners allowed me to develop a protocol for data collection near the operating room and in the medical imaging department. This protocol required the design and the implementation of an experimental mobile indentation device ("the Rhéobiol forceps"), allowing data acquisition as close as possible to operating room. This original tool - now used in other research laboratories - allowed us to characterize the mechanical behavior of several tissues, such as the uterus, fallopian tubes and the placenta. Second axis: development of numerical models in biomechanics : Modeling the mechanical behavior of the human body supposes to overcome all the difficulties dealing with complex and heterogeneous structures. The implementation process will be presented, starting from simplified models of single homogeneous linear elastic bodies with low deformation levels, up to multibody models, composed by heterogeneous visco-hyperelastic materials undergoing large deformations. Particular attention was paid to medical imaging protocols to build accurate geometric models of the organs and tissues studied. Finite element models obtained have been applied to several biomedical and surgical problems including modeling of a series of surgical gestures in gynecology and ophthalmology, the design of medical devices (such as breast or dental implants) or the assessment of the impact of a surgical intervention in maxillofacial surgery. In addition to a summary of my scientific background, my activities in terms of teaching and supervision of research training, my HDR defense is an opportunity to review a number of results obtained from personal work, collaborations with other researchers in mechanics and medicine and the work of the students I have had the pleasure to coach and train and who contributed to the success of this activity.; Cette HDR est l'occasion pour moi de présenter les travaux que je mène depuis plus de 10 ans dans le cadre du développement de l'activité en biomécanique au CEMEF. Ces travaux se structurent autour de deux axes : le comportement des tissus vivants et la modélisation numérique en biomécanique. Axe " caractérisation du comportement mécanique des matériaux vivants " Une partie de mon activité de recherche a consisté à mettre en place une méthodologie de caractérisation des matériaux, notamment biologiques. Concernant les tissus mous, mes collaborations étroites avec des praticiens hospitaliers m'ont permis de mettre au point un protocole de recueil de données au bloc opératoire et dans le service d'imagerie médicale. Ce protocole a nécessité la conception et la réalisation d'un dispositif expérimental d'indentation portable (" la pince Rhéobiol "), permettant l'acquisition de données au plus proche du bloc opératoire. Cet outil original - utilisé maintenant dans d'autres laboratoires de recherche - a permis de caractériser le comportement mécanique de plusieurs tissus, comme l'utérus, les trompes de Fallope et le placenta. Axe " développement de modèles numériques pour la biomécanique " La modélisation du comportement mécanique du corps humain recèle toutes les difficultés liées à la modélisation de structures complexes et hétérogènes. Je présenterai ici la démarche mise en œuvre, partant de modèles simplifiés monocorps, homogènes, élastiques linéaires, faiblement déformés, pour parvenir finalement à des modèles multicorps, hétérogènes, visco-hyperélastiques et soumis à de grandes déformations. Une attention toute particulière a été portée aux protocoles d'imagerie médicale dans le but de construire le plus fidèlement possible les modèles géométriques des organes et tissus étudiés. Les modèles éléments finis obtenus à l'issue de ces différents étapes ont été appliqués à de nombreuses problématiques biomédicales ou chirurgicales parmi lesquelles la modélisation d'une suite d'opérations chirurgicales en gynécologie et en ophtalmologie, l'aide à la conception de dispositifs médicaux (prothèses mammaires, implants dentaires) ou encore l'évaluation des conséquences d'une intervention en chirurgie maxillo-faciale. Outre une synthèse de mon parcours scientifique, de mes activités en termes d'enseignement et d'encadrement de formation à la recherche, cette soutenance d'Habilitation à Diriger les Recherches est l'occasion pour moi de passer en revue un certain nombre de résultats issus de travaux personnels, de collaborations avec d'autres chercheurs - tant du monde de la mécanique que du monde médical - et de travaux des étudiants que j'ai eu le plaisir d'encadrer et de former et qui ont largement contribué au succès de cette activité.

This HDR is an opportunity to present the work that I have carried out over the last 10 years through the development of a research activity on biomechanics at CEMEF. This work is structured around two axes: the behavior of living tissues and numerical modeling in biomechanics. First axis: characterization of the mechanical properties of living tissues : One part of my research activity consists in developing a methodology for characterizing the mechanical properties of materials, including biological ones. Regarding soft tissues, my close collaboration with hospital practitioners allowed me to develop a protocol for data collection near the operating room and in the medical imaging department. This protocol required the design and the implementation of an experimental mobile indentation device ("the Rhéobiol forceps"), allowing data acquisition as close as possible to operating room. This original tool - now used in other research laboratories - allowed us to characterize the mechanical behavior of several tissues, such as the uterus, fallopian tubes and the placenta. Second axis: development of numerical models in biomechanics : Modeling the mechanical behavior of the human body supposes to overcome all the difficulties dealing with complex and heterogeneous structures. The implementation process will be presented, starting from simplified models of single homogeneous linear elastic bodies with low deformation levels, up to multibody models, composed by heterogeneous visco-hyperelastic materials undergoing large deformations. Particular attention was paid to medical imaging protocols to build accurate geometric models of the organs and tissues studied. Finite element models obtained have been applied to several biomedical and surgical problems including modeling of a series of surgical gestures in gynecology and ophthalmology, the design of medical devices (such as breast or dental implants) or the assessment of the impact of a surgical intervention in maxillofacial surgery. In addition to a summary of my scientific background, my activities in terms of teaching and supervision of research training, my HDR defense is an opportunity to review a number of results obtained from personal work, collaborations with other researchers in mechanics and medicine and the work of the students I have had the pleasure to coach and train and who contributed to the success of this activity.; Cette HDR est l'occasion pour moi de présenter les travaux que je mène depuis plus de 10 ans dans le cadre du développement de l'activité en biomécanique au CEMEF. Ces travaux se structurent autour de deux axes : le comportement des tissus vivants et la modélisation numérique en biomécanique. Axe " caractérisation du comportement mécanique des matériaux vivants " Une partie de mon activité de recherche a consisté à mettre en place une méthodologie de caractérisation des matériaux, notamment biologiques. Concernant les tissus mous, mes collaborations étroites avec des praticiens hospitaliers m'ont permis de mettre au point un protocole de recueil de données au bloc opératoire et dans le service d'imagerie médicale. Ce protocole a nécessité la conception et la réalisation d'un dispositif expérimental d'indentation portable (" la pince Rhéobiol "), permettant l'acquisition de données au plus proche du bloc opératoire. Cet outil original - utilisé maintenant dans d'autres laboratoires de recherche - a permis de caractériser le comportement mécanique de plusieurs tissus, comme l'utérus, les trompes de Fallope et le placenta. Axe " développement de modèles numériques pour la biomécanique " La modélisation du comportement mécanique du corps humain recèle toutes les difficultés liées à la modélisation de structures complexes et hétérogènes. Je présenterai ici la démarche mise en œuvre, partant de modèles simplifiés monocorps, homogènes, élastiques linéaires, faiblement déformés, pour parvenir finalement à des modèles multicorps, hétérogènes, visco-hyperélastiques et soumis à de grandes déformations. Une attention toute particulière a été portée aux protocoles d'imagerie médicale dans le but de construire le plus fidèlement possible les modèles géométriques des organes et tissus étudiés. Les modèles éléments finis obtenus à l'issue de ces différents étapes ont été appliqués à de nombreuses problématiques biomédicales ou chirurgicales parmi lesquelles la modélisation d'une suite d'opérations chirurgicales en gynécologie et en ophtalmologie, l'aide à la conception de dispositifs médicaux (prothèses mammaires, implants dentaires) ou encore l'évaluation des conséquences d'une intervention en chirurgie maxillo-faciale. Outre une synthèse de mon parcours scientifique, de mes activités en termes d'enseignement et d'encadrement de formation à la recherche, cette soutenance d'Habilitation à Diriger les Recherches est l'occasion pour moi de passer en revue un certain nombre de résultats issus de travaux personnels, de collaborations avec d'autres chercheurs - tant du monde de la mécanique que du monde médical - et de travaux des étudiants que j'ai eu le plaisir d'encadrer et de former et qui ont largement contribué au succès de cette activité.

This patent describes a new methodology to compensate the brain shift during an open neurosurgery.

This patent describes an elastic 3D registration algorithm developed in the context of computer assisted surgery

International audience; Medical robotics, computer- assisted surgery (CAS), image-guided therapy (IGT), and the like emerged more than 20 years ago, and many advances have been made since. Conferences and workshops have been organized; scientific contributions, position papers, and patents have been published; new academic societies have been launched; and companies were created all over the world to propose methods, devices, and systems in the area. Researchers in robotics, computer vision and graphics, electronics, mechanics, biomedical engineers, physicians, and surgeons have been involved, thus demonstrating the enthusiasm for this emerging field. Their commitments emphasize the transdisciplinary nature of the efforts to be made. However, the effective dissemination of CAS-IGT systems in medical disciplines remains limited. There are several reasons that may explain this situation, among which the effective demonstration of patient benefits and cost savings, the reluctance of surgeons or therapists to use them, and, of course, the technological breakthroughs are still expected. This series of articles attempts to point out some of them and will also show that many opportunities in computer-assisted interventions are open in the near future.

International audience; This work introduces the contribution of a biomechanical model of the oral cavity in the planning of tongue resection surgeries. For this, we exploit a 3D biomechanical model of the tongue (finite element modelling), in which major tongue muscles, either extrinsic or extrinsic, are represented implemented. This model is inserted in the oral cavity including jaw, palate, pharyngeal walls, as well as the hyoid bone. Two common tongue excisions with reconstruction are modelled: a hemiglossectomy and an enlarged mouth floor resection. The impact of the flap mechanical properties on tongue mobility and the production of vowels \i, a, u\ are evaluated in theabsence of any compensatory strategy.

Background and Purpose: Percutaneous renal access in the context of percutaneous nephrolithotomy (PCNL) is a difficult technique, requiring rapid and precise access to a particular calix. We present a computerized system designed to improve percutaneous renal access by projecting the ultrasound puncture tract onto fluoroscopic images. Materials and Methods: The system consists of a computer and a localizer allowing spatial localization of the position of the various instruments. Without any human intervention, the ultrasound nephrostomy tract is superimposed in real time onto fluoroscopic images acquired in various views. Results: We tested our approach by laboratory experiments on a phantom. Also, after approval by our institution's Ethics Committee, we validated this technique in the operating room during PCNL in one patient. Conclusion: Our system is reliable, and the absence of image-processing procedures makes it robust. We have initiated a prospective study to validate this technique both for PCNL specialists and as a learning tool.

Obstructive Sleep Apnea Syndrome is caused by frequent episodesof upper airway obstruction during sleep.Physical modelling allows a better insight into this phenomenon which is needed to improve the efficiency of treatments.So, the aim was to build and to validate an algorithm fornumerical simulations of the interaction betweenthe soft tissue and the airflow at the origin of an apneic episode.So as to reduce the computational cost, simplificatory assumptionshave been stated. First, for the soft tissue, the finite element methodallows a realistic prediction of their behaviour. Small perturbations framework combined with linear elasticity theory enable fast computationsof their mechanical response. Then, the numerical simulation of theairflow is based on an asymptotic formulation of the Navier-Stokesequations (Reduced Navier-Stokes / Prandtl), which makes easierthe numerical solving.For the validation of both the assumptions and the numerical solving method,an in-vitro setup has been used. It allows the reproduction, in a controlledenvironment, of an interaction between the airflow and a deformablestructure, similar to the one that occurs near the tongue during the beginningof an obstruction. An accurate measure of the deformation of the airflow ducthas been obtained thanks to a digital camera. A set of quantitative comparisons hasrevealed that the error between predictions and measurements is small, inspite of the simplifications formulated.Finally, to get closer to clinical reality, upper airway models of fourapneic patients have been built from sagittal radiographies. Comparisonsbetween simulations from pre-operative and post-operative radiographieshave showed that the predictions were in agreement with the effectsof the surgical gesture. Moreover, they put forward some limitations ofthe method, due to the complexity of the phenomenon.; Le Syndrome d'Apnées Obstructives du Sommeil est caractérisépar la survenue fréquente d' épisodes d' obstructiondes voies aériennes supérieures. L'intérêt d'une modélisation physiqueest qu'elle autorise une compréhensionplus fine du phénomène, et laisse espérer une améliorationdes traitements. Le but a donc été de concevoir, puisde valider, un algorithme de simulation numérique del'interaction entre les tissus vivants et le fluxd'air à l'origine d'un épisode apnéique. Afin d'allégerles calculs et de réduire le temps de simulation, des hypothèsessimplificatrices ont été envisagées. D'une part, en ce qui concerneles tissus vivants, la méthode des éléments finis permet uneprédiction réaliste de leur déformation. Le cadredes petites perturbations et de l'élasticité linéaire impliquede plus un calcul rapide de la réponse mécanique. D'autre part, la simulationde l'écoulement d'air se fait via une formulationasymptotique des équations de Navier-Stokes (équationsde Navier-Stokes Réduites / Prandtl), qui facilite la résolutionnumérique.Afin de valider hypothèses physiques et méthode de résolutionnumérique, une maquette in-vitro a été utilisée. Celle-cipermet de reproduire, dans des conditions contrôlées, uneinteraction entre flux d'air et paroi déformable analogueà celle qui se produit à la base de la langue en début d'obstruction.Une mesure précise de la déformation du conduit d'écoulementest obtenue à l'aide d'une caméra digitale.Une série de comparaisons quantitatives a montré qu'en dépit des simplifications effectuées, l'erreur entre prédictionet mesures est faible.Finalement, pour se rapprocher de la réalité clinique,des modèles de voies aériennes supérieures de quatre patients apnéiques ontété construits à partir de radiographies sagittales.Des comparaisons entre simulations à partir de radiographiespré-opératoires et post-opératoires ont montréque les prédictions étaient globalement cohérentes avec les conséquencesdu geste chirurgical. Elles ont pû égalementmettre en évidence certaines limites de notre approche,dûes à la complexité du phénomène.

Obstructive Sleep Apnea Syndrome is caused by frequent episodesof upper airway obstruction during sleep.Physical modelling allows a better insight into this phenomenon which is needed to improve the efficiency of treatments.So, the aim was to build and to validate an algorithm fornumerical simulations of the interaction betweenthe soft tissue and the airflow at the origin of an apneic episode.So as to reduce the computational cost, simplificatory assumptionshave been stated. First, for the soft tissue, the finite element methodallows a realistic prediction of their behaviour. Small perturbations framework combined with linear elasticity theory enable fast computationsof their mechanical response. Then, the numerical simulation of theairflow is based on an asymptotic formulation of the Navier-Stokesequations (Reduced Navier-Stokes / Prandtl), which makes easierthe numerical solving.For the validation of both the assumptions and the numerical solving method,an in-vitro setup has been used. It allows the reproduction, in a controlledenvironment, of an interaction between the airflow and a deformablestructure, similar to the one that occurs near the tongue during the beginningof an obstruction. An accurate measure of the deformation of the airflow ducthas been obtained thanks to a digital camera. A set of quantitative comparisons hasrevealed that the error between predictions and measurements is small, inspite of the simplifications formulated.Finally, to get closer to clinical reality, upper airway models of fourapneic patients have been built from sagittal radiographies. Comparisonsbetween simulations from pre-operative and post-operative radiographieshave showed that the predictions were in agreement with the effectsof the surgical gesture. Moreover, they put forward some limitations ofthe method, due to the complexity of the phenomenon., Le Syndrome d'Apnées Obstructives du Sommeil est caractérisépar la survenue fréquente d' épisodes d' obstructiondes voies aériennes supérieures. L'intérêt d'une modélisation physiqueest qu'elle autorise une compréhensionplus fine du phénomène, et laisse espérer une améliorationdes traitements. Le but a donc été de concevoir, puisde valider, un algorithme de simulation numérique del'interaction entre les tissus vivants et le fluxd'air à l'origine d'un épisode apnéique. Afin d'allégerles calculs et de réduire le temps de simulation, des hypothèsessimplificatrices ont été envisagées. D'une part, en ce qui concerneles tissus vivants, la méthode des éléments finis permet uneprédiction réaliste de leur déformation. Le cadredes petites perturbations et de l'élasticité linéaire impliquede plus un calcul rapide de la réponse mécanique. D'autre part, la simulationde l'écoulement d'air se fait via une formulationasymptotique des équations de Navier-Stokes (équationsde Navier-Stokes Réduites / Prandtl), qui facilite la résolutionnumérique.Afin de valider hypothèses physiques et méthode de résolutionnumérique, une maquette in-vitro a été utilisée. Celle-cipermet de reproduire, dans des conditions contrôlées, uneinteraction entre flux d'air et paroi déformable analogueà celle qui se produit à la base de la langue en début d'obstruction.Une mesure précise de la déformation du conduit d'écoulementest obtenue à l'aide d'une caméra digitale.Une série de comparaisons quantitatives a montré qu'en dépit des simplifications effectuées, l'erreur entre prédictionet mesures est faible.Finalement, pour se rapprocher de la réalité clinique,des modèles de voies aériennes supérieures de quatre patients apnéiques ontété construits à partir de radiographies sagittales.Des comparaisons entre simulations à partir de radiographiespré-opératoires et post-opératoires ont montréque les prédictions étaient globalement cohérentes avec les conséquencesdu geste chirurgical. Elles ont pû égalementmettre en évidence certaines limites de notre approche,dûes à la complexité du phénomène.

Président : Philippe CINQUIN ; Rapporteurs : Christian ROUX et Mouloud FELIACHI ; Examinateurs : Jocelyne TROCCAZ, Bruno FLAMENT et Philippe MASSÉ; Magnetic tracking devices are the only systems that allow movement tracking of surgical tools inside the human body. Nevertheless, when used in a typical working environnement, these systems are usually disturbed by electromagnetic fields induced in nearby metals. The presence of metallic objects within the working field results in measurement errors which can be important, several millimeters for the most significant. Three-dimensional finite element modelling is presented which is performed with FluxExpert software. This model is used to study the effects of the two metal-related phenomena that impacts the performance of electromagnetic based trackers : eddy currents in conductors and ferromagnetism. Two numerical techniques have been developed. Various controles and particularly an experimental investigation were undertaken to validate the numerical results. Precision and validity domains of the numerical modellings have also been determined; Les localisateurs magnétiques sont les seuls systèmes de localisation spatiale à permettre une localisation intra-corporelle. Cependant, les performances de ces systèmes sont fréquemment dégradées dans des conditions « normales » d'utilisation. Les erreurs constatées, de l'ordre de plusieurs millimètres pour les plus significatives, sont notamment provoquées par la présence de matériaux métalliques dans la zone de fonctionnement du localisateur. Ces matériaux engendrent des perturbations électromagnétiques qui modifient les valeurs du champ généré par les sources magnétiques du localisateur. Nous présentons un modèle numérique des phénomènes d'induction électromagnétiques créés dans des milieux conducteurs et/ou magnétiques avec la méthode des éléments finis, utilisant le logiciel FluxExpert. Deux techniques numériques différentes ont été mises en œuvre et comparées. Les résultats obtenus ont été validés. La cohérence et la complémentarité des domaines de validité ont été démontrées.

Magnetic tracking devices are the only systems that allow movement tracking of surgical tools inside the human body. Nevertheless, when used in a typical working environnement, these systems are usually disturbed by electromagnetic fields induced in nearby metals. The presence of metallic objects within the working field results in measurement errors which can be important, several millimeters for the most significant. Three-dimensional finite element modelling is presented which is performed with FluxExpert software. This model is used to study the effects of the two metal-related phenomena that impacts the performance of electromagnetic based trackers : eddy currents in conductors and ferromagnetism. Two numerical techniques have been developed. Various controles and particularly an experimental investigation were undertaken to validate the numerical results. Precision and validity domains of the numerical modellings have also been determined, Les localisateurs magnétiques sont les seuls systèmes de localisation spatiale à permettre une localisation intra-corporelle. Cependant, les performances de ces systèmes sont fréquemment dégradées dans des conditions « normales » d'utilisation. Les erreurs constatées, de l'ordre de plusieurs millimètres pour les plus significatives, sont notamment provoquées par la présence de matériaux métalliques dans la zone de fonctionnement du localisateur. Ces matériaux engendrent des perturbations électromagnétiques qui modifient les valeurs du champ généré par les sources magnétiques du localisateur. Nous présentons un modèle numérique des phénomènes d'induction électromagnétiques créés dans des milieux conducteurs et/ou magnétiques avec la méthode des éléments finis, utilisant le logiciel FluxExpert. Deux techniques numériques différentes ont été mises en œuvre et comparées. Les résultats obtenus ont été validés. La cohérence et la complémentarité des domaines de validité ont été démontrées.

Minimally invasive surgery limits the inflicted trauma on the patient through the use of small incisions. Moreover, taking advantage of robotic assistance considerably enhances the precision of the gestures and the comfort of the surgeon. Nevertheless, many difficulties are still being encountered, such as the identification of the target arteries in the coronary bypass surgery. In this work, we propose to guide the surgeon by superimposing a model of the patient's arteries on the intraoperative endoscopic images. Our approach is defined from the analysis of the intervention and the surgical gesture. First a static model of the coronary tree is obtained from standard imaging systems. The registration with the endoscopic images is then initialized by calibrating the stereoscopic actuated endoscope and registering the external shape of the patient in the operating room. Finaly, this result is refined to take into account the intraoperative shift of the heart and the successive errors. This is done using an original multi-model robust algorithm, based on translating the indications given by the surgeon into measures, which leads to the precision necessary to the guidance. This innovative tool of computer assisted surgery is integrated within a common architecture tested with the Da Vinci robot during many in-vivo experiments.; La chirurgie mini-invasive limite les incisions et le traumatisme pour le patient. Elle bénéficie de l'assistance robotisée qui améliore précision et confort du geste opératoire. Cependant des difficultés subsistent. Ainsi dans les opérations de pontage des artères coronaires, la localisation et l'identification des artères cibles de l'intervention posent problème. Nous proposons alors de guider le chirurgien en superposant le modèle des artères du patient dans les images endoscopiques intra-opératoires. L'une des contributions de cette thèse consiste à définir une approche basée sur l'analyse de l'intervention et du geste chirurgical: tout d'abord nous nous intéressons à la modélisation statique des artères coronaires à partir de moyens standards d'imagerie. Nous initialisons ensuite le recalage dans les images endoscopiques en calibrant l'endoscope stéréoscopique robotisé et en recalant l'enveloppe externe du patient au bloc opératoire. Nous affinons enfin ce résultat pour tenir compte du déplacement intra-opératoire du coeur et des erreurs successives. Un mécanisme multi-modèles robuste original, basé sur la traduction des indications données par le chirurgien en mesures, permet d'aboutir à la précision nécessaire au guidage. Cet outil novateur de chirurgie assistée par ordinateur est intégré au sein d'une architecture commune expérimentée avec le robot Da Vinci au cours de nombreux tests in-vivo.

Minimally invasive surgery limits the inflicted trauma on the patient through the use of small incisions. Moreover, taking advantage of robotic assistance considerably enhances the precision of the gestures and the comfort of the surgeon. Nevertheless, many difficulties are still being encountered, such as the identification of the target arteries in the coronary bypass surgery. In this work, we propose to guide the surgeon by superimposing a model of the patient's arteries on the intraoperative endoscopic images. Our approach is defined from the analysis of the intervention and the surgical gesture. First a static model of the coronary tree is obtained from standard imaging systems. The registration with the endoscopic images is then initialized by calibrating the stereoscopic actuated endoscope and registering the external shape of the patient in the operating room. Finaly, this result is refined to take into account the intraoperative shift of the heart and the successive errors. This is done using an original multi-model robust algorithm, based on translating the indications given by the surgeon into measures, which leads to the precision necessary to the guidance. This innovative tool of computer assisted surgery is integrated within a common architecture tested with the Da Vinci robot during many in-vivo experiments.; La chirurgie mini-invasive limite les incisions et le traumatisme pour le patient. Elle bénéficie de l'assistance robotisée qui améliore précision et confort du geste opératoire. Cependant des difficultés subsistent. Ainsi dans les opérations de pontage des artères coronaires, la localisation et l'identification des artères cibles de l'intervention posent problème. Nous proposons alors de guider le chirurgien en superposant le modèle des artères du patient dans les images endoscopiques intra-opératoires. L'une des contributions de cette thèse consiste à définir une approche basée sur l'analyse de l'intervention et du geste chirurgical: tout d'abord nous nous intéressons à la modélisation statique des artères coronaires à partir de moyens standards d'imagerie. Nous initialisons ensuite le recalage dans les images endoscopiques en calibrant l'endoscope stéréoscopique robotisé et en recalant l'enveloppe externe du patient au bloc opératoire. Nous affinons enfin ce résultat pour tenir compte du déplacement intra-opératoire du coeur et des erreurs successives. Un mécanisme multi-modèles robuste original, basé sur la traduction des indications données par le chirurgien en mesures, permet d'aboutir à la précision nécessaire au guidage. Cet outil novateur de chirurgie assistée par ordinateur est intégré au sein d'une architecture commune expérimentée avec le robot Da Vinci au cours de nombreux tests in-vivo.

The multi-disciplinary work of this thesis results in its contributing to two research domains: Human-Computer Interaction (HCI), in particular Augmented Reality (AR), and Computer Assisted Medical Intervention (CAMI), a concrete application domain of AR. The contribution is twofold: on the one hand, it enriches the HCI design concepts and methods of AR by adopting a task centered point of view; on the other hand it improves the clinical usability of CAMI systems. Merging real and virtual worlds opens a wide range of possibilities for the design of AR systems, such as CAMI systems. However, there is currently no consensus either on a precise definition of AR or on a design space. Within this context, we have identified intrinsic characteristics of AR systems and then developed a classification space. In order to gain an understanding of the duality of interaction, (users interacting with part of the real world and simultaneously with part of the virtual world) we have developed the ASUR notation that describes the interaction. ASUR identifies entities involved in the system, in particular the adapters. The adapters constitute one type of ASUR component, which establishes a bridge between the real and virtual worlds. The notation ASUR constitutes the basis of our ergonomic and software design method for AR systems. Our ergonomic design method is grounded on the translation of ergonomic properties in terms of ASUR, while our software design method is based on the specialization of the PAC-Amodeus software architecture model for AR systems. In collaboration with a surgeon, we have applied and tested our methodological results on a cardiac surgery application, CASPER. It provides the surgeon with on-screen guidance information while performing a pericardial puncture. A new version of CASPER has been designed that implements a see-through head-mounted display, which enables the perception of the guidance information superimposed on the patient.; Les travaux pluridisciplinaires de cette thèse, contribuent à deux domaines : les Interfaces Homme-Machine (IHM), en particulier la Réalité Augmentée (RA), et les Gestes Médico-Chirurgicaux Assistés par Ordinateur (GMCAO), domaine concret de mise en oeuvre de la RA. La contribution est double : d'une part elle enrichit et organise les concepts d'IHM pour la RA en adoptant un point de vue centré sur la tâche, et d'autre part elle améliore l'utilisabilité par les cliniciens des systèmes de GMCAO. La fusion du monde réel et du monde virtuel ouvre des voies nouvelles pour la conception de systèmes de RA, comme les systèmes de GMCAO. Mais les limites sont mal cernées. Dans ce contexte, nous avons identifié des caractéristiques intrinsèques des systèmes de RA et établi un espace taxinomique. Afin de caractériser plus finement la dualité de l'interaction (Utilisateur-Monde Réel et Utilisateur-Monde Virtuel), nous avons défini la notation ASUR. Pour décrire l'interaction, ASUR identifie les entités intervenant dans le système, en particulier les adaptateurs, composants ASUR réalisant le lien entre les deux mondes. L'utilisation d'ASUR, par ces aspects descriptifs, taxinomiques et conceptuels constitue la base de notre démarche de conception ergonomique et logicielle de systèmes de RA. Cette démarche se fonde en outre sur l'étude de propriétés ergonomiques au sein de la description ASUR d'un système et sur l'adaptation du modèle d'architecture PAC-Amodeus aux systèmes de RA. En collaboration avec le chirurgien, nous avons appliqué et testé nos résultats méthodologiques sur une application concrète de chirurgie cardiaque. Cette application, CASPER, assiste le chirurgien lors de la réalisation d'une ponction péricardique, en lui procurant des informations de guidage du geste clinique sur un écran. Une re-conception de CASPER nous a amené à implémenter un casque semi-transparent permettant de visualiser ces informations directement sur le patient.

The multi-disciplinary work of this thesis results in its contributing to two research domains: Human-Computer Interaction (HCI), in particular Augmented Reality (AR), and Computer Assisted Medical Intervention (CAMI), a concrete application domain of AR. The contribution is twofold: on the one hand, it enriches the HCI design concepts and methods of AR by adopting a task centered point of view; on the other hand it improves the clinical usability of CAMI systems. Merging real and virtual worlds opens a wide range of possibilities for the design of AR systems, such as CAMI systems. However, there is currently no consensus either on a precise definition of AR or on a design space. Within this context, we have identified intrinsic characteristics of AR systems and then developed a classification space. In order to gain an understanding of the duality of interaction, (users interacting with part of the real world and simultaneously with part of the virtual world) we have developed the ASUR notation that describes the interaction. ASUR identifies entities involved in the system, in particular the adapters. The adapters constitute one type of ASUR component, which establishes a bridge between the real and virtual worlds. The notation ASUR constitutes the basis of our ergonomic and software design method for AR systems. Our ergonomic design method is grounded on the translation of ergonomic properties in terms of ASUR, while our software design method is based on the specialization of the PAC-Amodeus software architecture model for AR systems. In collaboration with a surgeon, we have applied and tested our methodological results on a cardiac surgery application, CASPER. It provides the surgeon with on-screen guidance information while performing a pericardial puncture. A new version of CASPER has been designed that implements a see-through head-mounted display, which enables the perception of the guidance information superimposed on the patient., Les travaux pluridisciplinaires de cette thèse, contribuent à deux domaines : les Interfaces Homme-Machine (IHM), en particulier la Réalité Augmentée (RA), et les Gestes Médico-Chirurgicaux Assistés par Ordinateur (GMCAO), domaine concret de mise en oeuvre de la RA. La contribution est double : d'une part elle enrichit et organise les concepts d'IHM pour la RA en adoptant un point de vue centré sur la tâche, et d'autre part elle améliore l'utilisabilité par les cliniciens des systèmes de GMCAO. La fusion du monde réel et du monde virtuel ouvre des voies nouvelles pour la conception de systèmes de RA, comme les systèmes de GMCAO. Mais les limites sont mal cernées. Dans ce contexte, nous avons identifié des caractéristiques intrinsèques des systèmes de RA et établi un espace taxinomique. Afin de caractériser plus finement la dualité de l'interaction (Utilisateur-Monde Réel et Utilisateur-Monde Virtuel), nous avons défini la notation ASUR. Pour décrire l'interaction, ASUR identifie les entités intervenant dans le système, en particulier les adaptateurs, composants ASUR réalisant le lien entre les deux mondes. L'utilisation d'ASUR, par ces aspects descriptifs, taxinomiques et conceptuels constitue la base de notre démarche de conception ergonomique et logicielle de systèmes de RA. Cette démarche se fonde en outre sur l'étude de propriétés ergonomiques au sein de la description ASUR d'un système et sur l'adaptation du modèle d'architecture PAC-Amodeus aux systèmes de RA. En collaboration avec le chirurgien, nous avons appliqué et testé nos résultats méthodologiques sur une application concrète de chirurgie cardiaque. Cette application, CASPER, assiste le chirurgien lors de la réalisation d'une ponction péricardique, en lui procurant des informations de guidage du geste clinique sur un écran. Une re-conception de CASPER nous a amené à implémenter un casque semi-transparent permettant de visualiser ces informations directement sur le patient.

This thesis addresses the problem of reconstructing 3D anatomical surfaces based on intraoperatively acquired sparse scattered point data and few calibrated X-ray images. The approacli consists in matching the data with a statistical deformable shape rnodel thus incorporating a priori knowledge into the reconstruction process. Computing such a statistical model requires prior shape analysis in a given population. A new method based on a generic model of the object is used to segment training shapes and to establisli point to point correspondence simultaneously in a set of CT images. Scattered point data are then matched witli the statistical model using a non rigid 3D/3D registration algorithm. The application of this method for intra and extrapolation of sparse point data is demonstrated within a system for computer assisted reconstruction of the anterior cruciate ligament. To reconstruct a surface from few calibrated X-ray images the statistical shape model is matched to the object contours segmented on the calibrated X-ray images based on a new non rigid 3D/2D registration method. Experiments are performed on a statistical model of lumbar vertebrae for the clinical application of pedicle screw placement. It is further shown that hybrid matching combining both, 3D/3D and 3D/2D registration, miglit be an interesting option for certain Computer Assisted Surgery Applications. Abstract, L'objectif de cette thèse est la reconstruction de surfaces anatomiques à partir d'un nombre restreint de radiographies et de points acquis en phase per-operatoire. L'approche proposée repose sur une mise en correspondance des données avec un modèle déformable statistique afin d'incorporer de la connaissance à priori sur la forme de l'objet à reconstruire. L'élaboration d'un tel modèle statistique nécessite l'analyse de forme dans une population donnée. Pour cette analyse un modèle générique de l'objet est utilisé afin d'effectuer simultanément la segmentation des structures et la mise en correspondance de points appariés dans un ensemble d'examens tomodensitométriques. La reconstruction à partir d'un nuage de points est effectuée par une méthode de recalage 3D/3D non rigide. L'application de cette technique d'interpolation et d'extrapolation de données incomplètes est montrée dans un système pour la reconstruction du ligament croisé antérieur. Pour la reconstruction à partir de radiographies une méthode de recalage 3D/2D non rigide est proposée afin de mettre en correspondance le modèle statistique avec les contours de l'objet segmenté dans les radiographies calibrées. Des expérimentations ont été effectuées avec un modèle statistique de vertèbres lombaires, en vue de l'application clinique du vissage pédiculaire. De plus il est montré que la mise en correspondance hybride combinant le recalage 3D/3D et le recalage 3D/2D pourrait être une option intéressante pour certaines applications dans le domaine des Gestes Médicaux Chirurgicaux Assistés par Ordinateur.

Most of Computer Assisted Surgery (C.A.S.) need a six-dimensional localizer. Those systems can locate and follow in space, position and orientation of rigid bodies constituted of markers. A lot of localizers have already been used in surgery but few of them are specifically dedicated for medical applications and the answers they propose to constraints of surgery is not completely adapted. We present in this thesis an original approach to localisation. Based on a study of surgical applications using a localizer, we have defined qualitative (cumbersome, weight, shape etc...) and quantitative criteria in particular accuracy. We have indeed proposed a generic accuracy evaluation protocol for localizer in surgery. An evolution to most often used localizer (optical systems) is proposed to adapt them totally to those criteria. In particular, it appears that cost, accuracy and global ergonomics of existing system are insufficient for high demanding applications, even if they are enough for most of them. We have studied and detailed in this thesis two prototypes that allow to answer to problems posed by cost, accuracy and especially ergonomics. From a passive stereovision hard-ware which locate punctual markers, we propose an original evolution based on the localisation of linear markers which are identified by Thalès equation, which improve the global visibility. Finally, we propose two very innovating concepts of localisation which answer to the major drawback of optical system, which must have the line of sight between cameras and marker, free of all obstacles., La plupart des Gestes Médicaux-Chirurgicaux Assistés par Ordinateur (G.M.C.A.O.) nécessitent l'utilisation d'un localisateur en six-dimensions. Il s'agit d'un système permettant de déterminer et de suivre la position et l'orientation de corps rigides constitués de marqueurs dans l'espace. De nombreux localisateurs ont été utilisés en chirurgie. Très peu de systèmes sont dédiés spécifiquement à la chirurgie ainsi ils ne répondent pas entièrement de façon satisfaisante aux contraintes du domaine. Nous présentons dans cette thèse, une approche originale de la localisation. A partir d'une étude des applications chirurgicales utilisant un localisateur, nous avons défini un ensemble de critères qualitatifs (encombrement, poids, forme) et quantitatifs en particulier sur la précision pour laquelle un protocole générique d'évaluation des localisateurs pour la chirurgie est proposé. Ces critères nous ont conduit à proposer une évolution des principaux systèmes utilisés aujourd'hui (les localisateurs optiques) afin de les rendre totalement adaptés aux besoins du domaine. En particulier, il est apparu que le coût, la précision et l'ergonomie globale des systèmes existants bien que satisfaisantes dans la plupart des cas étaient insuffisantes pour des applications exigeantes. Nous avons étudié et nous détaillons dans cette thèse deux prototypes permettant de répondre aux problèmes posés par le coût, la précision et surtout l'ergonomie. A partir de la base commune d'un localisateur par stéréovision passive repérant des marqueurs ponctuels, nous proposons une évolution originale basée sur la localisation et l'identification de marqueurs linéaires par le rapport de Thalès pour améliorer la visibilité des cibles. Enfin nous proposons deux concepts très innovants de localisation répondant à l'inconvénient majeur des systèmes optiques qui doivent avoir une ligne de vue entre les caméras et les marqueurs libre de tout obstacle.

Echographical imaging could potentially play a major role in the field of Computer Assisted Surgery (CAS). For doctors and surgeons to make full use of this tool in planning and executing surgical operations, they also need user-friendly automatic software based on fast, precise and reliable algorithms. The main goal of this thesis is to take advantage of the segmentation/registration duality to extract the relevant information from echographical images. This information will allow the precise and automatic registration both of anatomical structures contained in the pre-operative model and of per-operative data contained in echographical images. The result of registration will be further used to guide a computer-assisted tool. In the first part we propose différent methods for filtering, segmentation and calibration of echographical images. The development of fast, precise and reliable algorithms is emphasized. The second part concerns the segmentation-registration duality and the corrections of elastic deformations of soft tissues. High-level segmentation algorithms for echographical images were developed. They are based on results of low-level segmentation, a priori anatomical knowledge as well as on information provided by the pre-operative model. The third part deals with detailed descriptions of applications and interpretation of results. The cases studied include : screwing inside the vertebral pedicles, iliosacral screwing, prostatic radiotherapy and puncture of pericardial effusion. Future developments for this approach are discussed., L'échographie est un outil qui s'impose de plus en plus dans le domaine des Gestes Médico-Chirurgicaux Assistés par Ordinateur (GMCAO). Les médecins et les chirurgiens disposent en conséquence d'un excellent outil de travail qui les aide à planifier et surtout à réaliser des interventions chirurgicales. Pour cela, ils ont besoin également de logiciels automatiques et faciles à utiliser fondés sur d'algorithmes robustes, précis et rapides. L'objectif majeur de cette thèse est d'exploiter la dualité segmentation- recalage pour extraire de l'information pertinente des images échographiques. Cette information permettra ensuite le recalage automatique et précis des structures anatomiques contenues dans le modèle pré-opératoire issu de l'imagerie TDM/IRM et des données per-opératoires contenues dans les images échographique. Le résultat du recalage sera utilisé ultérieurement pour prêter assistance à un outil guidé par ordinateur. Dans une première partie, nous proposons des méthodes de filtrage, segmentation et calibrage des images échographiques. Un intérêt majeur a été accordé au développement des algorithmes de traitement robustes, précis et rapides. Une deuxième partie a été dédiée à la dualité segmentation-recalage et à la compensation des déformations élastiques des tissus mous. Des algorithmes de segmentation de haut niveau des images échographiques ont été développés. Ils se fondent sur la fusion des résultats fournis par la segmentation de bas niveau, des connaissances anatomiques a priori et de l'information apportée par le modèle pré-opératoire. La troisième partie est réservée à la description détaillée des applications et à l'interprétation des résultats. Les applications traitées sont : l'orthopédie du rachis - visée pédiculaire, l'orthopédie du bassin - visée sacro-iliaque, la radiothérapie de la prostate et la ponction d'un épanchement péricardique. Finalement, les développements futurs de cette approche sont discutés.