Search

Deflickering consists of removing rapid, artifactual changes of luminosity and colorimetry from image sequences and improving luminosity consistency between video frames. It is a necessary and fundamental task in multiple applications, for instance in archived film sequences, compressed videos and time-lapse videos. In recent years, there has been a renewal of interest for improving luminosity consistency acquisition technology in the flicker removal problem, in particular for periodic flickering. In this context, flicker corresponds to undesirable intensity and chroma variations due to the interaction between the acquisition frequencies on the one hand, and the alternating current powering the light sources on the other hand. The present thesis formulates the periodic deflickering problem in high speed videos, studies the physical properties of flicker and suggests both theoretical and experimental solutions for its removal from image sequences. Finally, a new flicker removal approach is proposed performing jointly motion tracking and color correction, Le deflickering consiste à supprimer le scintillement présent dans les séquences d’images afin de réduire les variations lumineuses entre chacune des images de la vidéo. Il s’agit d’une tâche essentielle, nécessaire dans plusieurs applications, en particulier dans les séquences de films archivés, les vidéos comprimées et les vidéos time-lapse. Au cours de ces dernières années, avec le développement des technologies d’acquisition à haute vitesse, il y a eu un regain d’intérêt pour le problème de suppression de flicker, en particulier le flicker périodique. Dans ce contexte, le flicker correspond à des variations indésirables de luminosité et des couleurs dues à l’interaction entre la vitesse d’acquisition d’une part, et d’autre part le courant alternatif alimentant les sources lumineuses. La présente thèse formule le problème du déflickering périodique dans les vidéos à haute vitesse, étudie les propriétés physiques du flicker et propose à la fois des solutions théoriques et expérimentales pour sa suppression des séquences d’images. Enfin, une nouvelle approche est proposée permettant d’effectuer simultanément le suivi de mouvement et la correction des couleurs

The various professionals (oncologists, medical physicists, radiation therapist, etc.) involved in the treatment of cancer by radiation therapy express more and more acutely a real need to have a global view of the treatment system in order to monitor the patient and all the equipment in the room — be it mobile (or even robotized) or not — to improve patient safety. This global view would help reduce the number of human interventions, errors in physical interaction (involuntary movements, collisions, etc.), and errors in the global configuration for the patient. To answer this need, this PhD manuscript presents a videosurveillance module using a numerical model of the elements in the scene (patient, couch, irradiation arm, etc.) to monitor the movement of these elements in order to avoid any event that could put the patient, staff or equipment in danger. Monitoring the treatment room means checking, at any moment, that its current configuration is consistent with what was planned upstream (in the Treatment Planning System [TPS]) and with the standards of radiotherapy, and if need be to, to inform the medical staff, so that correcting actions may be undertaken. We have developed a generic model which allows the creation of numerical models from the data contained in the patient record (in the TPS), enriched with other visual, geometric and “semantic” information. All the numerical models used to create a virtual environment correspond to the scene as seen by video cameras. Location and orientation of the elements are calculated by 3D registration, a choice justified by the characteristics of radiation treatment rooms (controlled environment, low dynamics, highly constrained construction specifications, very similar treatment rooms, etc.). The (geometric, physical and mechanical) information items in the model allow to reduce the overall complexity of the algorithms. The method for motion tracking we have implemented exploits the characteristics and constraints of the elements included in the numerical model, specifically the “descriptors” which correspond to the 3D modeling of primitives used to track the element in the video stream. We also present a dissimilarity function that we have defined, resulting from the merging of two well-known dissimilarity functions, respectively based on the chamfer distance and the notion of non-overlap. A fuzzy formalism improves the robustness of the method against the noise generated by acquisition and processing. When the treatment session takes place, the module evaluates the current configuration (positions acquired for elements, using the tracking module and global parameters of the scene), to interact with medical staff in relation to what has been defined in pretreatment. We present results of tests performed in a radiotherapy room but in the absence of irradiation and patient (the patient was either replaced by a phantom positioned on the couch or by one researcher playing his/her role). These results demonstrate the feasibility and efficiency of the surveillance module, Los profesionales involucrados en el tratamiento contra el cáncer con radioterapia (oncólogos, radiofísicos hospitalarios, tecnólogos médicos, etc.) expresaron la necesidad de tener una vista global del sistema de tratamiento con el fin de supervisar el paciente y todos los equipos presentes en la habitación - móvil (o robot) o no – para mejorar la seguridad del paciente. Esta vista global reduciría la cantidad de intervenciones humanas, los errores físicos (movimientos involuntarios, colisiones, etc.) y los errores en la configuración global con respecto al paciente tratado. Para satisfacer esta necesidad, en esta tesis presentamos un módulo de vídeovigilancia que explota un modelo digital de les elementos de la escena (el paciente, la camilla, la maquina de radiación, etc.) para vigilar el movimiento de estos elementos con el fin de evitar cualquier evento adverso que podría poner en peligro al paciente, el personal o los equipos. La supervisión de la sala de tratamiento implica la verificación, en cualquier momento, la consistencia entre la configuración actual de la sala con respecto a lo que estaba previsto antes (en el Sistema de Planificación del Tratamiento [SPT]) y con respecto a las normas relacionadas con la radioterapia, y en el caso contrario, informar al personal médico para que el tome las medidas necesarias. Hemos desarrollado un modelo genérico, que permite la creación de modelos digitales de los datos contenidos en el registro del paciente (obtenidas con el SPT), enriquecidas con otro tipo de información visual, geométrica y « semántica ». Los modelos digitales de todos los elementos son utilizados para crear un entorno virtual equivalente a la escena como es visto por las cámaras de vídeo. La ubicación y orientación de los elementos se calcula con la técnica de registro 3D, elección justificada por las características de las salas de tratamiento con radioterapia (entorno controlado, dinámica baja, especificación de la construcción con muchas restricciones : salas muy similares, etc.). Las informaciones (principalmente geométricas, físicas y mecánicas) contenidas en el modelo permiten la reducción de la complejidad general de los algoritmos utilizados. El método de seguimiento del movimiento implementado explota las características y las limitaciones de los elementos incluidas en sus modelos digitales, y plus exactamente los « descriptores », que corresponden au modelado 3D de las primitivas que permiten controlar el elemento de la secuencia de vídeo. También se presenta una función de disimilitud, que nosotros hemos definido, resultante de la fusión de dos funciones de disimilitud muy bien conocidas : distancia de chaflán y la noción de no-recubrimiento. Un formalismo difuso, basado en la teoría de conjuntos difusos, mejora la robustez del método contra el ruido generado por la adquisición y el procesamiento de datos. Cuando la sesión de tratamiento se lleva a cabo, el módulo evalúa la configuración actual (las posiciones adquiridas de los elementos mediante el módulo de seguimiento y los parámetros globales de la escena), para interactuar con el personal médico en relación con lo que se ha definido antes del tratamiento. Presentamos los resultados de las pruebas realizadas en una sala de radioterapia, pero en ausencia de la radiación y del paciente (un objeto reemplazado al verdadero paciente ha sido colocado sobre la camilla, o una persona de nuestro equipo ha jugado el papel del paciente). Estos resultados demuestran la viabilidad y la eficacia del módulo de seguridad, Les différents acteurs impliqués dans le traitement du cancer par radiothérapie (oncologues, radiophysiciens, manipulateurs, etc.) ont exprimé un réel besoin d'avoir une vue globale du système de traitement pour pouvoir suivre le patient ainsi que la totalité des équipements de la salle - mobiles (voire robotisés) ou non – afin d'améliorer la sécurité des patients. Cette vue globale permettrait de réduire le nombre d'interventions humaines, les erreurs d'ordre physique (mouvements involontaires, collisions, etc.) et les erreurs dans la configuration globale par rapport au patient traité. Pour répondre à ce besoin, nous présentons dans cette thèse un module de vidéosurveillance exploitant un modèle numérique des éléments de la scène (patient, couche, bras d'irradiation, etc.) afin de suivre le mouvement de ces éléments dans le but d'éviter tout événement indésirable susceptible de mettre en danger le patient, le personnel voire les équipements. Surveiller la salle de traitement consiste à vérifier, à tout instant, que sa configuration courante est conforme à ce qui a été planifié en amont (dans le Système de Planification de Traitement [SPT]), ainsi qu'aux normes liées à la radiothérapie, et le cas échéant, à informer le personnel médical pour qu'il prenne les mesures nécessaires. Nous avons développé un modèle générique, qui permet la création de modèles numériques à partir des données contenues dans le dossier du patient (issues du SPT), enrichies d'autres informations visuelles, géométriques et « sémantiques ». L'ensemble des modèles numériques permet de créer un environnement virtuel équivalent à la scène vue par les caméras vidéo. La localisation et l'orientation des éléments est calculée par recalage 3D, choix justifié par les caractéristiques propres aux salles de traitement par radiothérapie (milieu contrôlé, dynamique faible, spécification de construction très contrainte : salles très semblables, etc.). Les informations (notamment géométriques, physiques et mécaniques) contenues dans le modèle permettent de réduire la complexité globale des algorithmes de contrôle. La méthode de suivi de mouvement implémentée exploite les caractéristiques et les contraintes des éléments incluses dans leur modèle numérique, et plus précisément les « descripteurs », qui correspondent à la modélisation 3D des primitives permettant de suivre l'élément dans le flux vidéo. Nous présentons également une fonction de dissimilarité, que nous avons définie, résultant de la fusion de deux fonctions de dissimilarité bien connues : distance de chanfrein et notion de non recouvrement. Un formalisme flou permet d'améliorer la robustesse de la méthode face au bruit généré par le système d'acquisition et le traitement des données. Lorsque la séance de traitement se déroule, le module évalue la configuration courante (positions acquises des éléments à l'aide du module de suivi et des paramètres globaux de la scène), pour interagir avec le personnel médical par rapport à ce qui a été défini en prétraitement. Nous présentons des résultats issus de tests réalisés dans une salle de radiothérapie mais en l'absence d'irradiation et de patient (un fantôme positionné sur la couche s'est substitué au patient, ou bien l'un de nos collaborateurs a joué le rôle du patient). Ces résultats démontrent la faisabilité et l'efficacité du module de surveillance

The work described herin, presents my research activities over the 1990-2009 period. They focus on image analysis, the objective being to develop image processing tools to assist clinical decision making in the diagnosis and treatment of coronary artery diseases and congestive heart failure (where therapy relies on a transvenous approach to position the lead in the left ventricle). These works cover most of the topics of a chain picture (segmentation, registration, motion tracking, reconstruction, etc..) And they mainly proceed with generic methods (attributed matching strings, 3D navigation based on geometrical moments, tracking of deformables strctures, sparse 3D reconstruction and motion compensation)., Les travaux décrits présentent mes activités de recherches sur la période 1990-2009. Ils couvrent la plupart des thématiques d'une chaine image (segmentation, recalage, suivi de mouvement, reconstruction, etc.) et ils procèdent en grande partie de méthodes génériques (mise en correspondance par chaines de caractères, navigation 3D basée sur des moments géométriques et reconstruction par compensation de mouvement).

The work described herin, presents my research activities over the 1990-2009 period. They focus on image analysis, the objective being to develop image processing tools to assist clinical decision making in the diagnosis and treatment of coronary artery diseases and congestive heart failure (where therapy relies on a transvenous approach to position the lead in the left ventricle). These works cover most of the topics of a chain picture (segmentation, registration, motion tracking, reconstruction, etc..) And they mainly proceed with generic methods (attributed matching strings, 3D navigation based on geometrical moments, tracking of deformables strctures, sparse 3D reconstruction and motion compensation).; Les travaux décrits présentent mes activités de recherches sur la période 1990-2009. Ils couvrent la plupart des thématiques d'une chaine image (segmentation, recalage, suivi de mouvement, reconstruction, etc.) et ils procèdent en grande partie de méthodes génériques (mise en correspondance par chaines de caractères, navigation 3D basée sur des moments géométriques et reconstruction par compensation de mouvement).