Search

The present study aimed to validate the Leap Motion Controller (LMC)-based Fizyosoft (R) HandROM System developed by our team to evaluate range of motion (ROM) for fingers, wrist, and forearm in a new clinical setting. Thirty-five healthy individuals participated in the study (all right-handed, 20-30 years old). The LMC-based Fizyosoft (R) HandROM System is a licensed software ROM-measurement developed by our team. Pronation/supination, wrist flexion/extension, ulnar/radial deviation and metacarpophalangeal (MCP) flexion/extension of all fingers were measured with both the Fizyosoft (R) HandROM System and a universal goniometer. No significant differences were found between the two measurement methods for almost all mean ROMs except for ulnar and radial deviation (p > 0.05). Highly significant correlations were found between all ROMs of the forearm, wrist, and thumb (p < 0.01). MCP flexion showed significant correlation only in the index finger (r = 0.516, p = 0.003) and little finger (r = 0.517, p = 0.004). Besides, for both measures, the intraclass correlations were good to excellent on all ROMs of the forearm, wrist, and fingers except for MCP of the middle and ring fingers (0.68-0.88). The present study results indicated that the LMC-based Fizyosoft (R) HandROM System could sensitively track changes in the active motion of the thumb, wrist, and forearm. It is a viable alternative for assessing ROMs of the forearm, wrist, and thumb in patient follow-up. L’objectif de la pre ́sente e ́tude e ́tait de valider le syste`me Fizyosoft1HandROM base ́sur le Leap MotionController (LMC) de ́veloppe ́par notre e ́quipe pour e ́valuer l’amplitude articulaire (ROM) des doigts, dupoignet et de l’avant-bras dans un nouveau contexte clinique. Trente-cinq personnes saines ont participe ́a`cette e ́tude. Le syste`me Fizyosoft1HandROM base ́sur LMC est un logiciel sous licence de ́veloppe ́parnotre e ́quipe pour mesurer l’amplitude articulaire. La mesure de l’amplitude de la pronation/supination,de la flexion/extension et de la de ́viation ulnaire/radiale du poignet, et de la flexion/extensionme ́tacarpo-phalangienne (MCP) de tous les doigts a e ́te ́re ́alise ́e avec le syste`me HandROM et ungoniome`tre universel. Aucune diffe ́rence significative n’a e ́te ́constate ́e lors de la comparaison depresque toutes les moyennes d’amplitude a`l’exception des de ́viations ulnaire/radiale entre deuxme ́thodes de mesure (p > 0,05). Des corre ́lations significatives e ́leve ́es ont e ́te ́trouve ́es pour toutes lesamplitudes de l’avant-bras, du poignet et du pouce, ainsi que la flexion MCP de l’index et de l’auriculaire, mesure ́e par le goniome`tre et via le syste`me HandROM (p < 0,01). En outre, pour les deux mesures, lesICC e ́taient bons a`excellents sur toutes amplitudes de l’avant-bras, du poignet et des doigts, a`l’exceptionde la MCP du majeur et de l’annulaire (0,68–0,88). Les re ́sultats de la pre ́sente e ́tude montrent que lesyste`me Fizyosoft1HandROM base ́sur le LMC peut suivre de manie`re sensible les changements dans lesmouvements actifs du pouce, du poignet et de l’avant-bras. Research Fund of Istanbul University-Cerrahpasa, Turkey

Many technological barriers must be tackled in order to provide tools in Sign Languages (SLs) in the same way as for spoken languages. For that aim, further insights must be gained into multiple disciplines, in particular motion science. More specifically, the present thesis aims to gain insights into the possibility of anonymizing the movements of a signer, in the same way as a speaker can remain anonymous by modifying specific aspects of the voice.First, this thesis sheds light on general kinematic properties of spontaneous SL in order to improve the models of natural SL. Using 3D motion recordings of multiple signers, we show that the kinematic bandwidth of spontaneous SL highly differs from that of signs made in isolation. Furthermore, a Principal Component Analysis reveals that the spontaneous SL discourses can be described by a reduced set of simple, one-directional, movements (i.e., synergies).Furthermore, combining human data and computational modelling, we demonstrate that signers can be identified from their movements, beyond morphology- and posture-related cues. Finally, we present machine learning models able to automatically extract identity information in SL movements and to manipulate it in generated motion. The models developed in this thesis could allow producing anonymized SL messages via virtual signers, which would open new horizons for deaf SL users.; De nombreux obstacles technologiques doivent être surmontés afin d'outiller les Langues des Signes (LS) de la même manière que les langues parlées. Pour ce faire, il est nécessaire d'approfondir les connaissances dans de multiples disciplines, en particulier les sciences du mouvement. Plus précisément, cette thèse vise à étudier la possibilité d'anonymiser les mouvements d'un signeur, de la même manière qu'un locuteur peut rester anonyme en modifiant des aspects spécifiques de sa voix.Premièrement, cette thèse met en lumière les propriétés cinématiques de la LS spontanée afin d'améliorer les modèles de LS naturelle. En utilisant des données de mouvements en 3D de plusieurs signeurs, nous montrons que la bande passante cinématique de la LS spontanée diffère fortement de celle des signes isolés. Ensuite, une analyse en composantes principales révèle que les discours spontanés peuvent être décrits par un ensemble réduit de mouvements simples (i.e., synergies).De plus, en combinant données humaines et modélisation informatique, cette thèse démontre que les signeurs peuvent être identifiés à partir de leurs mouvements, au-delà de la morphologie et de la posture. Enfin, nous présentons des modèles d'apprentissage automatique capables d'extraire automatiquement l'information d'identité dans les mouvements de la LS, puis de la manipuler lors de la génération. Les modèles développés dans cette thèse pourraient permettre de produire des messages de LS anonymes via des signeurs virtuels, ce qui ouvrirait de nouveaux horizons aux signeurs sourds.

With an aging population, sedentary lifestyles, an increase in strokes and other motor deficiencies, mobility is a global concern of paramount importance. To this problem, exoskeletons and orthoses are one possible technological solution.An orthosis is a multidisciplinary system that must adapt to the user's body to assist him in his motion. Due to its complex design, it involves physical, technological and control constraints on the user. The materials used, the shape, the information and power chain, the human morphology and the motion are all factors that influence the type and amplitude of the constraints. If these constraints are too important, the user will have to adapt and modify his gait consequently.To predict the physical constraints applied by a knee orthosis on a human being during a cyclic motion such as squatting or walking, a simulator has been developed. It enables the generation of optimal trajectories in accordance with a cost function and the computation of the joint torques required to achieve the motion. An experimental study was conducted on several subjects to understand how weight is distributed during a squat motion. Based on these results, a model for the forces distribution was proposed.; Avec le vieillissement de la population, la sédentarité, l’augmentation des accidents vasculaires cérébraux et autres déficiences motrices, la mobilité est un enjeu mondial primordial. À ce problème, les exosquelettes et les orthèses constituent une réponse technologique possible.Une orthèse est un système pluridisciplinaire qui doit s’adapter au corps de l’utilisateur pour l’assister dans son mouvement. De par sa nature complexe, elle impose à l’utilisateur des contraintes physiques, technologiques et liées à la commande. Les matériaux utilisés, la géométrie, la chaîne de puissance, la chaîne d’information, la morphologie de l’être humain et la nature du mouvement sont autant d’éléments qui influent sur la nature et l’amplitude des contraintes. Si celles-ci sont trop importantes, l’utilisateur va devoir s’adapter et modifier sa démarche en conséquence.Pour prévoir les contraintes physiques appliquées par une orthèse de genou sur un individu au cours d’un mouvement cyclique tel que le squat ou la marche, un simulateur a été développé. Il permet de générer des trajectoires optimales au sens d’une fonction de coût et de calculer les couples articulaires nécessaires à la réalisation du mouvement. Une étude expérimentale a été menée sur plusieurs sujets pour comprendre comment le poids se répartit au cours d’un mouvement de squat. Basé sur ces résultats, un modèle de répartition des efforts a été proposé.

Gait analysis is the measurement of and ability evaluation of walking that can be used for fall risk assessment or as a diagnostic and prognostic tool for clinical applications. However, despite the clinical value, several difficulties attributed to the current established gold standard instrumentation, marker-based motion capture systems, limit the large-scale use in clinical applications. The current marker-based systems are costly and require a controlled laboratory environment. The test procedure is also time-consuming. Eliminating the markers would drastically shorten the patient preparatory time and would be more efficient. The objective of this study is to design a marker-less motion capture system for clinical applications. Recent advancements in computer vision and especially in convolutional neural networks, have provided the potential to pursue this objective. The designed system consists of four RGB cameras and can estimate the position of joint centers through a deep learning approach. For that purpose, a novel specific dataset has been collected including asymptomatic and pathologic subjects. To evaluate the validity of the developed system, its performance is assessed against a marker-based motion capture system in terms of joint position errors and clinically relevant gait parameters. The results demonstrate the high potential of the designed system for clinical applications.; L'analyse de la marche est la mesure et l'évaluation de la capacité de marche qui peut être utilisée pour l'évaluation des risques de chute ou comme outil de diagnostic et de pronostic pour des applications cliniques. Toutefois, malgré la valeur clinique, plusieurs difficultés attribuées à l'instrumentation de référence actuelle, les systèmes de capture du mouvement basés sur des marqueurs, limitent l'utilisation à grande échelle dans les applications cliniques. Les systèmes actuels sont coûteux et nécessitent un environnement de laboratoire contrôlé. La procédure de test est également longue. L'élimination des marqueurs réduirait considérablement le temps de préparation du patient et serait plus efficace. L'objectif de cette étude est de concevoir un système de capture de mouvement sans marqueur pour les applications cliniques. Les apprécents progrès réalisés dans le domaine de la vision par ordinateur et en particulier dans celui des réseaux neuronaux convolutifs, ont permis de poursuivre cet objectif. Le système conçu se compose de quatre caméras RGB et peut estimer la position des centres communs grâce à une approche d'apprentissage profond. À cette fin, un nouvel ensemble de données spécifiques a été collecté, incluant des sujets asymptomatiques et pathologiques. Pour évaluer la validité du système développé, ses performances sont évaluées par rapport à un système de capture de mouvement basé sur des marqueurs en termes d'erreurs de position des articulations et de paramètres de marche cliniquement pertinents. Les résultats démontrent le potentiel élevé du système conçu pour des applications cliniques.

This thesis deals with the capture, annotation, synthesis and evaluation of arm and hand motions for the animation of avatars communicating in Sign Languages (SL). Currently, the production and dissemination of SL messages often depend on video recordings which lack depth information and for which editing and analysis are complex issues. Signing avatars constitute a powerful alternative to video. They are generally animated using either procedural or data-driven techniques. Procedural animation often results in robotic and unrealistic motions, but any sign can be precisely produced. With data-driven animation, the avatar’s motions are realistic but the variety of the signs that can be synthesized is limited and/or biased by the initial database. As we considered the acceptance of the avatar to be a prime issue, we selected the data-driven approach but, to address its main limitation, we propose to use annotated motions present in an SL Motion Capture database to synthesize novel SL signs and utterances absent from this initial database. To achieve this goal, our first contribution is the design, recording and perceptual evaluation of a French Sign Language (LSF) Motion Capture database composed of signs and utterances performed by deaf LSF teachers. Our second contribution is the development of automatic annotation techniques for different tracks based on the analysis of the kinematic properties of specific joints and existing machine learning algorithms. Our last contribution is the implementation of different motion synthesis techniques based on motion retrieval per phonological component and on the modular reconstruction of new SL content with the additional use of motion generation techniques such as inverse kinematics, parameterized to comply to the properties of real motions.; Cette thèse porte sur la capture, l’annotation, la synthèse et l’évaluation des mouvements des mains et des bras pour l’animation d’avatars communiquant en Langues des Signes (LS). Actuellement, la production et la diffusion de messages en LS dépendent souvent d’enregistrements vidéo qui manquent d’informations de profondeur et dont l’édition et l’analyse sont difficiles. Les avatars signeurs constituent une alternative prometteuse à la vidéo. Ils sont généralement animés soit à l’aide de techniques procédurales, soit par des techniques basées données. L’animation procédurale donne souvent lieu à des mouvements peu naturels, mais n’importe quel signe peut être produit avec précision. Avec l’animation basée données, les mouvements de l’avatar sont réalistes mais la variété des signes pouvant être synthétisés est limitée et/ou biaisée par la base de données initiale. Privilégiant l’acceptation de l’avatar, nous avons choisi l’approche basée sur les données mais, pour remédier à sa principale limitation, nous proposons d’utiliser les mouvements annotés présents dans une base de mouvements de LS capturés pour synthétiser de nouveaux signes et énoncés absents de cette base. Pour atteindre cet objectif, notre première contribution est la conception, l’enregistrement et l’évaluation perceptuelle d’une base de données de capture de mouvements en Langue des Signes Française (LSF) composée de signes et d’énoncés réalisés par des enseignants sourds de LSF. Notre deuxième contribution est le développement de techniques d’annotation automatique pour différentes pistes d’annotation basées sur l’analyse des propriétés cinématiques de certaines articulations et des algorithmes d’apprentissage automatique existants. Notre dernière contribution est la mise en œuvre de différentes techniques de synthèse de mouvements basées sur la récupération de mouvements par composant phonologique et sur la reconstruction modulaire de nouveaux contenus de LSF avec l’utilisation de techniques de génération de mouvements, comme la cinématique inverse, paramétrées pour se conformer aux propriétés des mouvements réels.

This thesis deals with the capture, annotation, synthesis and evaluation of arm and hand motions for the animation of avatars communicating in Sign Languages (SL). Currently, the production and dissemination of SL messages often depend on video recordings which lack depth information and for which editing and analysis are complex issues. Signing avatars constitute a powerful alternative to video. They are generally animated using either procedural or data-driven techniques. Procedural animation often results in robotic and unrealistic motions, but any sign can be precisely produced. With data-driven animation, the avatar’s motions are realistic but the variety of the signs that can be synthesized is limited and/or biased by the initial database. As we considered the acceptance of the avatar to be a prime issue, we selected the data-driven approach but, to address its main limitation, we propose to use annotated motions present in an SL Motion Capture database to synthesize novel SL signs and utterances absent from thisinitial database. To achieve this goal, our first contribution is the design, recording and perceptual evaluation of a French Sign Language (LSF) Motion Capture database composed of signs and utterances performed by deaf LSF teachers. Our second contribution is the development of automatic annotation techniques for different tracks based on the analysis of the kinematic properties of specific joints and existing machine learning algorithms. Our last contribution is the implementation and evaluation of different motion synthesis techniques based on motion retrieval per phonological component and on the modular reconstruction of new SL content with the additional use of motion generation techniques such as inverse kinematics, parameterized tocomply to the properties of real motions.; Cette thèse porte sur la capture, l’annotation, la synthèse et l’évaluation des mouvements des mains et des bras pour l’animation d’avatars communiquant en Langues des Signes (LS). Actuellement, la production et la diffusion de messages en LS dépendent souvent d’enregistrements vidéo qui ne possèdent pas d’informations de profondeur et dont l’édition et l’analyse sont difficiles. Les avatars signeurs constituent une alternative prometteuse à la vidéo. Ils sont généralement animés soit à l’aide de techniques procédurales, soit par des techniques basées données.L’animation procédurale donne souvent lieu à des mouvements peu naturels, mais n’importe quel signe peut être produit avec précision. Avec l’animation basée données, les mouvements de l’avatar sont réalistes mais la variété des signes pouvant être synthétisés est limitée et/ou biaisée par la base de données initiale. Privilégiant l’acceptation de l’avatar, nous avons choisi l’approche basée sur les données mais, pour remédier à sa principale limitation, nous proposons d’utiliser les mouvements annotés présents dans une base de mouvements de LS capturés pour synthétiser de nouveaux signes et énoncés absents de cette base.Pour atteindre cet objectif, notre première contribution est la conception, l’enregistrement et l’évaluation perceptuelle d’une base de données de capture de mouvements en Langue des Signes Française (LSF) composée de signes et d’énoncés réalisés par des enseignants sourds de LSF. Notre deuxième contribution est le développement de techniques d’annotation automatique pour différentes pistes d’annotationbasées sur l’analyse des propriétés cinématiques de certaines articulations et des algorithmes d’apprentissage automatique existants. Notre dernièrecontribution est la mise en oeuvre et l’évaluation de différentes techniques de synthèse de mouvements basées sur la récupération de mouvements par composant phonologique et sur la reconstruction modulaire de nouveaux contenus de LSF avec l’utilisation de techniques de génération de mouvements, comme la cinématique inverse, paramétrées pour se conformer aux propriétés des mouvements réels.

International audience; Historical reconstructions based on new technologies such as virtual reality are now being developed. However, most of these reconstructions offer frozen worlds, emptied of human activity. As part of a collaboration between a research centre in history, a research institute in computer science and the 3D production platform CNPAO “Digital Conservatory of Western Archaeological Heritage”, we offer a reconstruction of activities of life aboard the ship of the French East India Company, Le Boullongne, based on motion captureA first work made in 2014 produced a functional and interactive simulation of the Boullongne, with virtual reality. This reconstruction already included some animated virtual sailors and animals, but without significant any activity. In this new work, about ten scenes of everyday life have been identified through the study of historical documents and engravings. These scenes were scripted and played by historians involved in the project, and captured and processed by computer scientists. Digital mariners have been modelled by the CNPAO, in collaboration with historians. In the end, several scenes were integrated in the virtual Boullongne thus giving to the reconstitution a human dimension for this testimony of the life of the sailors aboard the ships of the 18th century.; Les reconstitutions historiques basées sur les nouvelles technologies telles que la réalité virtuelle tendent à se développer. Cependant, ces reconstitutions proposent pour la plupart des univers figés, vidés de l’activité humaine. Dans le cadre d’une collaboration entre un centre de recherche en histoire, un institut de recherche en informatique et la plateforme de production 3D du Conservatoire numérique du patrimoine archéologique de l’Ouest (CNPAO), nous proposons une reconstitution d’activités de la vie à bord du navire de la Compagnie des Indes orientales Le Boullongne, fondée sur de la capture de mouvements.Un premier travail, réalisé en 2014, a permis de produire une simulation fonctionnelle et interactive du Boullongne en réalité virtuelle. Cette reconstitution intégrait déjà quelques marins et animaux virtuels animés, mais sans activité significative. Dans cette nouvelle phase, une dizaine de scènes de la vie quotidienne ont été identifiées à travers l’étude de documents historiques et de gravures. Ces scènes ont été scénarisées et jouées par les historiens impliqués dans le projet, puis capturées et traitées par les chercheurs en informatique. Les marins numériques ont été modélisés par le CNPAO, en collaboration avec les historiens. Plusieurs scènes ont été finalement intégrées dans le Boullongne virtuel, donnant ainsi à la reconstitution une dimension humaine pour ce témoignage de la vie des marins à bord des navires du XVIIIe siècle.

International audience; Historical reconstructions based on new technologies such as virtual reality are now being developed. However, most of these reconstructions offer frozen worlds, emptied of human activity. As part of a collaboration between a research centre in history, a research institute in computer science and the 3D production platform CNPAO “Digital Conservatory of Western Archaeological Heritage”, we offer a reconstruction of activities of life aboard the ship of the French East India Company, Le Boullongne, based on motion captureA first work made in 2014 produced a functional and interactive simulation of the Boullongne, with virtual reality. This reconstruction already included some animated virtual sailors and animals, but without significant any activity. In this new work, about ten scenes of everyday life have been identified through the study of historical documents and engravings. These scenes were scripted and played by historians involved in the project, and captured and processed by computer scientists. Digital mariners have been modelled by the CNPAO, in collaboration with historians. In the end, several scenes were integrated in the virtual Boullongne thus giving to the reconstitution a human dimension for this testimony of the life of the sailors aboard the ships of the 18th century.; Les reconstitutions historiques basées sur les nouvelles technologies telles que la réalité virtuelle tendent à se développer. Cependant, ces reconstitutions proposent pour la plupart des univers figés, vidés de l’activité humaine. Dans le cadre d’une collaboration entre un centre de recherche en histoire, un institut de recherche en informatique et la plateforme de production 3D du Conservatoire numérique du patrimoine archéologique de l’Ouest (CNPAO), nous proposons une reconstitution d’activités de la vie à bord du navire de la Compagnie des Indes orientales Le Boullongne, fondée sur de la capture de mouvements.Un premier travail, réalisé en 2014, a permis de produire une simulation fonctionnelle et interactive du Boullongne en réalité virtuelle. Cette reconstitution intégrait déjà quelques marins et animaux virtuels animés, mais sans activité significative. Dans cette nouvelle phase, une dizaine de scènes de la vie quotidienne ont été identifiées à travers l’étude de documents historiques et de gravures. Ces scènes ont été scénarisées et jouées par les historiens impliqués dans le projet, puis capturées et traitées par les chercheurs en informatique. Les marins numériques ont été modélisés par le CNPAO, en collaboration avec les historiens. Plusieurs scènes ont été finalement intégrées dans le Boullongne virtuel, donnant ainsi à la reconstitution une dimension humaine pour ce témoignage de la vie des marins à bord des navires du XVIIIe siècle.

This thesis focuses on the synthesis of motion capture data with statistical models. Motion synthesis is a task of interest for important application fields such as entertainment, human-computer interaction, robotics, etc. It may be used to drive a virtual character that can be involved in the applications of the virtual reality, animation films or computer games. This thesis focuses on the use of statistical models for motion synthesis with a strong focus on neural networks. From the machine learning point of view designing synthesis models consists in learning generative models. Our starting point lies in two main problems one encounters when dealing with motion capture data synthesis, ensuring realism of postures and motion, and handling the large variability in the synthesized motion. The variability in the data comes first from core individual features, we do not all move the same way but accordingly to our personality, our gender, age, and morphology etc. Moreover there are other short term factors of variation like our emotion, the fact that we are interacting with somebody else, that we are tired etc. Data driven models have been studied for generating human motion for many years. Models are learned from labelled datasets where motion capture data are recorded while actors are performed various activities like walking, dancing, running, etc. Traditional statistical models such as Hidden Markov Models, Gaussian Processes have been investigated for motion synthesis, demonstrating strengths but also weaknesses. Our work focuses in this line of research and concerns the design of generative models for sequences able to take into account some contextual information, which will represent the factors of variation. A first part of the thesis present preliminary works that we realised by extending previous approaches relying on Hidden Markov Models and Gaussian Processes to tackle the two main problems related to realism and variability. We first describe an attempt to extend contextual Hidden Markov Models for handling variability in the data by conditioning the parameters of the models to an additional contextual information such as the emotion which which a motion was performed. We then propose a variant of a traditional method for performing a specific motion synthesis task called Inverse Kinematics, where we exploit Gaussian Processes to enforce realism of each of the postures of a generated motion. These preliminary results show some potential of statistical models for designing human motion synthesis systems. Yet none of these technologies offers the flexibility brought by neural networks and the recent deep learning revolution.The second part of the thesis describes the works we realized with neural networks and deep architectures. It builds on recurrent neural networks for dealing with sequences and on adversarial learning which was introduced very recently in the deep learning community for designing accurate generative models for complex data. We propose a simple system as a basis synthesis architecture, which combines adversarial learning with sequence autoencoders, and that allows randomly generating realistic motion capture sequences. Starting from this architecture we design few conditional neural models that allow to design synthesis systems that one can control up to some extent by either providing a high level information that the generated sequence should match (e.g. the emotion) or by providing a sequence in the style of which a sequence should be generated.; Cette thèse porte sur la synthèse de séquences de motion capture avec des modèles statistiques. La synthèse de ce type de séquences est une tâche pertinente pour des domaines d'application divers tels que le divertissement, l'interaction homme-machine, la robotique, etc. Du point de vue de l'apprentissage machine, la conception de modèles de synthèse consiste à apprendre des modèles génératifs, ici pour des données séquentielles. Notre point de départ réside dans deux problèmes principaux rencontrés lors de la synthèse de données de motion capture, assurer le réalisme des positions et des mouvements, et la gestion de la grande variabilité dans ces données. La variabilité vient d'abord des caractéristiques individuelles, nous ne bougeons pas tous de la même manière mais d'une façon qui dépend de notre personnalité, de notre sexe, de notre âge de notre morphologie, et de facteurs de variation plus court terme tels que notre état émotionnel, que nous soyons fatigués, etc.Une première partie présente des travaux préliminaires que nous avons réalisés en étendant des approches de l'état de l'art basées sur des modèles de Markov cachés et des processus gaussiens pour aborder les deux problèmes principaux liés au réalisme et à la variabilité. Nous décrivons d'abord une variante de modèles de Markov cachés contextuels pour gérer la variabilité dans les données en conditionnant les paramètres des modèles à une information contextuelle supplémentaire telle que l'émotion avec laquelle un mouvement a été effectué. Nous proposons ensuite une variante d'une méthode de l'état de l'art utilisée pour réaliser une tâche de synthèse de mouvement spécifique appelée Inverse Kinematics, où nous exploitons les processus gaussiens pour encourager le réalisme de chacune des postures d'un mouvement généré. Nos résultats montrent un certain potentiel de ces modèles statistiques pour la conception de systèmes de synthèse de mouvement humain. Pourtant, aucune de ces technologies n'offre la flexibilité apportée par les réseaux de neurones et la récente révolution de l'apprentissage profond et de l'apprentissage Adversarial que nous abordons dans la deuxième partie.La deuxième partie de la thèse décrit les travaux que nous avons réalisés avec des réseaux de neurones et des architectures profondes. Nos travaux s'appuient sur la capacité des réseaux neuronaux récurrents à traiter des séquences complexes et sur l'apprentissage Adversarial qui a été introduit très récemment dans la communauté du Deep Learning pour la conception de modèles génératifs performants pour des données complexes, notamment images. Nous proposons une première architecture simple qui combine l'apprentissage Adversarial et des autoencodeurs de séquences, qui permet de mettre au point des systèmes performants de génération aléatoire de séquences réalistes de motion capture. A partir de cette architecture de base, nous proposons plusieurs variantes d'architectures neurales conditionnelles qui permettent de concevoir des systèmes de synthèse que l'on peut contrôler dans une certaine mesure en fournissant une information de haut niveau à laquelle la séquence générée doit correspondre, par exemple l'émotion avec laquelle une activité est réalisée. Pour terminer nous décrivons une dernière variante qui permet de réaliser de l'édition de séquences de motion capture, où le système construit permet de générer une séquence dans le style d'une autre séquence, réelle.

The human sense of touch is of fundamental importance in the way we perceive our environment, move ourselves, and purposefully interact with other objects or beings. Thus, contact forces are informative on both the realized task and the underlying intent. However, monitoring them with force transducers is a costly, cumbersome and intrusive process. In this thesis, we investigate the capture of haptic information from motion tracking. This is a challenging problem, as a given motion can generally be caused by an infinity of possible force distributions in multi-contact. In such scenarios, physics-based optimization alone may only capture force distributions that are physically compatible with a given motion, rather than those really applied. In contrast, machine learning techniques for the black-box modelling of kinematically and dynamically complex structures are often prone to generalization issues. We propose a formulation of the force distribution problem utilizing both approaches jointly rather than separately. We thus capture the variability in the way humans instinctively regulate contact forces while also ensuring their compatibility with the observed motion. We present our approach on both manipulation and whole-body interaction with the environment. We consistently back our findings with ground-truth measurements and provide extensive datasets to encourage and serve as benchmarks for future research on this new topic.; Le sens du toucher joue un rôle fondamental dans la façon dont nous percevons notre environnement, nous déplaçons, et interagissons délibérément avec d'autres objets ou êtres vivants. Ainsi, les forces de contact informent à la fois sur l'action réalisée et sa motivation. Néanmoins, l'utilisation de capteurs de force traditionnels est coûteuse, lourde, et intrusive. Dans cette thèse, nous examinons la perception haptique par la capture de mouvement. Ce problème est difficile du fait qu'un mouvement donné peut généralement être causé par une infinité de distributions de forces possibles, en multi-contact. Dans ce type de situations, l'optimisation sous contraintes physiques seule ne permet que de calculer des distributions de forces plausibles, plutôt que fidèles à celles appliquées en réalité. D'un autre côté, les méthodes d'apprentissage de type `boîte noire' pour la modélisation de structures cinématiquement et dynamiquement complexes sont sujettes à des limitations en termes de capacité de généralisation. Nous proposons une formulation du problème de la distribution de forces exploitant ces deux approches ensemble plutôt que séparément. Nous capturons ainsi la variabilité dans la façon dont on contrôle instinctivement les forces de contact tout en nous assurant de leur compatibilité avec le mouvement observé. Nous présentons notre approche à la fois pour la manipulation et les interactions corps complet avec l'environnement. Nous validons systématiquement nos résultats avec des mesures de référence et fournissons des données exhausives pour encourager et évaluer les travaux futurs sur ce nouveau sujet.

To ease the complex task of anatomy learning, there exist many ways to represent and structure anatomy : illustrations, books, cadaver dissections and 3d models. However, it is difficult to understand and analyse anatomy motion, which is essential for medicine students. We present the "Living Book of Anatomy" (LBA), an original and innovative tool to learn anatomy. For a specific user, we superimpose a 3d anatomical model (skin, skeleton, muscles and visceras) onto the user’s color map and we animate it following the user’s movements. We present a real-time mirror-like augmented reality (AR) system. A Kinect is used to capturebody motions.The first innovation of our work is the identification of the user’s body measurements to register our 3d anatomical model. We propose two different methods to register anatomy.The first one is real-time and use affine transformations attached to rigid positioned on each joint given by the Kinect body tracking skeleton in order to deform the 3d anatomical model using skinning to fit the user’s measurements.The second method needs a few minutes to register the anatomy and is divided in 3 parts : skin deformation (using Kinect body tracking skeleton and the Kinect partial point cloud), with it and strict anatomical rules we register the skeleton. Lastly we deformm the soft tissues to completly fill the space inbetween the registered skeleton and skin.Secondly, we want to capture realistically and in real-time the user’s motion. To do that we need to reproduce anatomical structure motion but it is a complex task due to the noisy and often partial Kinect data. We propose here the use of anatomical rules concerning body articulations (angular limits and degrees of freedom) to constraint Kinect captured motion in order to obtain/gain plausible motions. a kalman filter is used to smooth the obtaiined motion capture.Lastly, to embed visual style and interaction, we use a full body reproduction to show general knowledge on human anatomy and its differents joints. We also use a lower-limb as structure of interest to higlight specific anatomical phenomenon, as muscular activity.All these tools have been integrated in a working system detailed in this thesis.We validated our tool/system by presenting it as a live demo during different conferences and through user studies done with students and professionnals from different backgrounds, La complexité de l’anatomie fait de son apprentissage une tâche difficile. Au fil des années, différents supports de connaissances ont vu le jour dans le but de représenter et structurer l’anatomie : des dessins au tableau, aux livres d’anatomie, en passant par l’étape incontournable de la dissection, et des travaux pratiques sur maquettes 3d. Il est néanmoins difficile d’appréhenderla dimension dynamique de l’anatomie avec les outils d’apprentissage conventionnels ; connaissance qui est pourtant essentielle à la formation des médecins. A travers ces travaux de thèse nous proposons un système original et innovant pour l’apprentissage de l’anatomie intitulé « Living Book of Anatomy » (LBA). L’idée étant, pour un utilisateur donné, de superposer à sa propre image une maquette anatomique 3d (peau, squelette, muscles et viscères) et del’animer en mimant les mouvements de celui-ci. Nous parlons ici d’une application temps-réel de type « miroir augmenté ». Nous utilisons la Kinect comme capteur de mouvement.Le premier défi à relever est l’identification de caractéristiques morphologiques qui nous permettront de recaler notre maquette anatomique 3d sur l’utilisateur. Nous proposons ici deux technologies interchangeables en fonction des besoins. La première méthode, temps-réel, est basée sur l’utilisation de transformations affines attachées entre les repères positionnés à chaque articulation du squelette donné par la Kinect pour déformer la maquette 3d à l’aide de poids de skinning prédéfinis. La seconde méthode, plus couteuse en temps (de l’ordre de quelques minutes), se découpe en trois parties : dans un premier temps nous déformons la peau à l’aide de la position des articulations du squelette d’animation Kinect et du nuage de pointpartiel de l’utilisateur ; à partir de cela et de règles anatomiques strictes nous déformons le squelette ; pour finir nous déformons les tissus mous pour qu’ils comblent l’espace entre le squelette et la peau. Le second défi concerne la capture réaliste et temps-réel des mouvements utilisateurs. Reproduire le comportement des structures anatomiques est une tâche complexe due aux informations Kinect souvent partielles et très bruitées. Nous proposons ici l’utilisation de règles anatomiques concernant les articulations du corps (axes de rotation et butées articulaires) pour contraindre les mouvements donnés par la Kinect et obtenir des mouvements réalistes. Pour obtenir des mouvements fluides nous nous proposons d’utiliser des filtrages, notamment le filtre de Kalman. Le dernier défi concerne la dominante de retour visuel et d’interaction.Lors de ces travaux nous nous sommes tout particulièrement intéressés à un renducorps complet pour montrer le fonctionnement général du corps humain et de ces différentes articulations. Nous avons également choisi le membre inférieur comme structure anatomique d’intérêt avec pour but la mise en avant de phénomènes anatomiques spécifiques, comme l’activité musculaire.Les différents éléments ont été intégrés dans un système opérationnel présenté en détails dans ce manuscrit de thèse. Grâce à des expérimentations - avec des étudiants et des professionnels de différents domaines - et la présentation de ces travaux sous forme de démonstrations lors de différents congrès, nous avons validé cet outil

To make the complex task of anatomy learning easier, there exist many ways to represent and structure anatomical knowledge (drawings, books, cadaver dissections, 3D models, etc.). However, it may be difficult from these static media to understand and analyze anatomy motion, which is essential for medicine students. We introduce the "Living Book of Anatomy" (LBA), an original and innovative tool to learn anatomy. For a specific user, a 3D anatomical model (skin, skeleton, muscles and organs) is superimposed onto the user’s color map and animated following the user’s movements. We present a real-time mirror-like augmented reality (AR) system. A Kinect is used to capture body motions.Three challenges have been tackled : The user-based model deformation challenge identifies the user’s body measurements and use it to register our 3D anatomical model. We propose and evaluate two different registration methods. The first one is real-time and use affine transformations attached to rigid frames positioned on each joint given by the Kinect body tracking skeleton. This allows to deform the 3D anatomical model using skinning to fit the user’s measurements. The second method needs a few minutes to register the anatomy and is divided in 3 parts :skin deformation (using Kinect body tracking skeleton and the Kinect partial point cloud) ; combination with strict anatomical rules we register the skeleton ; soft tissue deformation to fully fill the space inbetween the registered skeleton and skin.Through the real-time model animation challenge, we want to capture realistically and in real-time the user’s motion. Reproducing anatomical structure motion is a complex task due to the noisy and often partial Kinect data.We propose here the use of anatomical rules concerning body joints (angular limits and degrees of freedom) to constrain Kinect captured motion in order to obtain plausible motions. A Kalman filter is used to smooth the obtained motion capture.The Augmented Reality model visualisation challenge, is about embedding visual style and interaction, using a full body reproduction to show general knowledge on human anatomy and its differents joints. We also use a lower-limb as structure of interest to higlight specific anatomical phenomenon, as muscular activity. All these approaches have been integrated in a working system detailed in this thesis. This has been validated through live demos during different conferences and through preliminary user studies., La complexité de l’anatomie fait de son apprentissage une tâche difficile. Au fil des années, différents supports de connaissances ont vu le jour dans le but de représenter et structurer l’anatomie : des dessins au tableau, aux livres d’anatomie, en passant par l’étape incontournable de la dissection, et des travaux pratiques sur maquettes 3D. Il est néanmoins difficile d’appréhender la dimension dynamique de l’anatomie avec les outils d’apprentissage conventionnels ; notion qui est pourtant essentielle à la formation des médecins. À travers ces travaux de thèse, nous proposons un système original et innovant pour l’apprentissage de l’anatomie intitulé « Living Book of Anatomy » (LBA). L’idée étant, pour un utilisateur donné, de superposer à sa propre image une maquette anatomique 3D (peau, squelette, muscles et viscères) et de l’animer en mimant les mouvements de celui-ci. Nous parlons ici d’une application temps réel de type « miroir augmenté ». Nous utilisons la Kinect comme capteur de mouvement.Le premier défi à relever est l’identification de caractéristiques morphologiques qui nous permettront de recaler notre maquette anatomique 3D sur l’utilisateur. Nous proposons ici deux méthodes interchangeables en fonction des besoins. La première méthode, temps-réel, est basée sur l’utilisation de transformations affines attachées entre les repères positionnés à chaque articulation du squelette donné par la Kinect pour déformer la maquette 3D à l’aide de poids de skinning prédéfinis. La seconde méthode, plus couteuse en temps (de l’ordre de quelques minutes), se découpe en trois parties : dans un premier temps, nous déformons la peau à l’aide de la position des articulations du squelette d’animation Kinect et du nuage de points partiel de l’utilisateur ; à partir de cela et de règles anatomiques strictes, nous déformons le squelette ; pour finir, nous déformons les tissus mous pour qu’ils comblent l’espace entre le squelette et la peau. Le second défi concerne la capture réaliste et temps-réel des mouvements utilisateurs. Reproduire le comportement des structures anatomiques est une tâche complexe due aux informations Kinect souvent partielles et très bruitées. Nous proposons ici l’utilisation de règles anatomiques concernant les articulations du corps (axes de rotation et butées articulaires) pour contraindre les mouvements donnés par la Kinect et obtenir des mouvements réalistes. Pour obtenir des mouvements fluides, nous nous proposons d’utiliser des filtrages, notamment le filtre de Kalman. Le dernier défi concerne la dominante de retour visuel et d’interaction. Lors de ces travaux, nous nous sommes tout particulièrement intéressés à un rendu corps complet pour montrer le fonctionnement général du corps humain et de ces différentes articulations. Nous avons également choisi le membre inférieur comme structure anatomique d’intérêt avec pour but la mise en avant de phénomènes anatomiques spécifiques, comme l’activité musculaire. Les différents éléments ont été intégrés dans un système opérationnel présenté en détails dans ce manuscrit de thèse. Grâce à des expérimentations - avec des étudiants et des professionnels de différents domaines - et la présentation de ces travaux sous forme de démonstrations lors de différents congrès, nous avons validé l’intérêt de cet outil et obtenu les premiers éléments de son évaluation.

International audience; Prosodic variation and poetic translation (LSF/French): What happens to prosody with a channel change? The study of spoken language prosody is partially based on the measurement of three parameters: sound duration, intensity and frequency. Sign languages use the visual-gestural channel and mobilize manual and non manual articulators (chest, head, facial features). Our study aims to establish tools that allow to compare, on the prosodic level, the translation of poetic sequences into French and their original versions in French Sign Language (LSF). We collected video and motion capture data-which offers wide avenues for exploration of LSF prosodic features-as well as audio data of French translations-that reveal the strategies of interpreters to convey prosodic variation.; L'étude de la prosodie des langues vocales repose en partie sur la mesure des paramètres de durée, d'intensité et de fréquence sonores. Les langues des signes, quant à elles, empruntent le canal visuo-gestuel et mobilisent des articulateurs manuels et non manuels (buste, tête, éléments du visage). Notre étude a pour objectif d'établir des outils permettant de comparer, au niveau prosodique, la traduction en français de séquences poétiques et la version originale en langue des signes française (LSF). Nous avons recueilli des données vidéo augmentées de capture de mouvement-qui offrent plusieurs pistes d'exploration des paramètres prosodiques pour la LSF-ainsi que des données audio des traductions en français-qui révèlent les stratégies des interprètes pour interpréter la variation prosodique

National audience; The study of spoken language prosody is partially based on the measurement of three parameters: sound duration, intensity and frequency. Sign languages use the visual-gestural channel and mobilize manual and non manual articulators (chest, head, facial features). Our study aims to establish tools that allow to compare, on the prosodic level, the translation of poetic sequences into French and their original versions in French Sign Language (LSF). We collected video and motion capture data – which offers wide avenues for exploration of LSF prosodic features – as well as audio data of French translations – that reveal the strategies of interpreters to convey prosodic variation.; L’étude de la prosodie des langues vocales repose en partie sur la mesure des paramètres de durée, d’intensité et de fréquence sonores. Les langues des signes, quant à elles, empruntent le canal visuo-gestuel et mobilisent des articulateurs manuels et non manuels (buste, tête, éléments du visage). Notre étude a pour objectif d’établir des outils permettant de comparer, au niveau prosodique, la traduction en français de séquences poétiques et la version originale en langue des signes française (LSF). Nous avons recueilli des données vidéo augmentées de capture de mouvement – qui offrent plusieurs pistes d’exploration des paramètres prosodiques pour la LSF – ainsi que des données audio des traductions en français – qui révèlent les stratégies des interprètes pour interpréter la variation prosodique.

In this thesis we are interested in designing a mobile robot able to analyze the behavior and movement of a a person in indoor and cluttered environment. Our goal is to equip the robot by visual perception capabilities of the human posture to better analyze situations that require understanding of person with which the robot interacts, or detect risk situations such as falls or analyze motor skills of the person. Motion capture in a dynamic and crowded environment raises multiple challenges such as learning the background of the environment and extracting the silhouette that can be partially observable when the person is in hidden places. These difficulties make motion capture difficult. Most of existing methods assume that the scene is static and the person is always fully visible by the camera. These approaches are not able to work in such realitsit conditions. In this thesis, We propose a new motion capture system capable of tracking a person in realistic world conditions. Our approach uses a 3D occupancy grid with a hidden Markov model to continuously learn the changing background of the scene and to extract silhouette of the person, then a hierarchical particle filtering algorithm is used to reconstruct the posture. We propose a novel occlusion management algorithm able to identify and discards hidden body parts of the person from process of the pose estimation. We also proposed a new database containing RGBD images with ground truth data in order to establish a new benchmark for the assessment of motion capture systems in a real environment with occlusions. The ground truth is obtained from a motion capture system based on high-precision marker with eight infrared cameras. All data is available online. The second contribution of this thesis is the development of a new visual odometry method to localize an RGB-D camera mounted on a robot moving in a dynamic environment. The major difficulty of the localization in a dynamic environment, is that mobile objects in the scene induce additional movement that generates outliers pixels. These pixels should be excluded from the camera motion estimation process in order to produce accurate and precise localization. We thus propose an extension of the dense localization method based on the optical flow method to remove outliers pixels using the RANSAC algorithm.; Dans cette thèse nous intéressons à la conception d'un robot mobile capable d’analyser le comportement et le mouvement d’une personne en environnement intérieur et encombré, par exemple le domicile d’une personne âgée. Plus précisément, notre objectif est de doter le robot des capacités de perception visuelle de la posture humaine de façon à mieux maîtriser certaines situations qui nécessitent de comprendre l’intention des personnes avec lesquelles le robot interagit, ou encore de détecter des situations à risques comme les chutes ou encore d’analyser les capacités motrices des personnes dont il a la garde. Le suivi de la posture dans un environnement dynamique et encombré relève plusieurs défis notamment l'apprentissage en continue du fond de la scène et l'extraction la silhouette qui peut être partiellement observable lorsque la personne est dans des endroits occultés. Ces difficultés rendent le suivi de la posture une tâche difficile. La majorité des méthodes existantes, supposent que la scène est statique et la personne est toujours visible en entier. Ces approches ne sont pas adaptées pour fonctionner dans des conditions réelles.Nous proposons, dans cette thèse, un nouveau système de suivi capable de suivre la posture de la personne dans ces conditions réelles. Notre approche utilise une grille d'occupation avec un modèle de Markov caché pour apprendre en continu l'évolution de la scène et d'extraire la silhouette, ensuite un algorithme de filtrage particulaire hiérarchique est utilisé pour reconstruire la posture. Nous proposons aussi un nouvel algorithme de gestion d'occlusion capable d'identifier et d'exclure les parties du corps cachées du processus de l'estimation de la pose. Finalement, nous avons proposé une base de données contenant des images RGB-D avec la vérité-terrain dans le but d'établir une nouvelle référence pour l'évaluation des systèmes de capture de mouvement dans un environnement réel avec occlusions. La vérité-terrain est obtenue à partir d'un système de capture de mouvement à base de marqueur de haute précision avec huit caméras infrarouges. L'ensemble des données est disponible en ligne. La deuxième contribution de cette thèse, est le développement d'une méthode de localisation visuelle à partir d'une caméra du type RGB-D montée sur un robot qui se déplace dans un environnement dynamique. En effet, le système de capture de mouvement que nous avons développé doit équiper un robot se déplaçant dans une scène. Ainsi, l'estimation de mouvement du robot est importante pour garantir une extraction de silhouette correcte pour le suivi. La difficulté majeure de la localisation d'une caméra dans un environnement dynamique, est que les objets mobiles de la scène induisent un mouvement supplémentaire qui génère des pixels aberrants. Ces pixels doivent être exclus du processus de l'estimation du mouvement de la caméra. Nous proposons ainsi une extension de la méthode de localisation dense basée sur le flux optique pour isoler les pixels aberrants en utilisant l'algorithme de RANSAC.

The work conducted in this thesis can be summarized into four main steps.Firstly, we proposed a multi-level body movement notation system that allows the description ofexpressive body movement across various body actions. Secondly, we collected a new databaseof emotional body expression in daily actions. This database constitutes a large repository of bodilyexpression of emotions including the expression of 8 emotions in 7 actions, combining video andmotion capture recordings and resulting in more than 8000 sequences of expressive behaviors.Thirdly, we explored the classification of emotions based on our multi-level body movement notationsystem. Random Forest approach is used for this purpose. The advantage of using RandomForest approach in our work is double-fold : 1) reliability of the classification model and 2) possibilityto select a subset of relevant features based on their relevance measures. We also comparedthe automatic classification of emotions with human perception of emotions expressed in differentactions. Finally, we extracted the most relevant features that capture the expressive content of themotion based on the relevance measure of features returned by the Random Forest model. Weused this subset of features to explore the characterization of emotional body expression acrossdifferent actions. A Decision Tree model was used for this purpose., Ce travail de thèse peut être résumé en quatre étapes principales. Premièrement, nousavons proposé un système d’annotation multi-niveaux pour décrire le mouvement corporel expressif dansdifférentes actions. Deuxièmement, nous avons enregistré une base de données de l’expression corporelledes émotions dans des actions quotidiennes. Cette base de données constitue un large corpus de comportementsexpressifs considérant l’expression de 8 émotions dans 7 actions quotidiennes, combinant à la fois lesdonnées audio-visuelle et les données de capture de mouvement et donnant lieu à plus que 8000 séquencesde mouvement expressifs. Troisièmement, nous avons exploré la classification des émotions en se basantsur notre système d’annotation multi-niveaux. L’approche des forêts aléatoires est utilisée pour cette fin. L’utilisationdes forêts aléatoires dans notre travail a un double objectif : 1) la fiabilité du modèle de classification,et 2) la possibilité de sélectionner un sous-ensemble de paramètres pertinents en se basant sur la mesured’importance retournée par le modèle. Nous avons aussi comparé la classification automatique des émotionsavec la perception humaine des émotions exprimées dans différentes actions. Finalement, nous avonsextrait les paramètres les plus pertinents qui retiennent l’expressivité du mouvement en se basant sur la mesured’importance retournée par le modèle des forêts aléatoires. Nous avons utilisé ce sous-ensemble deparamètres pour explorer la caractérisation de l’expression corporelle des émotions dans différentes actionsquotidiennes. Un modèle d’arbre de décision a été utilisé pour cette fin.

How optimal are human movements ? This thesis tackles this issue by focusing especially on climbing movements, studied here under three complementary aspects which are the experimental gathering of climbing sequences, the biomechanical analysis of these data, and the synthesis of gestures by timing optimization. Walking has been largely studied, with good results in animation [Mordatch 2013]. We are interested here especially in the original question of climbing motions, whose diversity and multicontact aspect present an interesting complexity for the evaluation of the human motion characteristics. The heterogeneity of climbing gestures can be linked to several factors which are the variety of wall shapes, the multiplicity of climber skill levels, and different climbing categories, namely bouldering, route climbing or speed climbing. Our exploratory approach of this sport consists in three steps: the data collection by multicamera marker-based motion capture, combined with a set of force sensors mounted on an in-laboratory bouldering wall; a gesture analysis by inverse dynamics, taking only kinematic data as inputs, based on the minimization of internal torques to resolve the multicontact ambiguity, intrinsic to the climbing activity, validated by comparison with sensor measurements; and finally, the use of the energy efficiency criterion for synthesizing the best timing associated with a given sequence of movements. Experimental recordings were made at McGill University which has a climbing wall instrumented of 6 force sensors, and a motion capture device of 24 cameras, which allowed us to collect data on a population of nine subjects. The analysis of these data is the second part of this thesis. The addressed challenge is to find the external forces and internal torques from the climber's movements only. To this end we assume an optimal distribution of internal torques. After analysis, the distribution turns out to be rather uniform than proportional to the muscle capacity associated to each body joint. Finally, in a third and last part, we focus on the timing of climbing gestures, taking as input the path of the climber, possibly after inverse kinematics in order to overcome the need for a capture with markers and infrared cameras. As output, an optimal timing for this path is found. This timing is realistic, but lacks of a modelization for hesitation and decision making instants, as well as a model for the contact establishment, with the associated temporal delay currently not taken into account.; À quel point les mouvements humains sont-ils optimaux ? Cette thèse aborde cette question en se concentrant particulièrement sur les mouvements en escalade, étudiés ici sous trois aspects complémentaires que sont la collecte expérimentale de séquences de grimpe, l'analyse biomécanique de ces données, et la synthèse de gestes par optimisation temporelle. La marche fut l'objet de nombreux travaux, avec de bons résultats notamment en animation [Mordatch 2013]. Nous nous intéressons ici spécialement au problème original des mouvements d'escalade, dont la diversité et leur caractère multicontact présentent une complexité intéressante pour l'évaluation des caractéristiques du mouvement humain. L'hétérogénéité du répertoire gestuel rencontrée en escalade s'explique par plusieurs facteurs que sont l'évolution sur des parois de formes variées, la multiplicité des niveaux d'expertise des pratiquants, et des disciplines différentes au sein même de l'activité, à savoir le bloc, la difficulté, ou encore l'escalade de vitesse. Notre démarche d'exploration de ce sport se décompose en trois étapes : la collecte de données par une capture de mouvements multicaméra avec marqueurs, couplée à un ensemble de capteurs de force montés sur un mur de bloc en laboratoire ; une analyse du geste par dynamique inverse, prenant exclusivement des données cinématiques pour entrées, basée sur une minimisation des couples internes pour résoudre l'ambiguïté du multicontact, intrinsèque à l'activité d'escalade, validée par comparaison avec les mesures capteurs ; et enfin, l'utilisation d'un critère d'efficacité énergétique pour synthétiser la meilleure temporisation associée à une séquence de déplacements donnés. Les enregistrements expérimentaux se sont fait à l'université McGill qui dispose d'un mur instrumenté de 6 capteurs de forces, et d'un dispositif de capture de mouvements 24 caméras, nous ayant permis de collecter des données sur une population de 9 sujets. L'analyse de ces données constitue la deuxième partie de cette thèse. Le défi abordé est de retrouver les forces externes et les efforts internes à partir uniquement des déplacements du grimpeur. Nous supposons pour cela une répartition optimale des efforts internes. Après analyse, cette répartition s'avère être plutôt uniforme que proportionnelle aux capacités musculaires des différentes articulations du corps. Finalement, dans une troisième et dernière partie, nous nous intéressons à la temporisation des gestes en escalade, en prenant en entrée la trajectoire du grimpeur, éventuellement issue de cinématique inverse pour s'affranchir de la nécessité d'une capture par marqueurs et caméras infra-rouges. En sortie, une temporisation idéale pour cette trajectoire est trouvée. Cette temporisation s'avère réaliste, mais manque d'une modélisation des instants d'hésitation et de prise de décision, ainsi que d'un modèle d'établissements de contact, phénomène présentant un délai temporel non pris en compte pour l'instant.

This document describes an overview of my research works on measurement and modeling for motion capture. The driving methodology has been dimensionality reduction for optimal modeling of articulated motion. My works covers topics on anatomical motion analysis from human to animals. In particular, the later has been studied thanks to dedicated experimental platforms including a low gravity set-up as well as an X-ray based facility.; Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.

This document describes an overview of my research works on measurement and modeling for motion capture. The driving methodology has been dimensionality reduction for optimal modeling of articulated motion. My works covers topics on anatomical motion analysis from human to animals. In particular, the later has been studied thanks to dedicated experimental platforms including a low gravity set-up as well as an X-ray based facility.; Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.

The users and uses inclusion in product design remains a difficult aspect to be addressed, especially when their characterization is very specific (in the case of disabled people or situations of uses in stressful environments). In this context, the purpose of this work is to contribute to a better consideration of the users and uses by the implementation of tools and methods to characterize them. This characterization integrated into the design process, helped to meet the needs of AE2M Association (Ergonomic Adaptation of Musical Equipments). It aims to provide assistive technologies for people with physical impairments. These systems allow them to play musical instruments with the same level of independence that able-bodied people. In the context of this thesis, we firstly proposed a common conceptualization of "disability situation" in our context and have highlighted the constraints to the success of this thesis. Secondly, we did a bibliography study about design approaches in the disabled context, Human-Machine Interface in the musical context, and means and methods for the analysis of the users' motors specificities. This step allowed us to propose a generic design process approach adapted to the context of the design of assistive technology for people with physical impairments. This CARACTH method is inspired from the User Centered Design methodology to which we propose to insert: (1) a specific users' motor characterization step and (2) a modular architecture product definition step. These proposals permitted (3) to simplifying the iteration phases within the design process to allow a quick and effective personalization of the product (control and operative parts). Next, a set of experiments was conducted in the laboratory and in situ. They allowed offering and validating the modular product architecture pertinence for facilitating the assistive devices design for music practice, but also for proposing a system named KinecLAB to measure and interpret user's gestural capabilities. This KinectLAB system was tested and validated with professional physiotherapists in the Michallon Grenoble Hospital. Finally, our CARACTH process was applied to design a customizable system adapted to the physical capabilities of a disabled user. We confirmed its successful integration into a use situation during musical concert. We also studied the relevance of customization on user performances and workload., La prise en compte des usagers et des usages dans la conception des produits reste un aspect difficile à traiter, en particulier lorsque leur caractérisation est très spécifique (c'est le cas des personnes handicapées ou des situations d'usages dans des environnements contraignants). Dans ce contexte, l'objet de ces travaux est de contribuer à une meilleure prise en compte des usagers et usages par la mise en place d'outils et de méthodes permettant de les caractériser. Cette caractérisation, intégrée dans un processus de conception de produits, a contribué à répondre aux besoins de l'Association AE2M (Adaptation Ergonomique du Matériel Musical). Celle-ci a pour objectif de mettre à disposition de personnes en situation de handicap moteur des aides techniques leur permettant de jouer un ou plusieurs instruments de musique avec le même niveau d'autonomie que les personnes valides. Dans le cadre de ce travail de thèse, nous avons tout d'abord proposé une conceptualisation commune de ce qu'est une situation de handicap et avons mis en avant les conditions de bon déroulement des travaux de recherche. Dans un second temps, nous avons effectué une étude bibliographique centrée sur les approches de conception liée au handicap, les interactions Homme Machine dans le contexte musicale et les moyens et méthodes d'analyse des spécificités motrices des sujets. Cette étape nous a permis de proposé une méthode générique de processus de conception adapté au contexte de la conception d'aides techniques pour personnes en situation de handicap. Cette méthode nommée CARACTH est inspirée de la méthodologie de la Conception Centrée Utilisateur à laquelle nous proposons d'insérer : (1) une étape de caractérisation des spécificités motrices des utilisateurs et (2) une étape pour la définition d'une architecture produit modulaire. Ces évolution permettent notamment (3) de simplifier les phases d'itérations à l'intérieur du processus de conception pour permettre une personnalisation efficace et rapide du produit (partie commande et partie opérative). Nous présentons ensuite un ensemble d'expérimentations menées au laboratoire et sur le terrain. Elles ont permis de proposer et de valider la pertinence de l'architecture produit modulaire pour faciliter la conception d'aides techniques pour la pratique musicale, mais aussi de concevoir un système nommé KinecLAB pour la mesure et l'interprétation des possibilités gestuelles des usagers. Ce système KinectLAB a été testé et validé auprès de professionnel kinésithérapeute du CHU Michallon de Grenoble. Enfin, notre processus CARACTH a été appliqué pour la conception d'un système personnalisable aux capacités motrices d'un utilisateur en situation de handicap. Nous avons pu vérifier sa bonne intégration dans une situation d'usage en concert et aussi d'étudier la pertinence de la personnalisation sur les performances et la charge de travail de l'utilisateur.

How optimal are human movements ? This thesis tackles this issue by focusing especially on climbing movements, studied here under three complementary aspects which are the experimental gathering of climbing sequences, the biomechanical analysis of these data, and the synthesis of gestures by timing optimization. Walking has been largely studied, with good results in animation [Mordatch 2013]. We are interested here especially in the original question of climbing motions, whose diversity and multicontact aspect present an interesting complexity for the evaluation of the human motion characteristics. The heterogeneity of climbing gestures can be linked to several factors which are the variety of wall shapes, the multiplicity of climber skill levels, and different climbing categories, namely bouldering, route climbing or speed climbing. Our exploratory approach of this sport consists in three steps: the data collection by multicamera marker-based motion capture, combined with a set of force sensors mounted on an in-laboratory bouldering wall; a gesture analysis by inverse dynamics, taking only kinematic data as inputs, based on the minimization of internal torques to resolve the multicontact ambiguity, intrinsic to the climbing activity, validated by comparison with sensor measurements; and finally, the use of the energy efficiency criterion for synthesizing the best timing associated with a given sequence of movements. Experimental recordings were made at McGill University which has a climbing wall instrumented of 6 force sensors, and a motion capture device of 24 cameras, which allowed us to collect data on a population of nine subjects. The analysis of these data is the second part of this thesis. The addressed challenge is to find the external forces and internal torques from the climber's movements only. To this end we assume an optimal distribution of internal torques. After analysis, the distribution turns out to be rather uniform than proportional to the muscle capacity associated to each body joint. Finally, in a third and last part, we focus on the timing of climbing gestures, taking as input the path of the climber, possibly after inverse kinematics in order to overcome the need for a capture with markers and infrared cameras. As output, an optimal timing for this path is found. This timing is realistic, but lacks of a modelization for hesitation and decision making instants, as well as a model for the contact establishment, with the associated temporal delay currently not taken into account., À quel point les mouvements humains sont-ils optimaux ? Cette thèse aborde cette question en se concentrant particulièrement sur les mouvements en escalade, étudiés ici sous trois aspects complémentaires que sont la collecte expérimentale de séquences de grimpe, l'analyse biomécanique de ces données, et la synthèse de gestes par optimisation temporelle. La marche fut l'objet de nombreux travaux, avec de bons résultats notamment en animation [Mordatch 2013]. Nous nous intéressons ici spécialement au problème original des mouvements d'escalade, dont la diversité et leur caractère multicontact présentent une complexité intéressante pour l'évaluation des caractéristiques du mouvement humain. L'hétérogénéité du répertoire gestuel rencontrée en escalade s'explique par plusieurs facteurs que sont l'évolution sur des parois de formes variées, la multiplicité des niveaux d'expertise des pratiquants, et des disciplines différentes au sein même de l'activité, à savoir le bloc, la difficulté, ou encore l'escalade de vitesse. Notre démarche d'exploration de ce sport se décompose en trois étapes : la collecte de données par une capture de mouvements multicaméra avec marqueurs, couplée à un ensemble de capteurs de force montés sur un mur de bloc en laboratoire ; une analyse du geste par dynamique inverse, prenant exclusivement des données cinématiques pour entrées, basée sur une minimisation des couples internes pour résoudre l'ambiguïté du multicontact, intrinsèque à l'activité d'escalade, validée par comparaison avec les mesures capteurs ; et enfin, l'utilisation d'un critère d'efficacité énergétique pour synthétiser la meilleure temporisation associée à une séquence de déplacements donnés. Les enregistrements expérimentaux se sont fait à l'université McGill qui dispose d'un mur instrumenté de 6 capteurs de forces, et d'un dispositif de capture de mouvements 24 caméras, nous ayant permis de collecter des données sur une population de 9 sujets. L'analyse de ces données constitue la deuxième partie de cette thèse. Le défi abordé est de retrouver les forces externes et les efforts internes à partir uniquement des déplacements du grimpeur. Nous supposons pour cela une répartition optimale des efforts internes. Après analyse, cette répartition s'avère être plutôt uniforme que proportionnelle aux capacités musculaires des différentes articulations du corps. Finalement, dans une troisième et dernière partie, nous nous intéressons à la temporisation des gestes en escalade, en prenant en entrée la trajectoire du grimpeur, éventuellement issue de cinématique inverse pour s'affranchir de la nécessité d'une capture par marqueurs et caméras infra-rouges. En sortie, une temporisation idéale pour cette trajectoire est trouvée. Cette temporisation s'avère réaliste, mais manque d'une modélisation des instants d'hésitation et de prise de décision, ainsi que d'un modèle d'établissements de contact, phénomène présentant un délai temporel non pris en compte pour l'instant.

Ambulatory motion capture is of great interest for applications ranging for the monitoring of elderly people, sporty performances monitoring, functional rehabilitation, etc. These applications require that the movement is not constrained by an external system, that it can be performed in different situations, including outdoor environment. It requires lightweight and low cost equipment; it must be truly ambulatory without complex process of calibration.Currently, only systems using an exoskeleton or inertial modules (often combined with magnetic modules) can be used in such situations. Unfortunately, the exoskeleton weight is not affordable and it imposes constraints on the movements of the person, which makes it unusable for certain applications such as monitoring of the elderly.Inertial technology is lighter. Itcan be used for the capture of movement without constraints on the capture space or on the movements. However, it suffers from gyros drift, and the system must be recalibrated.The objective of this thesis is to develop a system of motion capture for an articulated chain, low-cost, real-time truly ambulatory that does not require specific capture infrastructure, that can be used in many application fields (rehabilitation, sport, leisure, etc.).We focus on intra-corporal measurements. Thus, all sensors are placed on the body and no external device is used. In addition to a final demonstrator to validate the proposed approach, we also develop tools to evaluate the system in terms of technology, number and position of sensors, but also to evaluate different algorithms for data fusion. To do this, we use the Cramer-Rao lower bound. \\The subject is multidisciplinary. It addresses aspects of modelling and design of fully ambulatory hybrid systems. It studies estimation algorithms adapted to the field of motion capture of a whole body by considering the problem of observability of the state and taking into account the biomechanical constraints that can be taken into account. Thus, with an appropriate treatment, the pose of a subject can be reconstructed in real time from intra-body measurements., La capture de mouvement ambulatoire est un sujet en plein essor pour des applications aussi diverses que le suivi des personnes âgées, l'assistance des sportifs de haut niveau, la réhabilitation fonctionnelle, etc. Ces applications exigent que le mouvement ne soit pas contraint par un système externe, qu’il puisse être réalisé dans différentes situations, y compris en extérieur, que l’équipement soit léger et à un faible coût, qu’il soit réellement ambulatoire et sans procédure complexe de calibration.Actuellement, seuls les systèmes utilisant un exosquelette ou bien des modules inertiels (souvent combinés avec des modules magnétiques) permettent d'effectuer de la capture de mouvement de façon ambulatoire. Le poids de l’exosquelette est très important et il impose des contraintes sur les mouvements de la personne, ce qui le rend inutilisable pour certaines applications telles que le suivi de personnes âgées. La technologie inertielle est plus légère. Elle permet d'effectuer la capture du mouvement sans contrainte sur l’espace de mesure ou sur les mouvements réalisés. Par contre, elle souffre de dérives des gyromètres, et le système doit être recalibré.L'objectif de cette thèse est de développer un système de capture de mouvement de chaînes articulées, bas-coût et temps réel, réellement ambulatoire, ne nécessitant pas d'infrastructure de capture spécifique, permettant une utilisation dans de nombreux domaines applicatifs (rééducation, sport, loisirs, etc.).On s'intéresse plus particulièrement à des mesures intra-corporelles. Ainsi, tous les capteurs sont placés sur le corps et aucun dispositif externe n'est utilisé. Outre un démonstrateur final permettant de valider l'approche proposée, on s'astreint à développer également des outils qui permettent de dimensionner le système en termes de technologie, nombre et position des capteurs, mais également à évaluer différents algorithmes de fusion des données. Pour ce faire, on utilise la borne de Cramer-Rao.Le sujet est donc pluridisciplinaire. Il traite des aspects de modélisation et de dimensionnement de systèmes hybrides entièrement ambulatoires. Il étudie des algorithmes d'estimation adaptés au domaine de la capture de mouvement corps entier en traitant les problématiques d'observabilité de l'état et en tenant compte des contraintes biomécaniques pouvant être appliquées. Ainsi, un traitement adapté permet de reconstruire en temps réel la posture du sujet à partir de mesures intra-corporelles, la source étant également placée sur le corps.

In this thesis, we propose novel, data-driven representations for humanposes, suitable for real-time synthesis of novel character motion. Inthe first part, we exploit Lie group statistical analysis techniques (PrincipalGeodesic Analysis, PGA) to approximate the pose manifold of amotion capture sequence by a reduced set of pose geodesics. We proposean inverse kinematics algorithm using this reduced parametrizationto automatically produce poses that are close to the learning set. Wedemonstrate the efficiency of the resulting pose model by an applicationto motion capture data compression, where only a few end-effector trajectoriesare used to recover a good approximation of the initial data.In the second part, we extend this approach to the physically-basedanimation of virtual characters. The PGA-reduced parametrization providesgeneralized coordinates in a Lagrangian formulation of mechanics.We derive an explicit time integrator by approximating existingvariational integrators, and propose a damping model based on theLevenberg-Marquardt algorithm. We also describe a geometric, datadriven,angular limit learning algorithm, and the associated kinematicconstraints.In the third part, we reach the problem of task-space motion control.By formulating both physical simulation and inverse kinematicstime stepping schemes as two quadratic programs, we propose a simplepseudo-control algorithm that interpolates between the two metrics.This allows for an intuitive trade-off between uncontrolled simulationand kinematic manipulation. Since this approach makes use of externalforces, we propose an alternate formulation using only the generalizedforces associated to the pose parametrization. A control algorithmis obtained by the relaxation of the exact, non-convex control problemunder unilateral constraints, into a convex quadratic program. Thesealgorithms are evaluated on simple balance and tracking controllers., Dans cette thèse, nous proposons de nouvelles representations pourles poses du mouvement humain, apprises sur des données réelles, envue d’une synthèse de nouveaux mouvements en temps-réel. Dans unepremière partie, nous exploitons une méthode statistique adaptée auxgroupes de Lie (Analyse en Géodésiques Principales, AGP) pour approximerla variété des poses d’un sujet en mouvement, à partir de donnéesde capture de mouvement. Nous proposons un algorithme de cinématiqueinverse exploitant cette paramétrisation réduite, permettantpar construction de synthétiser des poses proches des données initiales.Nous validons ce modèle cinématique par une application à la compressionde données de mouvements, dans laquelle seules quelques trajectoiresdes extrémités des membres du squelettes permettent de reconstruireune bonne approximation de l’ensemble des données initiales.Dans une deuxième partie, nous étendons cette approche à l’animationphysique de personnages virtuels. La paramétrisation réduitepar AGP fournit les coordonnées généralisées de la formulation Lagrangiennede la mécanique. Nous dérivons un intégrateur temporelexplicite basé sur les intégrateurs variationnels. Afin d’en améliorer lastabilité, nous proposons un modèle d’amortissement inspiré de l’algorithmede Levenberg-Marquardt. Nous présentons également une méthodegéométrique d’apprentissage des limites angulaires sur des donnéesde capture de mouvement, ainsi que leur application comme contraintescinématiques.Dans une troisième partie, nous abordons le problème du contrôledu mouvement. En formulant les étapes de la simulation physique d’unepart, et de la cinématique inverse d’autre part comme deux programmesquadratiques, nous proposons un algorithme de pseudo-contrôle parinterpolation des métriques, permettant un compromis intuitif entre simulationphysique non-contrôlée, et cinématique inverse. Cette approchefaisant intervenir des forces externes, nous proposons une formulationalternative, utilisant uniquement les forces associées à la paramétrisationréduite des poses. Cette formulation est obtenue par relaxationdu problème théorique de contrôle sous contraintes unilatérales, nonconvexe,en un programme quadratique convexe. Ces algorithmes sontévalués sur des contrôleurs d’équilibre et de suivi.

Facial animation is one of the key points of the realism of 3D scenes featuring virtual humans. This is due to several reasons : face and the many muscles that compose it can generate a multitude of expressions ; then, our faculty of perception provides us a great ability to detect and analyze its smallest variations. This complexity is reflected in existing approaches by the fact that it is very difficult to create an animation without a long and a tedious manual work. Based on these observations, this thesis aims to develop techniques that contribute to the process of creating facial animation. Three main themes have been addressed. The first concerns the rigging issue of a virtual 3D face for animation. Rigging aims at defining control parameters in order to deform and animate the face. The second deals with the animation, especially on the animation retargeting issue. The goal is to propose a method to animate a character’s face from various data. These data can be obtained from a motion capture system or from an existing 3D facial animation. Finally, we focus on animation finescale details like wrinkles. Although these are thin and discreet, their deformations play an important part in the perception and analysis of emotions. Therefore we propose a monocular acquisition technique and a reference pose based method to synthetise dynamically animation fine details over the face. The purpose is to propose methods to facilitate and improve the process of creating realistic facial animations for interactive applications. We focused on ease to use in addition to the real-time aspect. Moreover, we offer the possibility to the user or graphist to interact in order to personalize its creation and/or improve the results, L’animation faciale est l’un des points clés dans le réalisme des scènes 3D qui mettent en scène des personnages virtuels. Ceci s’explique principalement par les raisons suivantes : le visage et les nombreux muscles qui le composent permettent de générer une multitude d’expressions ; ensuite, notre faculté de perception nous permet de détecter et d’analyser ses mouvements les plus fins. La complexité de ce domaine se retrouve dans les approches existantes par le fait qu’il est très difficile de créer une animation de qualité sans un travail manuel long et fastidieux. Partant de ce constat, cette thèse a pour but de développer des techniques qui contribuent au processus de création d’animations faciales. Trois thèmes sont principalement abordés. Le premier concerne la paramétrisation du visage pour l’animation. La paramétrisation a pour but de définir des moyens de contrôle pour pouvoir déformer et animer le visage. Le second s’oriente sur l’animation, et plus particulièrement sur le transfert d’animation. Le but est de proposer une méthode qui permette d’animer le visage d’un personnage à partir de données variées. Ces données peuvent être issues d’un système de capture de mouvement, ou bien elles peuvent être obtenues à partir de l’animation d’un personnage virtuel qui existe déjà. Enfin, nous nous sommes concentrés sur les détails fins liés à l’animation comme les rides. Bien que ces rides soient fines et discrètes, ces déformations jouent un rôle important dans la perception et l’analyse des émotions. C’est pourquoi nous proposons une technique d’acquisition mono-caméra et une méthode à base de poses références pour synthétiser dynamiquement les détails fins d’animation sur le visage. L’objectif principal des méthodes proposées est d’offrir des solutions afin de faciliter et d’améliorer le processus de création d’animations faciales réalistes utilisées dans le cadre d’applications en temps réel. Nous nous sommes particulièrement concentrés sur la facilité d’utilisation et sur la contrainte du temps réel. De plus, nous offrons la possibilité à l’utilisateur ou au graphiste d’interagir afin de personnaliser sa création et/ou d’améliorer les résultats obtenus

I review my research activities in Video Indexing and Action Recognition and sketch a research agenda for bringing those two lines of research together to address the difficult problem of recognizing actions in movies. I first present a series of older projects in Video Indexing, starting with the DIVAN project at INA and the MPEG expert group (1998-2000), and continuing at INRIA under the VIBES project (2001-2004). This research falls under the general approach of "computational media aesthetics", where we attempt to recognize film events based on our knowledge of filming styles and conventions (cinematography and editing). This is illustrated with two applications - the automatic segmentation of TV news into topics; and the automatic indexing of movies with their scripts. I then present my more recent research in Action Recognition with the MOVI group at INRIA (2005-2008). Building upon the GRIMAGE infrastructure, I present experiments in (1) learning and recognizing a small repertoire of full body gestures in 3D using "motion history volumes"; (2) segmenting a raw stream of 3D image sequences into recognizable "primitive actions" ; and (3) using statistical models learned in 3D for recovering primitive actions and relative camera positions from a single 2D video recording of similar actions.; Je présente mes activités de recherche en indexation video et en reconnaissance d'actions, et je propose un programme de recherche permettant d'aborder ensemble ces deux questions au cours des prochaines années. Je décris d'abord une série de travaux réalisés dans le cadre du groupe MPEG et des projets DIVAN à l'INA (1998-2000), puis VIBES à l'INRIA (2001-2004), et qui visent à aborder l'indexation video à travers la reconnaissance des styles et conventions de la prise de vues et du montage. Cette première partie est illustrée par deux applications - le découpage d'un journal télévisé en sujets, et l'indexation d'un film de cinéma par son script. Je présente ensuite des travaux réalisés à l'INRIA en 2005-2008 au sein de l'équipe MOVI. Je montre comment nous avons utilisé l'infrastructure GRIMAGE pour (1) apprendre des modèles statistiques 3D d'un petit répertoire d'actions humaines permettant de les reconnaitre lorsqu'elles sont exécutées par d'autres acteurs, sous d'autres points de vue ; (2) découper une séquence d'images 3D en actions primitives reconnaissables; et (3) reconnaître ces mêmes actions selon le point de vue d'une seule caméra. Enfin, je propose quelques pistes pour étendre les résultats précédents afin d'aborder simultanément les deux problèmes de la reconnaissance des actions et des styles de mise en scène dans les films. Je présente les avantages et les difficultés d'une approche unifiée de ces deux problèmes, ainsi que des applications possibles dans les domaines de la fiction interactive, du jeu vidéo et du machinima.

I review my research activities in Video Indexing and Action Recognition and sketch a research agenda for bringing those two lines of research together to address the difficult problem of recognizing actions in movies. I first present a series of older projects in Video Indexing, starting with the DIVAN project at INA and the MPEG expert group (1998-2000), and continuing at INRIA under the VIBES project (2001-2004). This research falls under the general approach of "computational media aesthetics", where we attempt to recognize film events based on our knowledge of filming styles and conventions (cinematography and editing). This is illustrated with two applications - the automatic segmentation of TV news into topics; and the automatic indexing of movies with their scripts. I then present my more recent research in Action Recognition with the MOVI group at INRIA (2005-2008). Building upon the GRIMAGE infrastructure, I present experiments in (1) learning and recognizing a small repertoire of full body gestures in 3D using "motion history volumes"; (2) segmenting a raw stream of 3D image sequences into recognizable "primitive actions" ; and (3) using statistical models learned in 3D for recovering primitive actions and relative camera positions from a single 2D video recording of similar actions.; Je présente mes activités de recherche en indexation video et en reconnaissance d'actions, et je propose un programme de recherche permettant d'aborder ensemble ces deux questions au cours des prochaines années. Je décris d'abord une série de travaux réalisés dans le cadre du groupe MPEG et des projets DIVAN à l'INA (1998-2000), puis VIBES à l'INRIA (2001-2004), et qui visent à aborder l'indexation video à travers la reconnaissance des styles et conventions de la prise de vues et du montage. Cette première partie est illustrée par deux applications - le découpage d'un journal télévisé en sujets, et l'indexation d'un film de cinéma par son script. Je présente ensuite des travaux réalisés à l'INRIA en 2005-2008 au sein de l'équipe MOVI. Je montre comment nous avons utilisé l'infrastructure GRIMAGE pour (1) apprendre des modèles statistiques 3D d'un petit répertoire d'actions humaines permettant de les reconnaitre lorsqu'elles sont exécutées par d'autres acteurs, sous d'autres points de vue ; (2) découper une séquence d'images 3D en actions primitives reconnaissables; et (3) reconnaître ces mêmes actions selon le point de vue d'une seule caméra. Enfin, je propose quelques pistes pour étendre les résultats précédents afin d'aborder simultanément les deux problèmes de la reconnaissance des actions et des styles de mise en scène dans les films. Je présente les avantages et les difficultés d'une approche unifiée de ces deux problèmes, ainsi que des applications possibles dans les domaines de la fiction interactive, du jeu vidéo et du machinima.

Vegetation is present all around us and we are accustomed to see trees and other plants everyday. Its accurate representation is thus an essential part of the realistic depiction of natural scenes in a virtual environment. Due to the complexity of both vegetation and its reaction to wind load, such representation are still being unresolved issues of research in computer graphics. In a first step to the development of suitable models of animated plants, it is thus essential to understand as much as possible all the phenomena which produce the observable motion of trees. This thesis is organized in two parts. The first is on the acquisition and the reproduction of the motion of real plants and contains three chapters. The second is on mechanical simulation of plants dynamics and is divided in two chapters. In the first part, chapter 2 describes experimental work I have done and participated to within the Chene-Roseau project and shows the obtained data on plants response to natural wind load and manual excitation. We also discuss how features observable in a video can be automatically tracked along the sequence and presents some methods I have developed. These algorithms have been put in a software I developed that also focus on user interaction to compensate for the limitation of automatic techniques. An explanation is given in chapter 3 of how manual input can be used to extract reliable motion data from video. At the end of the first part, chapter 4 presents our results on structure extraction from 2D motion data (previously extracted from a video) and its retargeting. The statistical study of 2D motion data I have developed is discussed. We show how it can be used to extract a valid hierarchical branches structure that holds the plants motion and how it is used to reproduce the observed motion on a virtual model. In the second part, simulation method of tree response to wind load is discussed. In chapter 5, a state of the art of existing real-time animation technique is given. We introduce several concept of mechanics and simulation of elastic structure dynamics in order to compare all described methods. Finally chapter 6 presents the methods developed in collaboration with Mathieu Rodriguez on the real-time simulation of thousands of trees in response to interactive wind.; Vegetation is present all around us and we are accustomed to see trees and other plants everyday. Its accurate representation is thus an essential part of the realistic depiction of natural scenes in a virtual environment. Due to the complexity of both vegetation and its reaction to wind load, such representation are still being unresolved issues of research in computer graphics. In a first step to the development of suitable models of animated plants, it is thus essential to understand as much as possible all the phenomena which produce the observable motion of trees. This thesis is organized in two parts. The first is on the acquisition and the reproduction of the motion of real plants and contains three chapters. The second is on mechanical simulation of plants dynamics and is divided in two chapters. In the first part, chapter 2 describes experimental work I have done and participated to within the Chene-Roseau project and shows the obtained data on plants response to natural wind load and manual excitation. We also discuss how features observable in a video can be automatically tracked along the sequence and presents some methods I have developed. These algorithms have been put in a software I developed that also focus on user interaction to compensate for the limitation of automatic techniques. An explanation is given in chapter 3 of how manual input can be used to extract reliable motion data from video. At the end of the first part, chapter 4 presents our results on structure extraction from 2D motion data (previously extracted from a video) and its retargeting. The statistical study of 2D motion data I have developed is discussed. We show how it can be used to extract a valid hierarchical branches structure that holds the plants motion and how it is used to reproduce the observed motion on a virtual model. In the second part, simulation method of tree response to wind load is discussed. In chapter 5, a state of the art of existing real-time animation technique is given. We introduce several concept of mechanics and simulation of elastic structure dynamics in order to compare all described methods. Finally chapter 6 presents the methods developed in collaboration with Mathieu Rodriguez on the real-time simulation of thousands of trees in response to interactive wind.

A major challenge in Robotics is the one of the personal robot. An underlying goal is to enable the mobile robot to navigate autonomously in crowded places. While moving, the robot must detect and take into account the human presence in its neighborhood, i.e. in order to avoid them, to ease their moves or to secure them. However, for an active interaction, the robot must also be able to sense their posture, attitude or gestures. With this intention, we set up a visual human motion capture system from cameras embedded on the robot. A 3D rough model of the human body is proposed, integrating bio-mechanical and anthropomorphic considerations. The goal is then to match this model with the images by exploiting various 2D visual cues (edges, color, movement) together with a 3D sparse reconstruction of the scene. In order to estimate the posture and the configuration of the 3D model, well-known particle filter techniques are applied. Evolutions are proposed to tackle the problem more efficiently and to satisfy the real-time constraints of our applicative context. We use a gradual approach by studying two different contexts. First, we focus on a ubiquist robotics context, which proposes two fixed ambiance cameras with different and complementary view points. Second, a mobile robotics context is set up, with stereo cameras embedded on the robot.This work has been done in the Robotics Action Perception (RAP) group at LAAS-CNRS.; Un défi majeur de la Robotique aujourd'hui est sans doute celui du robot personnel. Un objectif sous-jacent est de permettre à un robot mobile de naviguer de manière autonome dans un environnement de grandes dimensions en présence de public. Lors de son évolution, le robot doit pouvoir détecter et prendre en compte la présence d'humains dans son voisinage, par exemple pour les éviter, leur céder le passage, faciliter ou sécuriser leurs déplacements. Cependant, pour une interaction active, le robot doit également être capable de percevoir et d'interpréter leurs postures, leurs démarches ou leurs gestes. Dans ce but, nous souhaitons mettre en place un système de suivi visuel des mouvements humains à partir des caméras embarquées sur le robot. Une représentation 3D fruste de l'enveloppe corporelle est proposée à partir de considérations biomécaniques et anthropomorphes. La démarche consiste alors à recaler ce modèle dans les images obtenues en exploitant plusieurs indices visuels 2D (contours, couleur, mouvements) complétés par une reconstruction 3D éparse de la scène. Pour estimer les paramètres de situation et de configuration du modèle 3D, nous exploitons les techniques de filtrage particulaire, bien connues en suivi visuel. Des évolutions de l'algorithme générique de filtrage sont cependant envisagées afin de répondre plus efficacement au problème posé et de satisfaire des contraintes temporelles cohérentes avec le contexte applicatif. Afin d'aborder les problèmes de manière graduelle, deux contextes sont étudiés. Le premier, de type robotique ubitquiste, repose sur l'utilisation de caméras d'ambiance fixes proposant des points de vue différents et complémentaires de la scène à étudier. Le second, de type robotique mobile, exploite des caméras stéréoscopiques embarquées sur le robot.Ce travail a été effectué au sein du groupe Robotique Action Perception (RAP) du LAAS-CNRS.

The importance of evaluation of an orthopedic operation such as hip or knee arthroplasty has long been recognized. Many definitions of outcome and scoring questionnaires have been used in the past to assess the outcome of joint replacement. However, these assessments are subjective and not accurate enough. In addition, orthopedic surgeons require now more subtle comparisons between potentially efficacious treatments (e.g. two types of prostheses). Therefore, the use of objective instruments that have a better sensitivity and specificity than traditional scoring systems is needed. Gait analysis is one of the most currently used instrumented techniques in this respect. However, a gait analysis system is accessible only in a few specialized laboratories, as it is complex, expensive, need a lot of room space and fixed devices, and not convenient for the patient. In this thesis, we proposed an ambulatory system based on kinematic sensors attached on the lower limbs to overcome the limitations of the previously mentioned techniques. Technically the device is portable, easily mountable, non-invasive, and capable of continuously recording data in long term without hindrance to natural gait. The goal was to provide gait parameters as a new objective method to assess Total Knee Replacement (TKR). New solutions to fusing the data of accelerometers and gyroscopes were proposed to accurately measure lower limbs orientations and joint angles. The methods propose a minimal sensor configuration with one sensor module mounted on each segment. The models consider anatomical aspects and biomechanical constraints. In the proposed techniques, the angles are found without the need for integration, so absolute angles can be obtained which are free from any source of drift. These data were then used to develop a gait analysis system providing spatio-temporal parameters, kinematic curves, and a visualization tool to animate the motion data as synthetic skeletons performing the same actions as the subjects. Moreover, a new algorithm was proposed for assessing and quantification of inter-joint coordination during gait. The coordination model captures the whole dynamics of the lower limbs movements and shows the kinematic synergies at various walking speeds. The model imposes a relationship among lower limb joint angles (hips and knees) to parameterize the dynamics of locomotion for each individual. It provides a coordination score at various walking speeds which is ranged between 0 and 10. An integration of different analysis tools such as Harmonic Analysis, Principal Component Analysis, and Artificial Neural Network helped overcome high-dimensionality, temporal dependence, and non-linear relationships of the gait patterns. In order to show the effectiveness of the proposed methods in outcome evaluation, we have considered a clinical study where the outcomes of two types of knee prostheses were compared. We conducted a randomized controlled study, including 54 patients, to assess TKR outcome between patients with fixed bearing and mobile bearing tibial plates of implants. The patients were tested preoperatively and postoperatively at 6 weeks, 3 months, 6 months, and 1 year. Various statistical analyses were done to compare the outcomes of the two groups. Finally, we provided objective criteria, using ambulatory gait analysis, for assessing functional recovery following TKR procedure. We showed significant difference between the two groups where the standard clinical evaluation was unable to detect such a difference.