Search

La réactivité expressive des avatars est au cœur des créations de Cédric Plessiet et Georges Gagneré. Les deux artistes-chercheurs recourent aux techniques et méthodes de la prévisualisation in situ qui permet à un réalisateur ou un acteur de contrôler en temps réel un avatar dans un environnement virtuel proche du résultat final. La série de portraits interactifs Les Double-autres est l’occasion pour Cédric Plessiet de décrire Taupipeline, l’architecture logicielle qui lui permet d’établir un dialogue avec les modèles physiques à l’origine des avatars réalistes qu’il met en relation avec les spectateurs. Georges Gagneré présente sa manière de diriger des avatars d’ombres dans la création L’Ombre, d’après le conte homonyme d’H. C. Andersen. Les deux artistes évoquent la manière dont leurs approches se compléteront dans le cadre de leur prochaine recherche-création commune, Les Spectateurs.

The present study aimed to validate the Leap Motion Controller (LMC)-based Fizyosoft (R) HandROM System developed by our team to evaluate range of motion (ROM) for fingers, wrist, and forearm in a new clinical setting. Thirty-five healthy individuals participated in the study (all right-handed, 20-30 years old). The LMC-based Fizyosoft (R) HandROM System is a licensed software ROM-measurement developed by our team. Pronation/supination, wrist flexion/extension, ulnar/radial deviation and metacarpophalangeal (MCP) flexion/extension of all fingers were measured with both the Fizyosoft (R) HandROM System and a universal goniometer. No significant differences were found between the two measurement methods for almost all mean ROMs except for ulnar and radial deviation (p > 0.05). Highly significant correlations were found between all ROMs of the forearm, wrist, and thumb (p < 0.01). MCP flexion showed significant correlation only in the index finger (r = 0.516, p = 0.003) and little finger (r = 0.517, p = 0.004). Besides, for both measures, the intraclass correlations were good to excellent on all ROMs of the forearm, wrist, and fingers except for MCP of the middle and ring fingers (0.68-0.88). The present study results indicated that the LMC-based Fizyosoft (R) HandROM System could sensitively track changes in the active motion of the thumb, wrist, and forearm. It is a viable alternative for assessing ROMs of the forearm, wrist, and thumb in patient follow-up. L’objectif de la pre ́sente e ́tude e ́tait de valider le syste`me Fizyosoft1HandROM base ́sur le Leap MotionController (LMC) de ́veloppe ́par notre e ́quipe pour e ́valuer l’amplitude articulaire (ROM) des doigts, dupoignet et de l’avant-bras dans un nouveau contexte clinique. Trente-cinq personnes saines ont participe ́a`cette e ́tude. Le syste`me Fizyosoft1HandROM base ́sur LMC est un logiciel sous licence de ́veloppe ́parnotre e ́quipe pour mesurer l’amplitude articulaire. La mesure de l’amplitude de la pronation/supination,de la flexion/extension et de la de ́viation ulnaire/radiale du poignet, et de la flexion/extensionme ́tacarpo-phalangienne (MCP) de tous les doigts a e ́te ́re ́alise ́e avec le syste`me HandROM et ungoniome`tre universel. Aucune diffe ́rence significative n’a e ́te ́constate ́e lors de la comparaison depresque toutes les moyennes d’amplitude a`l’exception des de ́viations ulnaire/radiale entre deuxme ́thodes de mesure (p > 0,05). Des corre ́lations significatives e ́leve ́es ont e ́te ́trouve ́es pour toutes lesamplitudes de l’avant-bras, du poignet et du pouce, ainsi que la flexion MCP de l’index et de l’auriculaire, mesure ́e par le goniome`tre et via le syste`me HandROM (p < 0,01). En outre, pour les deux mesures, lesICC e ́taient bons a`excellents sur toutes amplitudes de l’avant-bras, du poignet et des doigts, a`l’exceptionde la MCP du majeur et de l’annulaire (0,68–0,88). Les re ́sultats de la pre ́sente e ́tude montrent que lesyste`me Fizyosoft1HandROM base ́sur le LMC peut suivre de manie`re sensible les changements dans lesmouvements actifs du pouce, du poignet et de l’avant-bras. Research Fund of Istanbul University-Cerrahpasa, Turkey

Many technological barriers must be tackled in order to provide tools in Sign Languages (SLs) in the same way as for spoken languages. For that aim, further insights must be gained into multiple disciplines, in particular motion science. More specifically, the present thesis aims to gain insights into the possibility of anonymizing the movements of a signer, in the same way as a speaker can remain anonymous by modifying specific aspects of the voice.First, this thesis sheds light on general kinematic properties of spontaneous SL in order to improve the models of natural SL. Using 3D motion recordings of multiple signers, we show that the kinematic bandwidth of spontaneous SL highly differs from that of signs made in isolation. Furthermore, a Principal Component Analysis reveals that the spontaneous SL discourses can be described by a reduced set of simple, one-directional, movements (i.e., synergies).Furthermore, combining human data and computational modelling, we demonstrate that signers can be identified from their movements, beyond morphology- and posture-related cues. Finally, we present machine learning models able to automatically extract identity information in SL movements and to manipulate it in generated motion. The models developed in this thesis could allow producing anonymized SL messages via virtual signers, which would open new horizons for deaf SL users.; De nombreux obstacles technologiques doivent être surmontés afin d'outiller les Langues des Signes (LS) de la même manière que les langues parlées. Pour ce faire, il est nécessaire d'approfondir les connaissances dans de multiples disciplines, en particulier les sciences du mouvement. Plus précisément, cette thèse vise à étudier la possibilité d'anonymiser les mouvements d'un signeur, de la même manière qu'un locuteur peut rester anonyme en modifiant des aspects spécifiques de sa voix.Premièrement, cette thèse met en lumière les propriétés cinématiques de la LS spontanée afin d'améliorer les modèles de LS naturelle. En utilisant des données de mouvements en 3D de plusieurs signeurs, nous montrons que la bande passante cinématique de la LS spontanée diffère fortement de celle des signes isolés. Ensuite, une analyse en composantes principales révèle que les discours spontanés peuvent être décrits par un ensemble réduit de mouvements simples (i.e., synergies).De plus, en combinant données humaines et modélisation informatique, cette thèse démontre que les signeurs peuvent être identifiés à partir de leurs mouvements, au-delà de la morphologie et de la posture. Enfin, nous présentons des modèles d'apprentissage automatique capables d'extraire automatiquement l'information d'identité dans les mouvements de la LS, puis de la manipuler lors de la génération. Les modèles développés dans cette thèse pourraient permettre de produire des messages de LS anonymes via des signeurs virtuels, ce qui ouvrirait de nouveaux horizons aux signeurs sourds.

With an aging population, sedentary lifestyles, an increase in strokes and other motor deficiencies, mobility is a global concern of paramount importance. To this problem, exoskeletons and orthoses are one possible technological solution.An orthosis is a multidisciplinary system that must adapt to the user's body to assist him in his motion. Due to its complex design, it involves physical, technological and control constraints on the user. The materials used, the shape, the information and power chain, the human morphology and the motion are all factors that influence the type and amplitude of the constraints. If these constraints are too important, the user will have to adapt and modify his gait consequently.To predict the physical constraints applied by a knee orthosis on a human being during a cyclic motion such as squatting or walking, a simulator has been developed. It enables the generation of optimal trajectories in accordance with a cost function and the computation of the joint torques required to achieve the motion. An experimental study was conducted on several subjects to understand how weight is distributed during a squat motion. Based on these results, a model for the forces distribution was proposed.; Avec le vieillissement de la population, la sédentarité, l’augmentation des accidents vasculaires cérébraux et autres déficiences motrices, la mobilité est un enjeu mondial primordial. À ce problème, les exosquelettes et les orthèses constituent une réponse technologique possible.Une orthèse est un système pluridisciplinaire qui doit s’adapter au corps de l’utilisateur pour l’assister dans son mouvement. De par sa nature complexe, elle impose à l’utilisateur des contraintes physiques, technologiques et liées à la commande. Les matériaux utilisés, la géométrie, la chaîne de puissance, la chaîne d’information, la morphologie de l’être humain et la nature du mouvement sont autant d’éléments qui influent sur la nature et l’amplitude des contraintes. Si celles-ci sont trop importantes, l’utilisateur va devoir s’adapter et modifier sa démarche en conséquence.Pour prévoir les contraintes physiques appliquées par une orthèse de genou sur un individu au cours d’un mouvement cyclique tel que le squat ou la marche, un simulateur a été développé. Il permet de générer des trajectoires optimales au sens d’une fonction de coût et de calculer les couples articulaires nécessaires à la réalisation du mouvement. Une étude expérimentale a été menée sur plusieurs sujets pour comprendre comment le poids se répartit au cours d’un mouvement de squat. Basé sur ces résultats, un modèle de répartition des efforts a été proposé.

International audience

Gait analysis is the measurement of and ability evaluation of walking that can be used for fall risk assessment or as a diagnostic and prognostic tool for clinical applications. However, despite the clinical value, several difficulties attributed to the current established gold standard instrumentation, marker-based motion capture systems, limit the large-scale use in clinical applications. The current marker-based systems are costly and require a controlled laboratory environment. The test procedure is also time-consuming. Eliminating the markers would drastically shorten the patient preparatory time and would be more efficient. The objective of this study is to design a marker-less motion capture system for clinical applications. Recent advancements in computer vision and especially in convolutional neural networks, have provided the potential to pursue this objective. The designed system consists of four RGB cameras and can estimate the position of joint centers through a deep learning approach. For that purpose, a novel specific dataset has been collected including asymptomatic and pathologic subjects. To evaluate the validity of the developed system, its performance is assessed against a marker-based motion capture system in terms of joint position errors and clinically relevant gait parameters. The results demonstrate the high potential of the designed system for clinical applications.; L'analyse de la marche est la mesure et l'évaluation de la capacité de marche qui peut être utilisée pour l'évaluation des risques de chute ou comme outil de diagnostic et de pronostic pour des applications cliniques. Toutefois, malgré la valeur clinique, plusieurs difficultés attribuées à l'instrumentation de référence actuelle, les systèmes de capture du mouvement basés sur des marqueurs, limitent l'utilisation à grande échelle dans les applications cliniques. Les systèmes actuels sont coûteux et nécessitent un environnement de laboratoire contrôlé. La procédure de test est également longue. L'élimination des marqueurs réduirait considérablement le temps de préparation du patient et serait plus efficace. L'objectif de cette étude est de concevoir un système de capture de mouvement sans marqueur pour les applications cliniques. Les apprécents progrès réalisés dans le domaine de la vision par ordinateur et en particulier dans celui des réseaux neuronaux convolutifs, ont permis de poursuivre cet objectif. Le système conçu se compose de quatre caméras RGB et peut estimer la position des centres communs grâce à une approche d'apprentissage profond. À cette fin, un nouvel ensemble de données spécifiques a été collecté, incluant des sujets asymptomatiques et pathologiques. Pour évaluer la validité du système développé, ses performances sont évaluées par rapport à un système de capture de mouvement basé sur des marqueurs en termes d'erreurs de position des articulations et de paramètres de marche cliniquement pertinents. Les résultats démontrent le potentiel élevé du système conçu pour des applications cliniques.

This thesis deals with the capture, annotation, synthesis and evaluation of arm and hand motions for the animation of avatars communicating in Sign Languages (SL). Currently, the production and dissemination of SL messages often depend on video recordings which lack depth information and for which editing and analysis are complex issues. Signing avatars constitute a powerful alternative to video. They are generally animated using either procedural or data-driven techniques. Procedural animation often results in robotic and unrealistic motions, but any sign can be precisely produced. With data-driven animation, the avatar’s motions are realistic but the variety of the signs that can be synthesized is limited and/or biased by the initial database. As we considered the acceptance of the avatar to be a prime issue, we selected the data-driven approach but, to address its main limitation, we propose to use annotated motions present in an SL Motion Capture database to synthesize novel SL signs and utterances absent from this initial database. To achieve this goal, our first contribution is the design, recording and perceptual evaluation of a French Sign Language (LSF) Motion Capture database composed of signs and utterances performed by deaf LSF teachers. Our second contribution is the development of automatic annotation techniques for different tracks based on the analysis of the kinematic properties of specific joints and existing machine learning algorithms. Our last contribution is the implementation of different motion synthesis techniques based on motion retrieval per phonological component and on the modular reconstruction of new SL content with the additional use of motion generation techniques such as inverse kinematics, parameterized to comply to the properties of real motions.; Cette thèse porte sur la capture, l’annotation, la synthèse et l’évaluation des mouvements des mains et des bras pour l’animation d’avatars communiquant en Langues des Signes (LS). Actuellement, la production et la diffusion de messages en LS dépendent souvent d’enregistrements vidéo qui manquent d’informations de profondeur et dont l’édition et l’analyse sont difficiles. Les avatars signeurs constituent une alternative prometteuse à la vidéo. Ils sont généralement animés soit à l’aide de techniques procédurales, soit par des techniques basées données. L’animation procédurale donne souvent lieu à des mouvements peu naturels, mais n’importe quel signe peut être produit avec précision. Avec l’animation basée données, les mouvements de l’avatar sont réalistes mais la variété des signes pouvant être synthétisés est limitée et/ou biaisée par la base de données initiale. Privilégiant l’acceptation de l’avatar, nous avons choisi l’approche basée sur les données mais, pour remédier à sa principale limitation, nous proposons d’utiliser les mouvements annotés présents dans une base de mouvements de LS capturés pour synthétiser de nouveaux signes et énoncés absents de cette base. Pour atteindre cet objectif, notre première contribution est la conception, l’enregistrement et l’évaluation perceptuelle d’une base de données de capture de mouvements en Langue des Signes Française (LSF) composée de signes et d’énoncés réalisés par des enseignants sourds de LSF. Notre deuxième contribution est le développement de techniques d’annotation automatique pour différentes pistes d’annotation basées sur l’analyse des propriétés cinématiques de certaines articulations et des algorithmes d’apprentissage automatique existants. Notre dernière contribution est la mise en œuvre de différentes techniques de synthèse de mouvements basées sur la récupération de mouvements par composant phonologique et sur la reconstruction modulaire de nouveaux contenus de LSF avec l’utilisation de techniques de génération de mouvements, comme la cinématique inverse, paramétrées pour se conformer aux propriétés des mouvements réels.

This thesis deals with the capture, annotation, synthesis and evaluation of arm and hand motions for the animation of avatars communicating in Sign Languages (SL). Currently, the production and dissemination of SL messages often depend on video recordings which lack depth information and for which editing and analysis are complex issues. Signing avatars constitute a powerful alternative to video. They are generally animated using either procedural or data-driven techniques. Procedural animation often results in robotic and unrealistic motions, but any sign can be precisely produced. With data-driven animation, the avatar’s motions are realistic but the variety of the signs that can be synthesized is limited and/or biased by the initial database. As we considered the acceptance of the avatar to be a prime issue, we selected the data-driven approach but, to address its main limitation, we propose to use annotated motions present in an SL Motion Capture database to synthesize novel SL signs and utterances absent from thisinitial database. To achieve this goal, our first contribution is the design, recording and perceptual evaluation of a French Sign Language (LSF) Motion Capture database composed of signs and utterances performed by deaf LSF teachers. Our second contribution is the development of automatic annotation techniques for different tracks based on the analysis of the kinematic properties of specific joints and existing machine learning algorithms. Our last contribution is the implementation and evaluation of different motion synthesis techniques based on motion retrieval per phonological component and on the modular reconstruction of new SL content with the additional use of motion generation techniques such as inverse kinematics, parameterized tocomply to the properties of real motions.; Cette thèse porte sur la capture, l’annotation, la synthèse et l’évaluation des mouvements des mains et des bras pour l’animation d’avatars communiquant en Langues des Signes (LS). Actuellement, la production et la diffusion de messages en LS dépendent souvent d’enregistrements vidéo qui ne possèdent pas d’informations de profondeur et dont l’édition et l’analyse sont difficiles. Les avatars signeurs constituent une alternative prometteuse à la vidéo. Ils sont généralement animés soit à l’aide de techniques procédurales, soit par des techniques basées données.L’animation procédurale donne souvent lieu à des mouvements peu naturels, mais n’importe quel signe peut être produit avec précision. Avec l’animation basée données, les mouvements de l’avatar sont réalistes mais la variété des signes pouvant être synthétisés est limitée et/ou biaisée par la base de données initiale. Privilégiant l’acceptation de l’avatar, nous avons choisi l’approche basée sur les données mais, pour remédier à sa principale limitation, nous proposons d’utiliser les mouvements annotés présents dans une base de mouvements de LS capturés pour synthétiser de nouveaux signes et énoncés absents de cette base.Pour atteindre cet objectif, notre première contribution est la conception, l’enregistrement et l’évaluation perceptuelle d’une base de données de capture de mouvements en Langue des Signes Française (LSF) composée de signes et d’énoncés réalisés par des enseignants sourds de LSF. Notre deuxième contribution est le développement de techniques d’annotation automatique pour différentes pistes d’annotationbasées sur l’analyse des propriétés cinématiques de certaines articulations et des algorithmes d’apprentissage automatique existants. Notre dernièrecontribution est la mise en oeuvre et l’évaluation de différentes techniques de synthèse de mouvements basées sur la récupération de mouvements par composant phonologique et sur la reconstruction modulaire de nouveaux contenus de LSF avec l’utilisation de techniques de génération de mouvements, comme la cinématique inverse, paramétrées pour se conformer aux propriétés des mouvements réels.

International audience; Historical reconstructions based on new technologies such as virtual reality are now being developed. However, most of these reconstructions offer frozen worlds, emptied of human activity. As part of a collaboration between a research centre in history, a research institute in computer science and the 3D production platform CNPAO “Digital Conservatory of Western Archaeological Heritage”, we offer a reconstruction of activities of life aboard the ship of the French East India Company, Le Boullongne, based on motion captureA first work made in 2014 produced a functional and interactive simulation of the Boullongne, with virtual reality. This reconstruction already included some animated virtual sailors and animals, but without significant any activity. In this new work, about ten scenes of everyday life have been identified through the study of historical documents and engravings. These scenes were scripted and played by historians involved in the project, and captured and processed by computer scientists. Digital mariners have been modelled by the CNPAO, in collaboration with historians. In the end, several scenes were integrated in the virtual Boullongne thus giving to the reconstitution a human dimension for this testimony of the life of the sailors aboard the ships of the 18th century.; Les reconstitutions historiques basées sur les nouvelles technologies telles que la réalité virtuelle tendent à se développer. Cependant, ces reconstitutions proposent pour la plupart des univers figés, vidés de l’activité humaine. Dans le cadre d’une collaboration entre un centre de recherche en histoire, un institut de recherche en informatique et la plateforme de production 3D du Conservatoire numérique du patrimoine archéologique de l’Ouest (CNPAO), nous proposons une reconstitution d’activités de la vie à bord du navire de la Compagnie des Indes orientales Le Boullongne, fondée sur de la capture de mouvements.Un premier travail, réalisé en 2014, a permis de produire une simulation fonctionnelle et interactive du Boullongne en réalité virtuelle. Cette reconstitution intégrait déjà quelques marins et animaux virtuels animés, mais sans activité significative. Dans cette nouvelle phase, une dizaine de scènes de la vie quotidienne ont été identifiées à travers l’étude de documents historiques et de gravures. Ces scènes ont été scénarisées et jouées par les historiens impliqués dans le projet, puis capturées et traitées par les chercheurs en informatique. Les marins numériques ont été modélisés par le CNPAO, en collaboration avec les historiens. Plusieurs scènes ont été finalement intégrées dans le Boullongne virtuel, donnant ainsi à la reconstitution une dimension humaine pour ce témoignage de la vie des marins à bord des navires du XVIIIe siècle.

International audience; Historical reconstructions based on new technologies such as virtual reality are now being developed. However, most of these reconstructions offer frozen worlds, emptied of human activity. As part of a collaboration between a research centre in history, a research institute in computer science and the 3D production platform CNPAO “Digital Conservatory of Western Archaeological Heritage”, we offer a reconstruction of activities of life aboard the ship of the French East India Company, Le Boullongne, based on motion captureA first work made in 2014 produced a functional and interactive simulation of the Boullongne, with virtual reality. This reconstruction already included some animated virtual sailors and animals, but without significant any activity. In this new work, about ten scenes of everyday life have been identified through the study of historical documents and engravings. These scenes were scripted and played by historians involved in the project, and captured and processed by computer scientists. Digital mariners have been modelled by the CNPAO, in collaboration with historians. In the end, several scenes were integrated in the virtual Boullongne thus giving to the reconstitution a human dimension for this testimony of the life of the sailors aboard the ships of the 18th century.; Les reconstitutions historiques basées sur les nouvelles technologies telles que la réalité virtuelle tendent à se développer. Cependant, ces reconstitutions proposent pour la plupart des univers figés, vidés de l’activité humaine. Dans le cadre d’une collaboration entre un centre de recherche en histoire, un institut de recherche en informatique et la plateforme de production 3D du Conservatoire numérique du patrimoine archéologique de l’Ouest (CNPAO), nous proposons une reconstitution d’activités de la vie à bord du navire de la Compagnie des Indes orientales Le Boullongne, fondée sur de la capture de mouvements.Un premier travail, réalisé en 2014, a permis de produire une simulation fonctionnelle et interactive du Boullongne en réalité virtuelle. Cette reconstitution intégrait déjà quelques marins et animaux virtuels animés, mais sans activité significative. Dans cette nouvelle phase, une dizaine de scènes de la vie quotidienne ont été identifiées à travers l’étude de documents historiques et de gravures. Ces scènes ont été scénarisées et jouées par les historiens impliqués dans le projet, puis capturées et traitées par les chercheurs en informatique. Les marins numériques ont été modélisés par le CNPAO, en collaboration avec les historiens. Plusieurs scènes ont été finalement intégrées dans le Boullongne virtuel, donnant ainsi à la reconstitution une dimension humaine pour ce témoignage de la vie des marins à bord des navires du XVIIIe siècle.

French Sign Language (LSF) represents part of the identity and culture of the deaf community in France. One way to promote this language is to generate signed content through virtual characters called signing avatars. The system we propose is part of a more general project of gestural synthesis of LSF by concatenation that allows to generate new sentences from a corpus of annotated motion data captured via a marker-based motion capture device (MoCap) by editing existing data. In LSF, facial expressivity is particularly important since it is the vector of numerous information (e.g., affective, clausal or adjectival). This thesis aims to integrate the facial aspect of LSF into the concatenative synthesis system described above. Thus, a processing pipeline is proposed, from data capture via a MoCap device to facial animation of the avatar from these data and to automatic annotation of the corpus thus constituted. The first contribution of this thesis concerns the employed methodology and the representation by blendshapes both for the synthesis of facial animations and for automatic annotation. It enables the analysis/synthesis scheme to be processed at an abstract level, with homogeneous and meaningful descriptors. The second contribution concerns the development of an automatic annotation method based on the recognition of expressive facial expressions using machine learning techniques. The last contribution lies in the synthesis method, which is expressed as a rather classic optimization problem but in which we have included., La Langue des Signes Française (LSF) représente une part de l'identité et de la culture de la communauté des sourds en France. L'un des moyens permettant de promouvoir cette langue est la génération de contenu par le biais de personnages virtuels appelés avatars signeurs. Le système que nous proposons s’intègre dans un projet plus général de synthèse gestuelle de la LSF par concaténation qui permet de générer de nouvelles phrases à partir d'un corpus de données de mouvements annotées et capturées via un dispositif de capture de mouvement basé marqueurs (MoCap) en éditant les données existantes. En LSF, l'expressivité faciale est le vecteur de nombreuses informations (e.g., affectives, clausales ou adjectivales), d'où son importance. Cette thèse a pour but d'intégrer l'aspect facial de la LSF au système de synthèse concaténative décrit précédemment. Ainsi, nous proposons une chaîne de traitement de l'information allant de la capture des données via un dispositif de MoCap jusqu'à l'animation faciale de l'avatar à partir de ces données et l'annotation automatique des corpus ainsi constitués. La première contribution de cette thèse concerne la méthodologie employée et la représentation par blendshapes à la fois pour la synthèse d'animations faciales et pour l'annotation automatique. Elle permet de traiter le système d'analyse / synthèse à un certain niveau d'abstraction, avec des descripteurs homogènes et signifiants. La seconde contribution concerne le développement d'une approche d'annotation automatique qui s'appuie sur la reconnaissance d'expressions faciales émotionnelles par des techniques d'apprentissage automatique. La dernière contribution réside dans la méthode de synthèse qui s'exprime comme un problème d'optimisation assez classique mais au sein duquel nous avons inclus une énergie basée laplacien quantifiant les déformations d'une surface en tant qu'énergie de régularisation.

French Sign Language (LSF) represents part of the identity and culture of the deaf community in France. One way to promote this language is to generate signed content through virtual characters called signing avatars. The system we propose is part of a more general project of gestural synthesis of LSF by concatenation that allows to generate new sentences from a corpus of annotated motion data captured via a marker-based motion capture device (MoCap) by editing existing data. In LSF, facial expressivity is particularly important since it is the vector of numerous information (e.g., affective, clausal or adjectival). This thesis aims to integrate the facial aspect of LSF into the concatenative synthesis system described above. Thus, a processing pipeline is proposed, from data capture via a MoCap device to facial animation of the avatar from these data and to automatic annotation of the corpus thus constituted.The first contribution of this thesis concerns the employed methodology and the representation by blendshapes both for the synthesis of facial animations and for automatic annotation. It enables the analysis/synthesis scheme to be processed at an abstract level,with homogeneous and meaningful descriptors. The second contribution concerns the development of an automatic annotation method based on the recognition of expressive facial expressions using machine learning techniques. The last contribution lies in the synthesis method, which is expressed as a rather classic optimization problem but in which we have included a Laplacian-based energy quantifying the deformations of a surface as regularization energy. The results of the synthesis system have been evaluated and validated through two perceptual studies.; La Langue des Signes Française(LSF) représente une part de l’identité et dela culture de la communauté des sourds enFrance. L’un des moyens permettant de promouvoircette langue est la génération decontenu par le biais de personnages virtuelsappelés avatars signeurs. Le système que nousproposons s’intègre dans un projet plus généralde synthèse gestuelle de la LSF par concaténationqui permet de générer de nouvellesphrases à partir d’un corpus de données demouvements annotées et capturées via un dispositifde capture de mouvement basé marqueurs(MoCap) en éditant les données existantes.En LSF, l’expressivité faciale est le vecteurde nombreuses informations (e.g., affectives,clausales ou adjectivales), d’où son importance.Cette thèse a pour but d’intégrer l’aspectfacial de la LSF au système de synthèse concaténativedécrit précédemment. Ainsi, nous proposonsune chaîne de traitement de l’informationallant de la capture des données via un dispositifde MoCap jusqu’à l’animation faciale de l’avatar à partir de ces données et l’annotationautomatique des corpus ainsi constitués.La première contribution de cette thèseconcerne la méthodologie employée et la représentationpar blendshapes à la fois pour lasynthèse d’animations faciales et pour l’annotationautomatique. Elle permet de traiterle système d’analyse / synthèse à un certainniveau d’abstraction, avec des descripteurshomogènes et signifiants. La seconde contributionconcerne le développement d’une approched’annotation automatique qui s’appuiesur la reconnaissance d’expressions facialesémotionnelles par des techniques d’apprentissageautomatique. La dernière contribution résidedans la méthode de synthèse qui s’exprimecomme un problème d’optimisation assezclassique mais au sein duquel nous avonsinclus une énergie basée laplacien quantifiantles déformations d’une surface en tant qu’énergiede régularisation. Les résultats de la synthèseont été évalués et validés au moyen dedeux études perceptuelles.

International audience; Les Langues des Signes (LS) répertoriées aujourd’hui sont au nombre de 142 [1] et concernent plusieurs dizaines de millions de locuteurs dans le monde. À la fin du XXe siècle William Stokoe [2] met en exergue la double articulation des LS permettant de les intégrer dans le champ de la linguistique. Malgré cela, une forte dissymétrie persiste au sein des études scientifiques des LS face à celles des langues vocales (LV). Ce manque de ressources est en partie dû à une absence de système de transcription standardisé : l’annotation de corpus se fait principalement par « ID-gloses » [3], procédé s’apparentant plus à de l’identification par traduction qu’à de la transcription proprement dite. Pour parvenir à une modélisation des LS stable, il est fondamental d’accéder au préalable à une segmentation automatique des signes, d’une part, et, d’autre part, à recourir à une transcription standardisée. Or, la segmentation se confronte à la fluence du mouvement, omniprésente au sein d’une locution en LS. Mon projet de thèse propose d’aborder cette problématique en précisant les rapports de couplage moteur qu’entretiennent les deux paramètres de l’emplacement et du mouvement. Les retombées attendues relèvent, d’un point de vue théorique, d’une modélisation formelle de la langue et, d’un point de vue plus appliqué, de la mise en place d’algorithmes de suivi des mouvements des signes. Afin de traiter efficacement ces questions de structuration profonde des LS, un corpus de locuteurs en LSF est enregistré par une caméra vidéo ainsi que par un système de captation 3D modulaire offrant la possibilité d’étudier la cinématique du mouvement. L’exploitation de ce corpus se fait en deux phases successives : tout d’abord la vidéo est annotée avec la police de caractères Typannot, correspondant à une transcription orthographique ; ensuite, les résultats sont comparés avec les données physiologiques du corpus en MoCap — données de type phonétique —, afin d’établir formellement les liens qu’entretiennent les deux paramètres étudiés. Cette opportunité, celle de nous tourner vers ces nouvelles technologies en linguistique des LS, soulève de nouvelles questions sur la nature des informations qui nous parviennent. Il est impossible d’accéder aux données brutes d’un enregistrement en MoCap avec autant de facilité qu’avec celles enregistrées en vidéo. Le Neuron enregistre 60 fois par seconde des valeurs sous la forme de positions relatives, et ce, selon les trois axes X Y et Z de chaque segment du corps. Les informations fournies s’apparentent à une longue suite de nombres, pour laquelle on ne peut faire abstraction d’un temps de traitement qui précède leur exploitation. Or, si la définition des données primaires tient à leur transparence, à l’immédiateté de leur accès, nous sommes peut-être confrontés à une redéfinition des frontières distinguant les données brutes des données secondaires.

The ability to maintain balance has previously been associated with the structure and mechanical properties of the tendons of the lower limb. In order to evaluate the effects of training intensity (moderate vs. high intensity) and age on changes in tendon architecture (Achilles and patellar) and its mechanical properties, 10 young men and 27 sedentary seniors participated in a 12-week resistance training program (3 times/week) on the muscles of the triceps surae (TS) an quadriceps (QF). The young group and a senior group participated in a moderate training program corresponding to 55% of IRM (maximum repetition), while a second group of seniors received a training intensity of 80% of IRM. Each group received the same volume of training on the TS and QF muscles using guided weight machines. The use of ergometers, ultrasound and MRI images and a motion capture system were required. A decrease in strength, coupled or not depending on the tendon under consideration, and a decrease in the properties of the tendon material have been quantified with age. Evolution curves of each of the QF and TS muscles for both populations were constructed. The two training conditions showed an improvement in the mechanical properties of the Achilles and patellar tendons, and more significantly the Achilles, on both populations without any additional gain for a high intensity. Similar gains after training between the two intensities could be observed in seniors on muscle volumes. The improvement of postural stability and an evolution of the strategy during a chair lift were observed in seniors without any additional benefit between the two training intensities. This made it possible to quantify the effects of age on muscle, tendon and movement abilities by highlighting a threshold of training intensity (55% of IRM) from which seniors do not seem to show any additional gain. This work therefore makes it possible to propose an optimization of the physical activity prescribed to the elderly person; Un des problèmes majeurs contribuant à la réduction de la mobilité chez la personne âgée est la hausse de l’occurrence des chutes. La capacité à maintenir l’équilibre ou la stabilité posturale a été précédemment associée à la structure et aux propriétés mécaniques des tendons du membre inférieur. Cette étude fut menée afin d’évaluer les effets de l’intensité d’entrainement et de l’âge sur les changements de l’architecture tendineuse et ses propriétés mécaniques ainsi que sur les adaptations musculaires du membre inférieur. Ce projet avait ainsi pour objectif de comparer les effets de deux conditions d’entrainement pour un volume équivalent (intensité modérée (55% d’une répétition maximale (1RM) vs élevée (80% de 1RM)) sur deux groupes musculaires différents (quadriceps vs triceps sural), sur les adaptations des tendons d’Achille et patellaire associés aux adaptations de ces groupes musculaires respectifs. Enfin, le dernier objectif de cette étude était de montrer si des changements de la balance posturale et de la capacité de mouvement pouvaient s’expliquer par les évolutions de l’architecturale et de propriétés mécaniques des structures musculaires et tendineuses avec l’âge. Dix hommes jeunes (Age : 24.8 ± 3.6) et 27 séniors (Age : 69.9 ± 4.5) sédentaires ont été recrutés et ont participé à un programme d’entrainement en résistance de 12 semaines (3 fois/semaine) sur les muscles du triceps sural et du quadriceps. Le groupe de jeunes (n=10) ainsi qu’un groupe de séniors (n=13) ont participé à un programme d’entrainement modéré correspondant à 55% de 1RM, tandis qu’un deuxième groupe de seniors s’est vu imposer une intensité d’entrainement de 80% de 1RM (n=14). Chaque groupe a reçu exactement le même volume d'entraînement sur les muscles quadriceps et triceps sural en utilisant des machines de musculation guidées : la presse à jambes, l'extension des jambes et la machine à mollets assis. Afin de pouvoir obtenir les paramètres nécessaires à cette étude, l’utilisation d’ergomètres, d’images échographiques et IRM et d’un système de capture de mouvement ont été nécessaires. En comparant deux populations de jeunes et de séniors, cette étude a ainsi permis de quantifier une diminution de la force, couplée ou non suivant le tendon considéré à une diminution des propriétés intrinsèques du matériau tendineux. L’obtention de l’architecture musculaire a permis de construire les courbes d’évolutions de la section de chacun des muscles du quadriceps et du triceps sural pour les populations jeunes et séniors. Les deux conditions d’entrainement nous ont permis de mettre en évidence une amélioration des propriétés mécaniques des tendons d’Achille et patellaire, et plus sensiblement le tendon d’Achille, sur les deux populations jeunes et séniors sans toutefois observer de gain supplémentaire pour une intensité élevée. Des gains similaires suite à la période d’entrainement ont pu être observés chez les séniors sur les volumes des muscles du triceps sural et du quadriceps sans distinction de l’intensité considérée. L’analyse du mouvement nous a permis de mettre en évidence l’amélioration de la stabilité posturale et une évolution de la stratégie de flexion du tronc lors d’un lever de chaise suite à l’entrainement chez les séniors sans bénéfice supplémentaire entre une intensité modérée et élevée. De plus, les effets de l’âge sur les propriétés mécaniques des tendons ont pu être corrélés avec les performances liées aux exercices de stabilité posturale, de saut et de lever de chaise. Ce travail a donc permis de quantifier les effets de l’âge sur les capacités musculaires, tendineuses et de mouvement. Cette étude nous a également permis de mettre en évidence un seuil d’intensité d’entrainement (55% de 1RM) à partir duquel les personnes âgées ne semblent pas montrer de gain additionnel pour les systèmes musculaires et tendineux. Ce travail permet donc de proposer une optimisation de l’activité physique prescrite à la personne âgée ou vieillissante.

This thesis focuses on the synthesis of motion capture data with statistical models. Motion synthesis is a task of interest for important application fields such as entertainment, human-computer interaction, robotics, etc. It may be used to drive a virtual character that can be involved in the applications of the virtual reality, animation films or computer games. This thesis focuses on the use of statistical models for motion synthesis with a strong focus on neural networks. From the machine learning point of view designing synthesis models consists in learning generative models. Our starting point lies in two main problems one encounters when dealing with motion capture data synthesis, ensuring realism of postures and motion, and handling the large variability in the synthesized motion. The variability in the data comes first from core individual features, we do not all move the same way but accordingly to our personality, our gender, age, and morphology etc. Moreover there are other short term factors of variation like our emotion, the fact that we are interacting with somebody else, that we are tired etc. Data driven models have been studied for generating human motion for many years. Models are learned from labelled datasets where motion capture data are recorded while actors are performed various activities like walking, dancing, running, etc. Traditional statistical models such as Hidden Markov Models, Gaussian Processes have been investigated for motion synthesis, demonstrating strengths but also weaknesses. Our work focuses in this line of research and concerns the design of generative models for sequences able to take into account some contextual information, which will represent the factors of variation. A first part of the thesis present preliminary works that we realised by extending previous approaches relying on Hidden Markov Models and Gaussian Processes to tackle the two main problems related to realism and variability. We first describe an attempt to extend contextual Hidden Markov Models for handling variability in the data by conditioning the parameters of the models to an additional contextual information such as the emotion which which a motion was performed. We then propose a variant of a traditional method for performing a specific motion synthesis task called Inverse Kinematics, where we exploit Gaussian Processes to enforce realism of each of the postures of a generated motion. These preliminary results show some potential of statistical models for designing human motion synthesis systems. Yet none of these technologies offers the flexibility brought by neural networks and the recent deep learning revolution.The second part of the thesis describes the works we realized with neural networks and deep architectures. It builds on recurrent neural networks for dealing with sequences and on adversarial learning which was introduced very recently in the deep learning community for designing accurate generative models for complex data. We propose a simple system as a basis synthesis architecture, which combines adversarial learning with sequence autoencoders, and that allows randomly generating realistic motion capture sequences. Starting from this architecture we design few conditional neural models that allow to design synthesis systems that one can control up to some extent by either providing a high level information that the generated sequence should match (e.g. the emotion) or by providing a sequence in the style of which a sequence should be generated.; Cette thèse porte sur la synthèse de séquences de motion capture avec des modèles statistiques. La synthèse de ce type de séquences est une tâche pertinente pour des domaines d'application divers tels que le divertissement, l'interaction homme-machine, la robotique, etc. Du point de vue de l'apprentissage machine, la conception de modèles de synthèse consiste à apprendre des modèles génératifs, ici pour des données séquentielles. Notre point de départ réside dans deux problèmes principaux rencontrés lors de la synthèse de données de motion capture, assurer le réalisme des positions et des mouvements, et la gestion de la grande variabilité dans ces données. La variabilité vient d'abord des caractéristiques individuelles, nous ne bougeons pas tous de la même manière mais d'une façon qui dépend de notre personnalité, de notre sexe, de notre âge de notre morphologie, et de facteurs de variation plus court terme tels que notre état émotionnel, que nous soyons fatigués, etc.Une première partie présente des travaux préliminaires que nous avons réalisés en étendant des approches de l'état de l'art basées sur des modèles de Markov cachés et des processus gaussiens pour aborder les deux problèmes principaux liés au réalisme et à la variabilité. Nous décrivons d'abord une variante de modèles de Markov cachés contextuels pour gérer la variabilité dans les données en conditionnant les paramètres des modèles à une information contextuelle supplémentaire telle que l'émotion avec laquelle un mouvement a été effectué. Nous proposons ensuite une variante d'une méthode de l'état de l'art utilisée pour réaliser une tâche de synthèse de mouvement spécifique appelée Inverse Kinematics, où nous exploitons les processus gaussiens pour encourager le réalisme de chacune des postures d'un mouvement généré. Nos résultats montrent un certain potentiel de ces modèles statistiques pour la conception de systèmes de synthèse de mouvement humain. Pourtant, aucune de ces technologies n'offre la flexibilité apportée par les réseaux de neurones et la récente révolution de l'apprentissage profond et de l'apprentissage Adversarial que nous abordons dans la deuxième partie.La deuxième partie de la thèse décrit les travaux que nous avons réalisés avec des réseaux de neurones et des architectures profondes. Nos travaux s'appuient sur la capacité des réseaux neuronaux récurrents à traiter des séquences complexes et sur l'apprentissage Adversarial qui a été introduit très récemment dans la communauté du Deep Learning pour la conception de modèles génératifs performants pour des données complexes, notamment images. Nous proposons une première architecture simple qui combine l'apprentissage Adversarial et des autoencodeurs de séquences, qui permet de mettre au point des systèmes performants de génération aléatoire de séquences réalistes de motion capture. A partir de cette architecture de base, nous proposons plusieurs variantes d'architectures neurales conditionnelles qui permettent de concevoir des systèmes de synthèse que l'on peut contrôler dans une certaine mesure en fournissant une information de haut niveau à laquelle la séquence générée doit correspondre, par exemple l'émotion avec laquelle une activité est réalisée. Pour terminer nous décrivons une dernière variante qui permet de réaliser de l'édition de séquences de motion capture, où le système construit permet de générer une séquence dans le style d'une autre séquence, réelle.

The ability to maintain balance has previously been associated with the structure and mechanical properties of the tendons of the lower limb. In order to evaluate the effects of training intensity (moderate vs. high intensity) and age on changes in tendon architecture (Achilles and patellar) and its mechanical properties, 10 young men and 27 sedentary seniors participated in a 12-week resistance training program (3 times/week) on the muscles of the triceps surae (TS) an quadriceps (QF). The young group and a senior group participated in a moderate training program corresponding to 55% of IRM (maximum repetition), while a second group of seniors received a training intensity of 80% of IRM. Each group received the same volume of training on the TS and QF muscles using guided weight machines. The use of ergometers, ultrasound and MRI images and a motion capture system were required. A decrease in strength, coupled or not depending on the tendon under consideration, and a decrease in the properties of the tendon material have been quantified with age. Evolution curves of each of the QF and TS muscles for both populations were constructed. The two training conditions showed an improvement in the mechanical properties of the Achilles and patellar tendons, and more significantly the Achilles, on both populations without any additional gain for a high intensity. Similar gains after training between the two intensities could be observed in seniors on muscle volumes. The improvement of postural stability and an evolution of the strategy during a chair lift were observed in seniors without any additional benefit between the two training intensities. This made it possible to quantify the effects of age on muscle, tendon and movement abilities by highlighting a threshold of training intensity (55% of IRM) from which seniors do not seem to show any additional gain. This work therefore makes it possible to propose an optimization of the physical activity prescribed to the elderly person, Un des problèmes majeurs contribuant à la réduction de la mobilité chez la personne âgée est la hausse de l’occurrence des chutes. La capacité à maintenir l’équilibre ou la stabilité posturale a été précédemment associée à la structure et aux propriétés mécaniques des tendons du membre inférieur. Cette étude fut menée afin d’évaluer les effets de l’intensité d’entrainement et de l’âge sur les changements de l’architecture tendineuse et ses propriétés mécaniques ainsi que sur les adaptations musculaires du membre inférieur. Ce projet avait ainsi pour objectif de comparer les effets de deux conditions d’entrainement pour un volume équivalent (intensité modérée (55% d’une répétition maximale (1RM) vs élevée (80% de 1RM)) sur deux groupes musculaires différents (quadriceps vs triceps sural), sur les adaptations des tendons d’Achille et patellaire associés aux adaptations de ces groupes musculaires respectifs. Enfin, le dernier objectif de cette étude était de montrer si des changements de la balance posturale et de la capacité de mouvement pouvaient s’expliquer par les évolutions de l’architecturale et de propriétés mécaniques des structures musculaires et tendineuses avec l’âge. Dix hommes jeunes (Age : 24.8 ± 3.6) et 27 séniors (Age : 69.9 ± 4.5) sédentaires ont été recrutés et ont participé à un programme d’entrainement en résistance de 12 semaines (3 fois/semaine) sur les muscles du triceps sural et du quadriceps. Le groupe de jeunes (n=10) ainsi qu’un groupe de séniors (n=13) ont participé à un programme d’entrainement modéré correspondant à 55% de 1RM, tandis qu’un deuxième groupe de seniors s’est vu imposer une intensité d’entrainement de 80% de 1RM (n=14). Chaque groupe a reçu exactement le même volume d'entraînement sur les muscles quadriceps et triceps sural en utilisant des machines de musculation guidées : la presse à jambes, l'extension des jambes et la machine à mollets assis. Afin de pouvoir obtenir les paramètres nécessaires à cette étude, l’utilisation d’ergomètres, d’images échographiques et IRM et d’un système de capture de mouvement ont été nécessaires. En comparant deux populations de jeunes et de séniors, cette étude a ainsi permis de quantifier une diminution de la force, couplée ou non suivant le tendon considéré à une diminution des propriétés intrinsèques du matériau tendineux. L’obtention de l’architecture musculaire a permis de construire les courbes d’évolutions de la section de chacun des muscles du quadriceps et du triceps sural pour les populations jeunes et séniors. Les deux conditions d’entrainement nous ont permis de mettre en évidence une amélioration des propriétés mécaniques des tendons d’Achille et patellaire, et plus sensiblement le tendon d’Achille, sur les deux populations jeunes et séniors sans toutefois observer de gain supplémentaire pour une intensité élevée. Des gains similaires suite à la période d’entrainement ont pu être observés chez les séniors sur les volumes des muscles du triceps sural et du quadriceps sans distinction de l’intensité considérée. L’analyse du mouvement nous a permis de mettre en évidence l’amélioration de la stabilité posturale et une évolution de la stratégie de flexion du tronc lors d’un lever de chaise suite à l’entrainement chez les séniors sans bénéfice supplémentaire entre une intensité modérée et élevée. De plus, les effets de l’âge sur les propriétés mécaniques des tendons ont pu être corrélés avec les performances liées aux exercices de stabilité posturale, de saut et de lever de chaise. Ce travail a donc permis de quantifier les effets de l’âge sur les capacités musculaires, tendineuses et de mouvement. Cette étude nous a également permis de mettre en évidence un seuil d’intensité d’entrainement (55% de 1RM) à partir duquel les personnes âgées ne semblent pas montrer de gain additionnel pour les systèmes musculaires et tendineux. Ce travail permet donc de proposer une optimisation de l’activité physique prescrite à la personne âgée ou vieillissante.

National audience; Nous présentons une approche pour la reconnaissance d'expressions corporelles qui accompagnent le mouvement d'un personnage réel. L'idée développée dans cet article s'inspire de travaux en synthèses d'animations. Notre sys-tème se base sur l'analyse de la différence obtenue dans le domaine fréquentiel entre un mouvement expressif et un mouvement neutre. Dans ce papier, nous introduisons la notion de mouvement neutre et proposons un algorithme qui permet de l'obtenir par la minimisation d'une fonction de coût global. Le coût global tient compte de la distance parcourue par les différentes articulations et l'accéléra-tion de chaque articulation au cours du mouvement. Nous avons évalué notre méthode sur différentes bases de don-nées contenant des mouvements et expressions corporelles hétérogènes. Les résultats obtenus sont encourageants et confirment la validité de notre démarche.

Nowadays, Sign Language (SL) is still little described, particularly for what concerns the movement of articulators. Research on SL has focused on understanding and modeling linguistic properties. Few investigations have been carried out to understand the kinematics and dynamics of the movement itself and what it brings to understand the LS SL generated by models. This thesis deals with the analysis of movement in the French Sign Language LSF with a main focus on its production as well as its understanding by deaf people.Better understanding the movement in SL requires the creation of new resources for the scientific community studying SL. In this framework, we have created and annotated a corpus of 3D motion data from the upper body and face, using a motion capture system. The processing of this corpus made it possible to specify the kinematics of the movement in SL during the signs and the transitions.The first contribution of this thesis was to quantify to what extent certain classical laws, known in motor control, remained valid during the movements of SL, in order to know if the knowledge acquired in motor control could be exploited in SL.Finding relevant information of the movement that is crucial for understanding SL represented the second part of this thesis. We were basically interested to know which aspects of the movement of SL production models should be replicated as a priority. In this approach, we have examined to what extent deaf individuals, whether signers or not, were able to understand SL according to the amount of information available to them.; La langue des signes (LS) est encore une langue peu décrite, en particulier ce qui concerne le mouvement des articulateurs. La recherche sur la LS s’est concentrée sur la compréhension et la modélisation des propretés linguistiques. Peu d’études ont essayé de comprendre la cinématique et la dynamique du mouvement en lui-même et ce que cela apporte à compréhensibilité de la LS générée par des modèles. Cette thèse porte sur l’analyse du mouvement en Langue des Signes Française (LSF) tant des points de vue de sa production et de sa compréhension par les individus sourds.Mieux appréhender le mouvement en LS nécessite la création de nouvelles ressources pour la communauté scientifique étudiant les LSF. Dans cette perspective, nous avons créé et annoté un corpus de données de mouvements 3D de la partie supérieure du corps et du visage, à l'aide du système de capture de mouvement. Le traitement de ce corpus a permis de spécifier la cinématique du mouvement en LSF durant les signes et les transitions.La question posée dans la première partie de cette thèse était de quantifier dans quelle mesure certaines lois classiques connues en contrôle moteur restaient valides durant les mouvements de LS, afin de savoir si les connaissances acquises en contrôle moteur pouvaient être réutilisées en LS.Trouver quelles informations du mouvement sont cruciales pour la compréhension de la LS a constitué la deuxième partie de cette thèse. L’intérêt était de savoir quels aspects du mouvement des modèles de production de LS devraient reproduire en priorité. Dans cette démarche, nous avons étudié dans quelle mesure des individus sourds, signeurs ou non, parvenaient à comprendre la LS en fonction de la quantité d’informations qui leur est disponible.

Nowadays, Sign Language (SL) is still little described, particularly for what concerns the movement of articulators. Research on SL has focused on understanding and modeling linguistic properties. Few investigations have been carried out to understand the kinematics and dynamics of the movement itself and what it brings to understand the LS SL generated by models. This thesis deals with the analysis of movement in the French Sign Language LSF with a main focus on its production as well as its understanding by deaf people.Better understanding the movement in SL requires the creation of new resources for the scientific community studying SL. In this framework, we have created and annotated a corpus of 3D motion data from the upper body and face, using a motion capture system. The processing of this corpus made it possible to specify the kinematics of the movement in SL during the signs and the transitions.The first contribution of this thesis was to quantify to what extent certain classical laws, known in motor control, remained valid during the movements of SL, in order to know if the knowledge acquired in motor control could be exploited in SL.Finding relevant information of the movement that is crucial for understanding SL represented the second part of this thesis. We were basically interested to know which aspects of the movement of SL production models should be replicated as a priority. In this approach, we have examined to what extent deaf individuals, whether signers or not, were able to understand SL according to the amount of information available to them., La langue des signes (LS) est encore une langue peu décrite, en particulier ce qui concerne le mouvement des articulateurs. La recherche sur la LS s’est concentrée sur la compréhension et la modélisation des propretés linguistiques. Peu d’études ont essayé de comprendre la cinématique et la dynamique du mouvement en lui-même et ce que cela apporte à compréhensibilité de la LS générée par des modèles. Cette thèse porte sur l’analyse du mouvement en Langue des Signes Française (LSF) tant des points de vue de sa production et de sa compréhension par les individus sourds.Mieux appréhender le mouvement en LS nécessite la création de nouvelles ressources pour la communauté scientifique étudiant les LSF. Dans cette perspective, nous avons créé et annoté un corpus de données de mouvements 3D de la partie supérieure du corps et du visage, à l'aide du système de capture de mouvement. Le traitement de ce corpus a permis de spécifier la cinématique du mouvement en LSF durant les signes et les transitions.La question posée dans la première partie de cette thèse était de quantifier dans quelle mesure certaines lois classiques connues en contrôle moteur restaient valides durant les mouvements de LS, afin de savoir si les connaissances acquises en contrôle moteur pouvaient être réutilisées en LS.Trouver quelles informations du mouvement sont cruciales pour la compréhension de la LS a constitué la deuxième partie de cette thèse. L’intérêt était de savoir quels aspects du mouvement des modèles de production de LS devraient reproduire en priorité. Dans cette démarche, nous avons étudié dans quelle mesure des individus sourds, signeurs ou non, parvenaient à comprendre la LS en fonction de la quantité d’informations qui leur est disponible.

International audience; La capture de mouvement permet d'aboutir à des corpus précis et complets d'énoncés en Langue des Signes Française (LSF). Ceux-ci peuvent ensuite servir de base aussi bien à une étude linguistique qu'à de la synthèse de nouveaux énoncés en LSF sur un agent virtuel. L'annotation de ces données à différents niveaux est une étape nécessaire mais qui peut s'avérer fastidieuse si réalisée manuellement. Cet article s'attache à automatiser l'anno-tation des données capturées sur l'un de ces niveaux : celui des configurations manuelles de la LSF. La méthode d'annotation se décompose en deux étapes : une première étape de segmentation utilise les variations des distances entre les articulations de chaque main pour séparer les données de mouvement en segments de deux types, configuration manuelle ou transition, tandis que la deuxième étape s'attache à reconnaître, à l'aide d'un algorithme de classification supervisé, les configurations manuelles exécutées durant les phases segmentées correspondantes.

The human sense of touch is of fundamental importance in the way we perceive our environment, move ourselves, and purposefully interact with other objects or beings. Thus, contact forces are informative on both the realized task and the underlying intent. However, monitoring them with force transducers is a costly, cumbersome and intrusive process. In this thesis, we investigate the capture of haptic information from motion tracking. This is a challenging problem, as a given motion can generally be caused by an infinity of possible force distributions in multi-contact. In such scenarios, physics-based optimization alone may only capture force distributions that are physically compatible with a given motion, rather than those really applied. In contrast, machine learning techniques for the black-box modelling of kinematically and dynamically complex structures are often prone to generalization issues. We propose a formulation of the force distribution problem utilizing both approaches jointly rather than separately. We thus capture the variability in the way humans instinctively regulate contact forces while also ensuring their compatibility with the observed motion. We present our approach on both manipulation and whole-body interaction with the environment. We consistently back our findings with ground-truth measurements and provide extensive datasets to encourage and serve as benchmarks for future research on this new topic.; Le sens du toucher joue un rôle fondamental dans la façon dont nous percevons notre environnement, nous déplaçons, et interagissons délibérément avec d'autres objets ou êtres vivants. Ainsi, les forces de contact informent à la fois sur l'action réalisée et sa motivation. Néanmoins, l'utilisation de capteurs de force traditionnels est coûteuse, lourde, et intrusive. Dans cette thèse, nous examinons la perception haptique par la capture de mouvement. Ce problème est difficile du fait qu'un mouvement donné peut généralement être causé par une infinité de distributions de forces possibles, en multi-contact. Dans ce type de situations, l'optimisation sous contraintes physiques seule ne permet que de calculer des distributions de forces plausibles, plutôt que fidèles à celles appliquées en réalité. D'un autre côté, les méthodes d'apprentissage de type `boîte noire' pour la modélisation de structures cinématiquement et dynamiquement complexes sont sujettes à des limitations en termes de capacité de généralisation. Nous proposons une formulation du problème de la distribution de forces exploitant ces deux approches ensemble plutôt que séparément. Nous capturons ainsi la variabilité dans la façon dont on contrôle instinctivement les forces de contact tout en nous assurant de leur compatibilité avec le mouvement observé. Nous présentons notre approche à la fois pour la manipulation et les interactions corps complet avec l'environnement. Nous validons systématiquement nos résultats avec des mesures de référence et fournissons des données exhausives pour encourager et évaluer les travaux futurs sur ce nouveau sujet.

To ease the complex task of anatomy learning, there exist many ways to represent and structure anatomy : illustrations, books, cadaver dissections and 3d models. However, it is difficult to understand and analyse anatomy motion, which is essential for medicine students. We present the "Living Book of Anatomy" (LBA), an original and innovative tool to learn anatomy. For a specific user, we superimpose a 3d anatomical model (skin, skeleton, muscles and visceras) onto the user’s color map and we animate it following the user’s movements. We present a real-time mirror-like augmented reality (AR) system. A Kinect is used to capturebody motions.The first innovation of our work is the identification of the user’s body measurements to register our 3d anatomical model. We propose two different methods to register anatomy.The first one is real-time and use affine transformations attached to rigid positioned on each joint given by the Kinect body tracking skeleton in order to deform the 3d anatomical model using skinning to fit the user’s measurements.The second method needs a few minutes to register the anatomy and is divided in 3 parts : skin deformation (using Kinect body tracking skeleton and the Kinect partial point cloud), with it and strict anatomical rules we register the skeleton. Lastly we deformm the soft tissues to completly fill the space inbetween the registered skeleton and skin.Secondly, we want to capture realistically and in real-time the user’s motion. To do that we need to reproduce anatomical structure motion but it is a complex task due to the noisy and often partial Kinect data. We propose here the use of anatomical rules concerning body articulations (angular limits and degrees of freedom) to constraint Kinect captured motion in order to obtain/gain plausible motions. a kalman filter is used to smooth the obtaiined motion capture.Lastly, to embed visual style and interaction, we use a full body reproduction to show general knowledge on human anatomy and its differents joints. We also use a lower-limb as structure of interest to higlight specific anatomical phenomenon, as muscular activity.All these tools have been integrated in a working system detailed in this thesis.We validated our tool/system by presenting it as a live demo during different conferences and through user studies done with students and professionnals from different backgrounds, La complexité de l’anatomie fait de son apprentissage une tâche difficile. Au fil des années, différents supports de connaissances ont vu le jour dans le but de représenter et structurer l’anatomie : des dessins au tableau, aux livres d’anatomie, en passant par l’étape incontournable de la dissection, et des travaux pratiques sur maquettes 3d. Il est néanmoins difficile d’appréhenderla dimension dynamique de l’anatomie avec les outils d’apprentissage conventionnels ; connaissance qui est pourtant essentielle à la formation des médecins. A travers ces travaux de thèse nous proposons un système original et innovant pour l’apprentissage de l’anatomie intitulé « Living Book of Anatomy » (LBA). L’idée étant, pour un utilisateur donné, de superposer à sa propre image une maquette anatomique 3d (peau, squelette, muscles et viscères) et del’animer en mimant les mouvements de celui-ci. Nous parlons ici d’une application temps-réel de type « miroir augmenté ». Nous utilisons la Kinect comme capteur de mouvement.Le premier défi à relever est l’identification de caractéristiques morphologiques qui nous permettront de recaler notre maquette anatomique 3d sur l’utilisateur. Nous proposons ici deux technologies interchangeables en fonction des besoins. La première méthode, temps-réel, est basée sur l’utilisation de transformations affines attachées entre les repères positionnés à chaque articulation du squelette donné par la Kinect pour déformer la maquette 3d à l’aide de poids de skinning prédéfinis. La seconde méthode, plus couteuse en temps (de l’ordre de quelques minutes), se découpe en trois parties : dans un premier temps nous déformons la peau à l’aide de la position des articulations du squelette d’animation Kinect et du nuage de pointpartiel de l’utilisateur ; à partir de cela et de règles anatomiques strictes nous déformons le squelette ; pour finir nous déformons les tissus mous pour qu’ils comblent l’espace entre le squelette et la peau. Le second défi concerne la capture réaliste et temps-réel des mouvements utilisateurs. Reproduire le comportement des structures anatomiques est une tâche complexe due aux informations Kinect souvent partielles et très bruitées. Nous proposons ici l’utilisation de règles anatomiques concernant les articulations du corps (axes de rotation et butées articulaires) pour contraindre les mouvements donnés par la Kinect et obtenir des mouvements réalistes. Pour obtenir des mouvements fluides nous nous proposons d’utiliser des filtrages, notamment le filtre de Kalman. Le dernier défi concerne la dominante de retour visuel et d’interaction.Lors de ces travaux nous nous sommes tout particulièrement intéressés à un renducorps complet pour montrer le fonctionnement général du corps humain et de ces différentes articulations. Nous avons également choisi le membre inférieur comme structure anatomique d’intérêt avec pour but la mise en avant de phénomènes anatomiques spécifiques, comme l’activité musculaire.Les différents éléments ont été intégrés dans un système opérationnel présenté en détails dans ce manuscrit de thèse. Grâce à des expérimentations - avec des étudiants et des professionnels de différents domaines - et la présentation de ces travaux sous forme de démonstrations lors de différents congrès, nous avons validé cet outil

International audience; Prosodic variation and poetic translation (LSF/French): What happens to prosody with a channel change? The study of spoken language prosody is partially based on the measurement of three parameters: sound duration, intensity and frequency. Sign languages use the visual-gestural channel and mobilize manual and non manual articulators (chest, head, facial features). Our study aims to establish tools that allow to compare, on the prosodic level, the translation of poetic sequences into French and their original versions in French Sign Language (LSF). We collected video and motion capture data-which offers wide avenues for exploration of LSF prosodic features-as well as audio data of French translations-that reveal the strategies of interpreters to convey prosodic variation.; L'étude de la prosodie des langues vocales repose en partie sur la mesure des paramètres de durée, d'intensité et de fréquence sonores. Les langues des signes, quant à elles, empruntent le canal visuo-gestuel et mobilisent des articulateurs manuels et non manuels (buste, tête, éléments du visage). Notre étude a pour objectif d'établir des outils permettant de comparer, au niveau prosodique, la traduction en français de séquences poétiques et la version originale en langue des signes française (LSF). Nous avons recueilli des données vidéo augmentées de capture de mouvement-qui offrent plusieurs pistes d'exploration des paramètres prosodiques pour la LSF-ainsi que des données audio des traductions en français-qui révèlent les stratégies des interprètes pour interpréter la variation prosodique

In this thesis we are interested in designing a mobile robot able to analyze the behavior and movement of a a person in indoor and cluttered environment. Our goal is to equip the robot by visual perception capabilities of the human posture to better analyze situations that require understanding of person with which the robot interacts, or detect risk situations such as falls or analyze motor skills of the person. Motion capture in a dynamic and crowded environment raises multiple challenges such as learning the background of the environment and extracting the silhouette that can be partially observable when the person is in hidden places. These difficulties make motion capture difficult. Most of existing methods assume that the scene is static and the person is always fully visible by the camera. These approaches are not able to work in such realitsit conditions. In this thesis, We propose a new motion capture system capable of tracking a person in realistic world conditions. Our approach uses a 3D occupancy grid with a hidden Markov model to continuously learn the changing background of the scene and to extract silhouette of the person, then a hierarchical particle filtering algorithm is used to reconstruct the posture. We propose a novel occlusion management algorithm able to identify and discards hidden body parts of the person from process of the pose estimation. We also proposed a new database containing RGBD images with ground truth data in order to establish a new benchmark for the assessment of motion capture systems in a real environment with occlusions. The ground truth is obtained from a motion capture system based on high-precision marker with eight infrared cameras. All data is available online. The second contribution of this thesis is the development of a new visual odometry method to localize an RGB-D camera mounted on a robot moving in a dynamic environment. The major difficulty of the localization in a dynamic environment, is that mobile objects in the scene induce additional movement that generates outliers pixels. These pixels should be excluded from the camera motion estimation process in order to produce accurate and precise localization. We thus propose an extension of the dense localization method based on the optical flow method to remove outliers pixels using the RANSAC algorithm.; Dans cette thèse nous intéressons à la conception d'un robot mobile capable d’analyser le comportement et le mouvement d’une personne en environnement intérieur et encombré, par exemple le domicile d’une personne âgée. Plus précisément, notre objectif est de doter le robot des capacités de perception visuelle de la posture humaine de façon à mieux maîtriser certaines situations qui nécessitent de comprendre l’intention des personnes avec lesquelles le robot interagit, ou encore de détecter des situations à risques comme les chutes ou encore d’analyser les capacités motrices des personnes dont il a la garde. Le suivi de la posture dans un environnement dynamique et encombré relève plusieurs défis notamment l'apprentissage en continue du fond de la scène et l'extraction la silhouette qui peut être partiellement observable lorsque la personne est dans des endroits occultés. Ces difficultés rendent le suivi de la posture une tâche difficile. La majorité des méthodes existantes, supposent que la scène est statique et la personne est toujours visible en entier. Ces approches ne sont pas adaptées pour fonctionner dans des conditions réelles.Nous proposons, dans cette thèse, un nouveau système de suivi capable de suivre la posture de la personne dans ces conditions réelles. Notre approche utilise une grille d'occupation avec un modèle de Markov caché pour apprendre en continu l'évolution de la scène et d'extraire la silhouette, ensuite un algorithme de filtrage particulaire hiérarchique est utilisé pour reconstruire la posture. Nous proposons aussi un nouvel algorithme de gestion d'occlusion capable d'identifier et d'exclure les parties du corps cachées du processus de l'estimation de la pose. Finalement, nous avons proposé une base de données contenant des images RGB-D avec la vérité-terrain dans le but d'établir une nouvelle référence pour l'évaluation des systèmes de capture de mouvement dans un environnement réel avec occlusions. La vérité-terrain est obtenue à partir d'un système de capture de mouvement à base de marqueur de haute précision avec huit caméras infrarouges. L'ensemble des données est disponible en ligne. La deuxième contribution de cette thèse, est le développement d'une méthode de localisation visuelle à partir d'une caméra du type RGB-D montée sur un robot qui se déplace dans un environnement dynamique. En effet, le système de capture de mouvement que nous avons développé doit équiper un robot se déplaçant dans une scène. Ainsi, l'estimation de mouvement du robot est importante pour garantir une extraction de silhouette correcte pour le suivi. La difficulté majeure de la localisation d'une caméra dans un environnement dynamique, est que les objets mobiles de la scène induisent un mouvement supplémentaire qui génère des pixels aberrants. Ces pixels doivent être exclus du processus de l'estimation du mouvement de la caméra. Nous proposons ainsi une extension de la méthode de localisation dense basée sur le flux optique pour isoler les pixels aberrants en utilisant l'algorithme de RANSAC.

National audience; Les avancées technologiques de ces dernières années semblent avoir rendu l'acquisition de données multimodales plus accessible (miniaturisation du matériel, coût réduit, amélioration de l'ergonomie), notamment pour les recherches en linguistique. Mais cette apparente simplicité est, dans bien des cas, illusoire. D'une part, les appareils d'enregistrement et les logiciels de traitements possèdent toujours un certain nombre de réglages non automatisés. D'autre part, il faut toujours garder à l'esprit que le matériel ne fait pas tout et que l'environnement joue une part très importante dans la qualité des données (lieu bruyant pour une captation audio, peu éclairé pour une captation vidéo,...). Nous présentons ici les problèmes qui peuvent surgir dans l'acquisition de données audio, vidéo, de captures de mouvement et d'oculométrie. Des solutions sont proposées et des logiciels de traitement libres et gratuits sont cités. Enfin, les perspectives d'évolution de la multimodalité en linguistique sont évoquées.

The work conducted in this thesis can be summarized into four main steps.Firstly, we proposed a multi-level body movement notation system that allows the description ofexpressive body movement across various body actions. Secondly, we collected a new databaseof emotional body expression in daily actions. This database constitutes a large repository of bodilyexpression of emotions including the expression of 8 emotions in 7 actions, combining video andmotion capture recordings and resulting in more than 8000 sequences of expressive behaviors.Thirdly, we explored the classification of emotions based on our multi-level body movement notationsystem. Random Forest approach is used for this purpose. The advantage of using RandomForest approach in our work is double-fold : 1) reliability of the classification model and 2) possibilityto select a subset of relevant features based on their relevance measures. We also comparedthe automatic classification of emotions with human perception of emotions expressed in differentactions. Finally, we extracted the most relevant features that capture the expressive content of themotion based on the relevance measure of features returned by the Random Forest model. Weused this subset of features to explore the characterization of emotional body expression acrossdifferent actions. A Decision Tree model was used for this purpose., Ce travail de thèse peut être résumé en quatre étapes principales. Premièrement, nousavons proposé un système d’annotation multi-niveaux pour décrire le mouvement corporel expressif dansdifférentes actions. Deuxièmement, nous avons enregistré une base de données de l’expression corporelledes émotions dans des actions quotidiennes. Cette base de données constitue un large corpus de comportementsexpressifs considérant l’expression de 8 émotions dans 7 actions quotidiennes, combinant à la fois lesdonnées audio-visuelle et les données de capture de mouvement et donnant lieu à plus que 8000 séquencesde mouvement expressifs. Troisièmement, nous avons exploré la classification des émotions en se basantsur notre système d’annotation multi-niveaux. L’approche des forêts aléatoires est utilisée pour cette fin. L’utilisationdes forêts aléatoires dans notre travail a un double objectif : 1) la fiabilité du modèle de classification,et 2) la possibilité de sélectionner un sous-ensemble de paramètres pertinents en se basant sur la mesured’importance retournée par le modèle. Nous avons aussi comparé la classification automatique des émotionsavec la perception humaine des émotions exprimées dans différentes actions. Finalement, nous avonsextrait les paramètres les plus pertinents qui retiennent l’expressivité du mouvement en se basant sur la mesured’importance retournée par le modèle des forêts aléatoires. Nous avons utilisé ce sous-ensemble deparamètres pour explorer la caractérisation de l’expression corporelle des émotions dans différentes actionsquotidiennes. Un modèle d’arbre de décision a été utilisé pour cette fin.

The growing number of musculoskeletal disorders in industry could be addressed by the use of collaborative robots, which allow the joint manipulation of objects by both a robot and a person. Designing such robots requires to assess the ergonomic benefit they offer. However there is a lack of adapted assessment tools. This work presents a generic tool for performing accurate ergonomic assessments of co-manipulation activities, with very little input data. This tool relies on an evaluation carried out within a digital world, using a virtual manikin to simulate the worker. A framework is developed to enable the estimation of the different biomechanical solicitations which occur during manual activities. Multiple ergonomic indicators are defined and measured through a dynamic simulation of the considered activity. The virtual manikin is animated through a LQP optimization technique, and the robot is controlled according to the manikin-robot interaction force. The proposed framework is validated with motion capture experiments. However, the high number of indicators that are measured makes any kind of conclusion difficult for the user. Hence, a methodology for analyzing the sensitivity of the various indicators to the robot and task parameters is proposed. The goal of such an analysis is to reduce the number of ergonomic indicators which are considered in an evaluation, while sufficiently accounting for the global ergonomic level of the considered activity. Finally, an application of the proposed methodology is presented. The evaluation framework is linked to a genetic algorithm software in order to optimize the morphology of a collaborative robot for a given task.; Parce qu’elle permet d’associer les capacités physiques d’un robot aux capacités perceptives et cognitives de l’Homme, la robotique collaborative peut être une solution pour répondre au problème des troubles musculo-squelettiques dans l’industrie. Cependant, le gain d’ergonomie qu’apporte l'utilisation de tels robots est rarement quantifié, à cause du manque d’outils adéquats.Ce travail vise à développer un outil générique permettant d’effectuer des évaluation ergonomiques d'activités de co-manipulation, à partir de très peu de données d’entrée. Cet outil s’appuie sur une évaluation en simulation, à l’aide d’un mannequin virtuel. Afin d'estimer les différentes sollicitations biomécaniques auxquelles sont exposés les ouvriers lorsqu’ils réalisent des tâches manuelles, de nombreux indicateurs d'ergonomie sont définis, et mesurés grâce à une simulation dynamique. Le mannequin virtuel est animé avec une technique d’optimisation LQP, et le robot est contrôlé par une commande en amplification d’effort. L'outil proposé est validé à l'aide d'expériences basées sur la capture de mouvement.Cependant, le choix d’un robot plutôt que d’un autre est rendu difficile par le nombre élevé d’indicateurs d'ergonomie à prendre en compte. Une méthode pour analyser la sensibilité des indicateurs aux différents paramètres du robot et de la tâche considérée est donc développée. Une telle analyse permet de réduire le nombre d’indicateurs à prendre en compte, tout en rendant suffisamment compte de l’ergonomie de chaque situation.Enfin, l’outil de simulation mis en place est couplé à un logiciel d’optimisation par algorithme génétique, afin d' optimiser la cinématique d’un robot collaboratif.

Music and movement are inseparable. The movements that are spontaneously procuded when listening to music are thought to be related to the close relationship between the perceptual and motor system in listeners. This particular link is the main topic of this thesis. A first approach was focused on the impact of music-induced movements on music cognition. In two studies, we show that moving along to music neither enhances the retention of new musical pieces (Study 1) nor the retention of the contextual information related to their encoding (Study 2). These results suggest a shallow processing inherent to the expression of musical affordances required for the production of music-induced movements in the motor task. Moreover, they suggest that music is automatically processed in a motoric fashion independantly of the task. Our results also brought forward the importance of the musical groove. A second approach focused on the influence of the perception of musical rhythms on the production of rythmic movements. Our third study tested the hypothesis that different limbs would be differentially influenced depending on the musical tempo. Results show that the tapping taks was the most influenced by the perception of musical rhythms. We argued that this would come from the similar nature of the musical pulse and the timing mecanisms involved in the tapping task and motor resonance phenomena. We also observed different strategies put in place to cope with the task. All these results are discussed in light of the link between perception and action, embodied musical cognition and musical affordances.; La musique et le mouvement sont inséparables. Les mouvements produits spontanément lors de l'écoute musicale seraient le reflet d'un lien étroit entre le système perceptif et moteur. Ce lien est l'objet d'étude de cette thèse. Une première approche concernait l'impact des mouvements induits par la musique sur la cognition musicale. Dans deux études, nous montrons que bouger en rythme sur la musique n'améliore ni la rétention de nouveaux morceaux de musique (Etude 1) ni la rétention d'informations contextuelles relatives à leur encodage (Etude 2). Les résultats des ces deux études suggèrent la superficialité du traitement inhérent à l'expression des affordances musicales nécessaire à la production de mouvements induits par la musique dans la tâche motrice ainsi qu'un traitement moteur automatique de la musique indépendamment de la tâche. L'importance du groove musical a également été mise en évidence. Une deuxième approche concernait l'influence de la perception de rythmes musicaux sur la production de mouvements rythmiques. Notre troisième étude testait l'hypothèse selon laquelle les membres du corps seraient influencés de manière différente en fonction du tempo musical. Les résultats montrent que la tâche de tapping était la plus influencée par la perception de rythmes musicaux. Ceci serait dû à la nature similaire de la pulsation musicale et des mécanismes de timing impliqués dans le tapping ainsi qu'à des phénomènes de résonance motrice. Nous avons également observé la mise en place de certaines stratégies face à la tâche. L'ensemble de ces résultats est discuté à la lumière du lien entre perception et action, de la cognition musicale incarnée et des affordances musicales.

How optimal are human movements ? This thesis tackles this issue by focusing especially on climbing movements, studied here under three complementary aspects which are the experimental gathering of climbing sequences, the biomechanical analysis of these data, and the synthesis of gestures by timing optimization. Walking has been largely studied, with good results in animation [Mordatch 2013]. We are interested here especially in the original question of climbing motions, whose diversity and multicontact aspect present an interesting complexity for the evaluation of the human motion characteristics. The heterogeneity of climbing gestures can be linked to several factors which are the variety of wall shapes, the multiplicity of climber skill levels, and different climbing categories, namely bouldering, route climbing or speed climbing. Our exploratory approach of this sport consists in three steps: the data collection by multicamera marker-based motion capture, combined with a set of force sensors mounted on an in-laboratory bouldering wall; a gesture analysis by inverse dynamics, taking only kinematic data as inputs, based on the minimization of internal torques to resolve the multicontact ambiguity, intrinsic to the climbing activity, validated by comparison with sensor measurements; and finally, the use of the energy efficiency criterion for synthesizing the best timing associated with a given sequence of movements. Experimental recordings were made at McGill University which has a climbing wall instrumented of 6 force sensors, and a motion capture device of 24 cameras, which allowed us to collect data on a population of nine subjects. The analysis of these data is the second part of this thesis. The addressed challenge is to find the external forces and internal torques from the climber's movements only. To this end we assume an optimal distribution of internal torques. After analysis, the distribution turns out to be rather uniform than proportional to the muscle capacity associated to each body joint. Finally, in a third and last part, we focus on the timing of climbing gestures, taking as input the path of the climber, possibly after inverse kinematics in order to overcome the need for a capture with markers and infrared cameras. As output, an optimal timing for this path is found. This timing is realistic, but lacks of a modelization for hesitation and decision making instants, as well as a model for the contact establishment, with the associated temporal delay currently not taken into account.; À quel point les mouvements humains sont-ils optimaux ? Cette thèse aborde cette question en se concentrant particulièrement sur les mouvements en escalade, étudiés ici sous trois aspects complémentaires que sont la collecte expérimentale de séquences de grimpe, l'analyse biomécanique de ces données, et la synthèse de gestes par optimisation temporelle. La marche fut l'objet de nombreux travaux, avec de bons résultats notamment en animation [Mordatch 2013]. Nous nous intéressons ici spécialement au problème original des mouvements d'escalade, dont la diversité et leur caractère multicontact présentent une complexité intéressante pour l'évaluation des caractéristiques du mouvement humain. L'hétérogénéité du répertoire gestuel rencontrée en escalade s'explique par plusieurs facteurs que sont l'évolution sur des parois de formes variées, la multiplicité des niveaux d'expertise des pratiquants, et des disciplines différentes au sein même de l'activité, à savoir le bloc, la difficulté, ou encore l'escalade de vitesse. Notre démarche d'exploration de ce sport se décompose en trois étapes : la collecte de données par une capture de mouvements multicaméra avec marqueurs, couplée à un ensemble de capteurs de force montés sur un mur de bloc en laboratoire ; une analyse du geste par dynamique inverse, prenant exclusivement des données cinématiques pour entrées, basée sur une minimisation des couples internes pour résoudre l'ambiguïté du multicontact, intrinsèque à l'activité d'escalade, validée par comparaison avec les mesures capteurs ; et enfin, l'utilisation d'un critère d'efficacité énergétique pour synthétiser la meilleure temporisation associée à une séquence de déplacements donnés. Les enregistrements expérimentaux se sont fait à l'université McGill qui dispose d'un mur instrumenté de 6 capteurs de forces, et d'un dispositif de capture de mouvements 24 caméras, nous ayant permis de collecter des données sur une population de 9 sujets. L'analyse de ces données constitue la deuxième partie de cette thèse. Le défi abordé est de retrouver les forces externes et les efforts internes à partir uniquement des déplacements du grimpeur. Nous supposons pour cela une répartition optimale des efforts internes. Après analyse, cette répartition s'avère être plutôt uniforme que proportionnelle aux capacités musculaires des différentes articulations du corps. Finalement, dans une troisième et dernière partie, nous nous intéressons à la temporisation des gestes en escalade, en prenant en entrée la trajectoire du grimpeur, éventuellement issue de cinématique inverse pour s'affranchir de la nécessité d'une capture par marqueurs et caméras infra-rouges. En sortie, une temporisation idéale pour cette trajectoire est trouvée. Cette temporisation s'avère réaliste, mais manque d'une modélisation des instants d'hésitation et de prise de décision, ainsi que d'un modèle d'établissements de contact, phénomène présentant un délai temporel non pris en compte pour l'instant.

This document describes an overview of my research works on measurement and modeling for motion capture. The driving methodology has been dimensionality reduction for optimal modeling of articulated motion. My works covers topics on anatomical motion analysis from human to animals. In particular, the later has been studied thanks to dedicated experimental platforms including a low gravity set-up as well as an X-ray based facility.; Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.

This document describes an overview of my research works on measurement and modeling for motion capture. The driving methodology has been dimensionality reduction for optimal modeling of articulated motion. My works covers topics on anatomical motion analysis from human to animals. In particular, the later has been studied thanks to dedicated experimental platforms including a low gravity set-up as well as an X-ray based facility.; Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.

The users and uses inclusion in product design remains a difficult aspect to be addressed, especially when their characterization is very specific (in the case of disabled people or situations of uses in stressful environments). In this context, the purpose of this work is to contribute to a better consideration of the users and uses by the implementation of tools and methods to characterize them. This characterization integrated into the design process, helped to meet the needs of AE2M Association (Ergonomic Adaptation of Musical Equipments). It aims to provide assistive technologies for people with physical impairments. These systems allow them to play musical instruments with the same level of independence that able-bodied people. In the context of this thesis, we firstly proposed a common conceptualization of "disability situation" in our context and have highlighted the constraints to the success of this thesis. Secondly, we did a bibliography study about design approaches in the disabled context, Human-Machine Interface in the musical context, and means and methods for the analysis of the users' motors specificities. This step allowed us to propose a generic design process approach adapted to the context of the design of assistive technology for people with physical impairments. This CARACTH method is inspired from the User Centered Design methodology to which we propose to insert: (1) a specific users' motor characterization step and (2) a modular architecture product definition step. These proposals permitted (3) to simplifying the iteration phases within the design process to allow a quick and effective personalization of the product (control and operative parts). Next, a set of experiments was conducted in the laboratory and in situ. They allowed offering and validating the modular product architecture pertinence for facilitating the assistive devices design for music practice, but also for proposing a system named KinecLAB to measure and interpret user's gestural capabilities. This KinectLAB system was tested and validated with professional physiotherapists in the Michallon Grenoble Hospital. Finally, our CARACTH process was applied to design a customizable system adapted to the physical capabilities of a disabled user. We confirmed its successful integration into a use situation during musical concert. We also studied the relevance of customization on user performances and workload., La prise en compte des usagers et des usages dans la conception des produits reste un aspect difficile à traiter, en particulier lorsque leur caractérisation est très spécifique (c'est le cas des personnes handicapées ou des situations d'usages dans des environnements contraignants). Dans ce contexte, l'objet de ces travaux est de contribuer à une meilleure prise en compte des usagers et usages par la mise en place d'outils et de méthodes permettant de les caractériser. Cette caractérisation, intégrée dans un processus de conception de produits, a contribué à répondre aux besoins de l'Association AE2M (Adaptation Ergonomique du Matériel Musical). Celle-ci a pour objectif de mettre à disposition de personnes en situation de handicap moteur des aides techniques leur permettant de jouer un ou plusieurs instruments de musique avec le même niveau d'autonomie que les personnes valides. Dans le cadre de ce travail de thèse, nous avons tout d'abord proposé une conceptualisation commune de ce qu'est une situation de handicap et avons mis en avant les conditions de bon déroulement des travaux de recherche. Dans un second temps, nous avons effectué une étude bibliographique centrée sur les approches de conception liée au handicap, les interactions Homme Machine dans le contexte musicale et les moyens et méthodes d'analyse des spécificités motrices des sujets. Cette étape nous a permis de proposé une méthode générique de processus de conception adapté au contexte de la conception d'aides techniques pour personnes en situation de handicap. Cette méthode nommée CARACTH est inspirée de la méthodologie de la Conception Centrée Utilisateur à laquelle nous proposons d'insérer : (1) une étape de caractérisation des spécificités motrices des utilisateurs et (2) une étape pour la définition d'une architecture produit modulaire. Ces évolution permettent notamment (3) de simplifier les phases d'itérations à l'intérieur du processus de conception pour permettre une personnalisation efficace et rapide du produit (partie commande et partie opérative). Nous présentons ensuite un ensemble d'expérimentations menées au laboratoire et sur le terrain. Elles ont permis de proposer et de valider la pertinence de l'architecture produit modulaire pour faciliter la conception d'aides techniques pour la pratique musicale, mais aussi de concevoir un système nommé KinecLAB pour la mesure et l'interprétation des possibilités gestuelles des usagers. Ce système KinectLAB a été testé et validé auprès de professionnel kinésithérapeute du CHU Michallon de Grenoble. Enfin, notre processus CARACTH a été appliqué pour la conception d'un système personnalisable aux capacités motrices d'un utilisateur en situation de handicap. Nous avons pu vérifier sa bonne intégration dans une situation d'usage en concert et aussi d'étudier la pertinence de la personnalisation sur les performances et la charge de travail de l'utilisateur.

How optimal are human movements ? This thesis tackles this issue by focusing especially on climbing movements, studied here under three complementary aspects which are the experimental gathering of climbing sequences, the biomechanical analysis of these data, and the synthesis of gestures by timing optimization. Walking has been largely studied, with good results in animation [Mordatch 2013]. We are interested here especially in the original question of climbing motions, whose diversity and multicontact aspect present an interesting complexity for the evaluation of the human motion characteristics. The heterogeneity of climbing gestures can be linked to several factors which are the variety of wall shapes, the multiplicity of climber skill levels, and different climbing categories, namely bouldering, route climbing or speed climbing. Our exploratory approach of this sport consists in three steps: the data collection by multicamera marker-based motion capture, combined with a set of force sensors mounted on an in-laboratory bouldering wall; a gesture analysis by inverse dynamics, taking only kinematic data as inputs, based on the minimization of internal torques to resolve the multicontact ambiguity, intrinsic to the climbing activity, validated by comparison with sensor measurements; and finally, the use of the energy efficiency criterion for synthesizing the best timing associated with a given sequence of movements. Experimental recordings were made at McGill University which has a climbing wall instrumented of 6 force sensors, and a motion capture device of 24 cameras, which allowed us to collect data on a population of nine subjects. The analysis of these data is the second part of this thesis. The addressed challenge is to find the external forces and internal torques from the climber's movements only. To this end we assume an optimal distribution of internal torques. After analysis, the distribution turns out to be rather uniform than proportional to the muscle capacity associated to each body joint. Finally, in a third and last part, we focus on the timing of climbing gestures, taking as input the path of the climber, possibly after inverse kinematics in order to overcome the need for a capture with markers and infrared cameras. As output, an optimal timing for this path is found. This timing is realistic, but lacks of a modelization for hesitation and decision making instants, as well as a model for the contact establishment, with the associated temporal delay currently not taken into account., À quel point les mouvements humains sont-ils optimaux ? Cette thèse aborde cette question en se concentrant particulièrement sur les mouvements en escalade, étudiés ici sous trois aspects complémentaires que sont la collecte expérimentale de séquences de grimpe, l'analyse biomécanique de ces données, et la synthèse de gestes par optimisation temporelle. La marche fut l'objet de nombreux travaux, avec de bons résultats notamment en animation [Mordatch 2013]. Nous nous intéressons ici spécialement au problème original des mouvements d'escalade, dont la diversité et leur caractère multicontact présentent une complexité intéressante pour l'évaluation des caractéristiques du mouvement humain. L'hétérogénéité du répertoire gestuel rencontrée en escalade s'explique par plusieurs facteurs que sont l'évolution sur des parois de formes variées, la multiplicité des niveaux d'expertise des pratiquants, et des disciplines différentes au sein même de l'activité, à savoir le bloc, la difficulté, ou encore l'escalade de vitesse. Notre démarche d'exploration de ce sport se décompose en trois étapes : la collecte de données par une capture de mouvements multicaméra avec marqueurs, couplée à un ensemble de capteurs de force montés sur un mur de bloc en laboratoire ; une analyse du geste par dynamique inverse, prenant exclusivement des données cinématiques pour entrées, basée sur une minimisation des couples internes pour résoudre l'ambiguïté du multicontact, intrinsèque à l'activité d'escalade, validée par comparaison avec les mesures capteurs ; et enfin, l'utilisation d'un critère d'efficacité énergétique pour synthétiser la meilleure temporisation associée à une séquence de déplacements donnés. Les enregistrements expérimentaux se sont fait à l'université McGill qui dispose d'un mur instrumenté de 6 capteurs de forces, et d'un dispositif de capture de mouvements 24 caméras, nous ayant permis de collecter des données sur une population de 9 sujets. L'analyse de ces données constitue la deuxième partie de cette thèse. Le défi abordé est de retrouver les forces externes et les efforts internes à partir uniquement des déplacements du grimpeur. Nous supposons pour cela une répartition optimale des efforts internes. Après analyse, cette répartition s'avère être plutôt uniforme que proportionnelle aux capacités musculaires des différentes articulations du corps. Finalement, dans une troisième et dernière partie, nous nous intéressons à la temporisation des gestes en escalade, en prenant en entrée la trajectoire du grimpeur, éventuellement issue de cinématique inverse pour s'affranchir de la nécessité d'une capture par marqueurs et caméras infra-rouges. En sortie, une temporisation idéale pour cette trajectoire est trouvée. Cette temporisation s'avère réaliste, mais manque d'une modélisation des instants d'hésitation et de prise de décision, ainsi que d'un modèle d'établissements de contact, phénomène présentant un délai temporel non pris en compte pour l'instant.

La simulation du geste humain est une thématique de recherche importante et trouve notamment une application dans l'analyse ergonomique pour l'aide à la conception de postes de travail. Le sujet de cette thèse concerne la génération automatique de tâches d'atteinte dans le plan horizontal pour un humanoïde. Ces dernières, à partir d'un objectif exprimé dans l'espace de la tâche, requièrent une coordination de l'ensemble des liaisons. L'une des principales difficultés rencontrées lors de la simulation de gestes réalistes est liée à la redondance naturelle de l'humain. Notre démarche est focalisée principalement sur deux aspects : - le mouvement de la main dans l'espace opérationnel (trajectoire spatiale et profil temporel), - la coordination des différentes sous-chaînes cinématiques. Afin de caractériser le mouvement humain, nous avons mené une campagne de capture de mouvements pour des gestes d'atteinte contraignant la position et l'orientation de la main dans le plan horizontal. Ces acquisitions nous ont permis de connaître l'évolution spatiale et temporelle de la main dans l'espace de la tâche, en translation et en rotation. Ces données acquises couplées à une méthode de rejeu ont également permis d'analyser les relations intrinsèques qui lient l'espace de la tâche à l'espace articulaire du mannequin. Le schéma de génération automatique de mouvements réalistes est basé sur une pile de tâche avec une approche cinématique. L'hypothèse retenue pour simuler le geste est de suivre le chemin le plus court dans l'espace de la tâche tout en bornant le coût dans l'espace articulaire. Un ensemble de paramètres permet de régler le schéma. Il en résulte une cartographie de réglages qui permet de simuler une classe de mouvements réalistes. Enfin, ce schéma de génération automatique de mouvements réalistes est validé par une comparaison quantitative et qualitative entre la simulation et le geste humain.

Ambulatory motion capture is of great interest for applications ranging for the monitoring of elderly people, sporty performances monitoring, functional rehabilitation, etc. These applications require that the movement is not constrained by an external system, that it can be performed in different situations, including outdoor environment. It requires lightweight and low cost equipment; it must be truly ambulatory without complex process of calibration.Currently, only systems using an exoskeleton or inertial modules (often combined with magnetic modules) can be used in such situations. Unfortunately, the exoskeleton weight is not affordable and it imposes constraints on the movements of the person, which makes it unusable for certain applications such as monitoring of the elderly.Inertial technology is lighter. Itcan be used for the capture of movement without constraints on the capture space or on the movements. However, it suffers from gyros drift, and the system must be recalibrated.The objective of this thesis is to develop a system of motion capture for an articulated chain, low-cost, real-time truly ambulatory that does not require specific capture infrastructure, that can be used in many application fields (rehabilitation, sport, leisure, etc.).We focus on intra-corporal measurements. Thus, all sensors are placed on the body and no external device is used. In addition to a final demonstrator to validate the proposed approach, we also develop tools to evaluate the system in terms of technology, number and position of sensors, but also to evaluate different algorithms for data fusion. To do this, we use the Cramer-Rao lower bound. \\The subject is multidisciplinary. It addresses aspects of modelling and design of fully ambulatory hybrid systems. It studies estimation algorithms adapted to the field of motion capture of a whole body by considering the problem of observability of the state and taking into account the biomechanical constraints that can be taken into account. Thus, with an appropriate treatment, the pose of a subject can be reconstructed in real time from intra-body measurements., La capture de mouvement ambulatoire est un sujet en plein essor pour des applications aussi diverses que le suivi des personnes âgées, l'assistance des sportifs de haut niveau, la réhabilitation fonctionnelle, etc. Ces applications exigent que le mouvement ne soit pas contraint par un système externe, qu’il puisse être réalisé dans différentes situations, y compris en extérieur, que l’équipement soit léger et à un faible coût, qu’il soit réellement ambulatoire et sans procédure complexe de calibration.Actuellement, seuls les systèmes utilisant un exosquelette ou bien des modules inertiels (souvent combinés avec des modules magnétiques) permettent d'effectuer de la capture de mouvement de façon ambulatoire. Le poids de l’exosquelette est très important et il impose des contraintes sur les mouvements de la personne, ce qui le rend inutilisable pour certaines applications telles que le suivi de personnes âgées. La technologie inertielle est plus légère. Elle permet d'effectuer la capture du mouvement sans contrainte sur l’espace de mesure ou sur les mouvements réalisés. Par contre, elle souffre de dérives des gyromètres, et le système doit être recalibré.L'objectif de cette thèse est de développer un système de capture de mouvement de chaînes articulées, bas-coût et temps réel, réellement ambulatoire, ne nécessitant pas d'infrastructure de capture spécifique, permettant une utilisation dans de nombreux domaines applicatifs (rééducation, sport, loisirs, etc.).On s'intéresse plus particulièrement à des mesures intra-corporelles. Ainsi, tous les capteurs sont placés sur le corps et aucun dispositif externe n'est utilisé. Outre un démonstrateur final permettant de valider l'approche proposée, on s'astreint à développer également des outils qui permettent de dimensionner le système en termes de technologie, nombre et position des capteurs, mais également à évaluer différents algorithmes de fusion des données. Pour ce faire, on utilise la borne de Cramer-Rao.Le sujet est donc pluridisciplinaire. Il traite des aspects de modélisation et de dimensionnement de systèmes hybrides entièrement ambulatoires. Il étudie des algorithmes d'estimation adaptés au domaine de la capture de mouvement corps entier en traitant les problématiques d'observabilité de l'état et en tenant compte des contraintes biomécaniques pouvant être appliquées. Ainsi, un traitement adapté permet de reconstruire en temps réel la posture du sujet à partir de mesures intra-corporelles, la source étant également placée sur le corps.

Session "Posters"; National audience; Nous présentons une méthode permettant la mesure complète de la pose de la tête lors de captures vidéo monoculaires. Ce procédé utilise un modèle de visage et de texture précis. Le modèle facial, construit à partir d'une distribution de scans 3D haute résolution de visages, permet de générer des densités adaptées aux résolutions effectives. L'étape d'initialisation de la position du modèle est cruciale car elle conditionne le suivi ultérieur de la pose. Nous proposons ainsi d'utiliser une métrique composite construite sur des textures extraites de trois bases de données différentes. L'algorithme est alors capable de suivre le visage dans de vastes plages de poses avec une grande précision. Nous proposons des séquences vidéo de test dotées de vérité-terrain de pose précise et indépendante (précision de 0.1 degrés RMS)

In this thesis, we propose novel, data-driven representations for humanposes, suitable for real-time synthesis of novel character motion. Inthe first part, we exploit Lie group statistical analysis techniques (PrincipalGeodesic Analysis, PGA) to approximate the pose manifold of amotion capture sequence by a reduced set of pose geodesics. We proposean inverse kinematics algorithm using this reduced parametrizationto automatically produce poses that are close to the learning set. Wedemonstrate the efficiency of the resulting pose model by an applicationto motion capture data compression, where only a few end-effector trajectoriesare used to recover a good approximation of the initial data.In the second part, we extend this approach to the physically-basedanimation of virtual characters. The PGA-reduced parametrization providesgeneralized coordinates in a Lagrangian formulation of mechanics.We derive an explicit time integrator by approximating existingvariational integrators, and propose a damping model based on theLevenberg-Marquardt algorithm. We also describe a geometric, datadriven,angular limit learning algorithm, and the associated kinematicconstraints.In the third part, we reach the problem of task-space motion control.By formulating both physical simulation and inverse kinematicstime stepping schemes as two quadratic programs, we propose a simplepseudo-control algorithm that interpolates between the two metrics.This allows for an intuitive trade-off between uncontrolled simulationand kinematic manipulation. Since this approach makes use of externalforces, we propose an alternate formulation using only the generalizedforces associated to the pose parametrization. A control algorithmis obtained by the relaxation of the exact, non-convex control problemunder unilateral constraints, into a convex quadratic program. Thesealgorithms are evaluated on simple balance and tracking controllers., Dans cette thèse, nous proposons de nouvelles representations pourles poses du mouvement humain, apprises sur des données réelles, envue d’une synthèse de nouveaux mouvements en temps-réel. Dans unepremière partie, nous exploitons une méthode statistique adaptée auxgroupes de Lie (Analyse en Géodésiques Principales, AGP) pour approximerla variété des poses d’un sujet en mouvement, à partir de donnéesde capture de mouvement. Nous proposons un algorithme de cinématiqueinverse exploitant cette paramétrisation réduite, permettantpar construction de synthétiser des poses proches des données initiales.Nous validons ce modèle cinématique par une application à la compressionde données de mouvements, dans laquelle seules quelques trajectoiresdes extrémités des membres du squelettes permettent de reconstruireune bonne approximation de l’ensemble des données initiales.Dans une deuxième partie, nous étendons cette approche à l’animationphysique de personnages virtuels. La paramétrisation réduitepar AGP fournit les coordonnées généralisées de la formulation Lagrangiennede la mécanique. Nous dérivons un intégrateur temporelexplicite basé sur les intégrateurs variationnels. Afin d’en améliorer lastabilité, nous proposons un modèle d’amortissement inspiré de l’algorithmede Levenberg-Marquardt. Nous présentons également une méthodegéométrique d’apprentissage des limites angulaires sur des donnéesde capture de mouvement, ainsi que leur application comme contraintescinématiques.Dans une troisième partie, nous abordons le problème du contrôledu mouvement. En formulant les étapes de la simulation physique d’unepart, et de la cinématique inverse d’autre part comme deux programmesquadratiques, nous proposons un algorithme de pseudo-contrôle parinterpolation des métriques, permettant un compromis intuitif entre simulationphysique non-contrôlée, et cinématique inverse. Cette approchefaisant intervenir des forces externes, nous proposons une formulationalternative, utilisant uniquement les forces associées à la paramétrisationréduite des poses. Cette formulation est obtenue par relaxationdu problème théorique de contrôle sous contraintes unilatérales, nonconvexe,en un programme quadratique convexe. Ces algorithmes sontévalués sur des contrôleurs d’équilibre et de suivi.

Facial animation is one of the key points of the realism of 3D scenes featuring virtual humans. This is due to several reasons : face and the many muscles that compose it can generate a multitude of expressions ; then, our faculty of perception provides us a great ability to detect and analyze its smallest variations. This complexity is reflected in existing approaches by the fact that it is very difficult to create an animation without a long and a tedious manual work. Based on these observations, this thesis aims to develop techniques that contribute to the process of creating facial animation. Three main themes have been addressed. The first concerns the rigging issue of a virtual 3D face for animation. Rigging aims at defining control parameters in order to deform and animate the face. The second deals with the animation, especially on the animation retargeting issue. The goal is to propose a method to animate a character’s face from various data. These data can be obtained from a motion capture system or from an existing 3D facial animation. Finally, we focus on animation finescale details like wrinkles. Although these are thin and discreet, their deformations play an important part in the perception and analysis of emotions. Therefore we propose a monocular acquisition technique and a reference pose based method to synthetise dynamically animation fine details over the face. The purpose is to propose methods to facilitate and improve the process of creating realistic facial animations for interactive applications. We focused on ease to use in addition to the real-time aspect. Moreover, we offer the possibility to the user or graphist to interact in order to personalize its creation and/or improve the results, L’animation faciale est l’un des points clés dans le réalisme des scènes 3D qui mettent en scène des personnages virtuels. Ceci s’explique principalement par les raisons suivantes : le visage et les nombreux muscles qui le composent permettent de générer une multitude d’expressions ; ensuite, notre faculté de perception nous permet de détecter et d’analyser ses mouvements les plus fins. La complexité de ce domaine se retrouve dans les approches existantes par le fait qu’il est très difficile de créer une animation de qualité sans un travail manuel long et fastidieux. Partant de ce constat, cette thèse a pour but de développer des techniques qui contribuent au processus de création d’animations faciales. Trois thèmes sont principalement abordés. Le premier concerne la paramétrisation du visage pour l’animation. La paramétrisation a pour but de définir des moyens de contrôle pour pouvoir déformer et animer le visage. Le second s’oriente sur l’animation, et plus particulièrement sur le transfert d’animation. Le but est de proposer une méthode qui permette d’animer le visage d’un personnage à partir de données variées. Ces données peuvent être issues d’un système de capture de mouvement, ou bien elles peuvent être obtenues à partir de l’animation d’un personnage virtuel qui existe déjà. Enfin, nous nous sommes concentrés sur les détails fins liés à l’animation comme les rides. Bien que ces rides soient fines et discrètes, ces déformations jouent un rôle important dans la perception et l’analyse des émotions. C’est pourquoi nous proposons une technique d’acquisition mono-caméra et une méthode à base de poses références pour synthétiser dynamiquement les détails fins d’animation sur le visage. L’objectif principal des méthodes proposées est d’offrir des solutions afin de faciliter et d’améliorer le processus de création d’animations faciales réalistes utilisées dans le cadre d’applications en temps réel. Nous nous sommes particulièrement concentrés sur la facilité d’utilisation et sur la contrainte du temps réel. De plus, nous offrons la possibilité à l’utilisateur ou au graphiste d’interagir afin de personnaliser sa création et/ou d’améliorer les résultats obtenus

I review my research activities in Video Indexing and Action Recognition and sketch a research agenda for bringing those two lines of research together to address the difficult problem of recognizing actions in movies. I first present a series of older projects in Video Indexing, starting with the DIVAN project at INA and the MPEG expert group (1998-2000), and continuing at INRIA under the VIBES project (2001-2004). This research falls under the general approach of "computational media aesthetics", where we attempt to recognize film events based on our knowledge of filming styles and conventions (cinematography and editing). This is illustrated with two applications - the automatic segmentation of TV news into topics; and the automatic indexing of movies with their scripts. I then present my more recent research in Action Recognition with the MOVI group at INRIA (2005-2008). Building upon the GRIMAGE infrastructure, I present experiments in (1) learning and recognizing a small repertoire of full body gestures in 3D using "motion history volumes"; (2) segmenting a raw stream of 3D image sequences into recognizable "primitive actions" ; and (3) using statistical models learned in 3D for recovering primitive actions and relative camera positions from a single 2D video recording of similar actions.; Je présente mes activités de recherche en indexation video et en reconnaissance d'actions, et je propose un programme de recherche permettant d'aborder ensemble ces deux questions au cours des prochaines années. Je décris d'abord une série de travaux réalisés dans le cadre du groupe MPEG et des projets DIVAN à l'INA (1998-2000), puis VIBES à l'INRIA (2001-2004), et qui visent à aborder l'indexation video à travers la reconnaissance des styles et conventions de la prise de vues et du montage. Cette première partie est illustrée par deux applications - le découpage d'un journal télévisé en sujets, et l'indexation d'un film de cinéma par son script. Je présente ensuite des travaux réalisés à l'INRIA en 2005-2008 au sein de l'équipe MOVI. Je montre comment nous avons utilisé l'infrastructure GRIMAGE pour (1) apprendre des modèles statistiques 3D d'un petit répertoire d'actions humaines permettant de les reconnaitre lorsqu'elles sont exécutées par d'autres acteurs, sous d'autres points de vue ; (2) découper une séquence d'images 3D en actions primitives reconnaissables; et (3) reconnaître ces mêmes actions selon le point de vue d'une seule caméra. Enfin, je propose quelques pistes pour étendre les résultats précédents afin d'aborder simultanément les deux problèmes de la reconnaissance des actions et des styles de mise en scène dans les films. Je présente les avantages et les difficultés d'une approche unifiée de ces deux problèmes, ainsi que des applications possibles dans les domaines de la fiction interactive, du jeu vidéo et du machinima.

I review my research activities in Video Indexing and Action Recognition and sketch a research agenda for bringing those two lines of research together to address the difficult problem of recognizing actions in movies. I first present a series of older projects in Video Indexing, starting with the DIVAN project at INA and the MPEG expert group (1998-2000), and continuing at INRIA under the VIBES project (2001-2004). This research falls under the general approach of "computational media aesthetics", where we attempt to recognize film events based on our knowledge of filming styles and conventions (cinematography and editing). This is illustrated with two applications - the automatic segmentation of TV news into topics; and the automatic indexing of movies with their scripts. I then present my more recent research in Action Recognition with the MOVI group at INRIA (2005-2008). Building upon the GRIMAGE infrastructure, I present experiments in (1) learning and recognizing a small repertoire of full body gestures in 3D using "motion history volumes"; (2) segmenting a raw stream of 3D image sequences into recognizable "primitive actions" ; and (3) using statistical models learned in 3D for recovering primitive actions and relative camera positions from a single 2D video recording of similar actions.; Je présente mes activités de recherche en indexation video et en reconnaissance d'actions, et je propose un programme de recherche permettant d'aborder ensemble ces deux questions au cours des prochaines années. Je décris d'abord une série de travaux réalisés dans le cadre du groupe MPEG et des projets DIVAN à l'INA (1998-2000), puis VIBES à l'INRIA (2001-2004), et qui visent à aborder l'indexation video à travers la reconnaissance des styles et conventions de la prise de vues et du montage. Cette première partie est illustrée par deux applications - le découpage d'un journal télévisé en sujets, et l'indexation d'un film de cinéma par son script. Je présente ensuite des travaux réalisés à l'INRIA en 2005-2008 au sein de l'équipe MOVI. Je montre comment nous avons utilisé l'infrastructure GRIMAGE pour (1) apprendre des modèles statistiques 3D d'un petit répertoire d'actions humaines permettant de les reconnaitre lorsqu'elles sont exécutées par d'autres acteurs, sous d'autres points de vue ; (2) découper une séquence d'images 3D en actions primitives reconnaissables; et (3) reconnaître ces mêmes actions selon le point de vue d'une seule caméra. Enfin, je propose quelques pistes pour étendre les résultats précédents afin d'aborder simultanément les deux problèmes de la reconnaissance des actions et des styles de mise en scène dans les films. Je présente les avantages et les difficultés d'une approche unifiée de ces deux problèmes, ainsi que des applications possibles dans les domaines de la fiction interactive, du jeu vidéo et du machinima.

Vegetation is present all around us and we are accustomed to see trees and other plants everyday. Its accurate representation is thus an essential part of the realistic depiction of natural scenes in a virtual environment. Due to the complexity of both vegetation and its reaction to wind load, such representation are still being unresolved issues of research in computer graphics. In a first step to the development of suitable models of animated plants, it is thus essential to understand as much as possible all the phenomena which produce the observable motion of trees. This thesis is organized in two parts. The first is on the acquisition and the reproduction of the motion of real plants and contains three chapters. The second is on mechanical simulation of plants dynamics and is divided in two chapters. In the first part, chapter 2 describes experimental work I have done and participated to within the Chene-Roseau project and shows the obtained data on plants response to natural wind load and manual excitation. We also discuss how features observable in a video can be automatically tracked along the sequence and presents some methods I have developed. These algorithms have been put in a software I developed that also focus on user interaction to compensate for the limitation of automatic techniques. An explanation is given in chapter 3 of how manual input can be used to extract reliable motion data from video. At the end of the first part, chapter 4 presents our results on structure extraction from 2D motion data (previously extracted from a video) and its retargeting. The statistical study of 2D motion data I have developed is discussed. We show how it can be used to extract a valid hierarchical branches structure that holds the plants motion and how it is used to reproduce the observed motion on a virtual model. In the second part, simulation method of tree response to wind load is discussed. In chapter 5, a state of the art of existing real-time animation technique is given. We introduce several concept of mechanics and simulation of elastic structure dynamics in order to compare all described methods. Finally chapter 6 presents the methods developed in collaboration with Mathieu Rodriguez on the real-time simulation of thousands of trees in response to interactive wind.; Vegetation is present all around us and we are accustomed to see trees and other plants everyday. Its accurate representation is thus an essential part of the realistic depiction of natural scenes in a virtual environment. Due to the complexity of both vegetation and its reaction to wind load, such representation are still being unresolved issues of research in computer graphics. In a first step to the development of suitable models of animated plants, it is thus essential to understand as much as possible all the phenomena which produce the observable motion of trees. This thesis is organized in two parts. The first is on the acquisition and the reproduction of the motion of real plants and contains three chapters. The second is on mechanical simulation of plants dynamics and is divided in two chapters. In the first part, chapter 2 describes experimental work I have done and participated to within the Chene-Roseau project and shows the obtained data on plants response to natural wind load and manual excitation. We also discuss how features observable in a video can be automatically tracked along the sequence and presents some methods I have developed. These algorithms have been put in a software I developed that also focus on user interaction to compensate for the limitation of automatic techniques. An explanation is given in chapter 3 of how manual input can be used to extract reliable motion data from video. At the end of the first part, chapter 4 presents our results on structure extraction from 2D motion data (previously extracted from a video) and its retargeting. The statistical study of 2D motion data I have developed is discussed. We show how it can be used to extract a valid hierarchical branches structure that holds the plants motion and how it is used to reproduce the observed motion on a virtual model. In the second part, simulation method of tree response to wind load is discussed. In chapter 5, a state of the art of existing real-time animation technique is given. We introduce several concept of mechanics and simulation of elastic structure dynamics in order to compare all described methods. Finally chapter 6 presents the methods developed in collaboration with Mathieu Rodriguez on the real-time simulation of thousands of trees in response to interactive wind.

A major challenge in Robotics is the one of the personal robot. An underlying goal is to enable the mobile robot to navigate autonomously in crowded places. While moving, the robot must detect and take into account the human presence in its neighborhood, i.e. in order to avoid them, to ease their moves or to secure them. However, for an active interaction, the robot must also be able to sense their posture, attitude or gestures. With this intention, we set up a visual human motion capture system from cameras embedded on the robot. A 3D rough model of the human body is proposed, integrating bio-mechanical and anthropomorphic considerations. The goal is then to match this model with the images by exploiting various 2D visual cues (edges, color, movement) together with a 3D sparse reconstruction of the scene. In order to estimate the posture and the configuration of the 3D model, well-known particle filter techniques are applied. Evolutions are proposed to tackle the problem more efficiently and to satisfy the real-time constraints of our applicative context. We use a gradual approach by studying two different contexts. First, we focus on a ubiquist robotics context, which proposes two fixed ambiance cameras with different and complementary view points. Second, a mobile robotics context is set up, with stereo cameras embedded on the robot.This work has been done in the Robotics Action Perception (RAP) group at LAAS-CNRS.; Un défi majeur de la Robotique aujourd'hui est sans doute celui du robot personnel. Un objectif sous-jacent est de permettre à un robot mobile de naviguer de manière autonome dans un environnement de grandes dimensions en présence de public. Lors de son évolution, le robot doit pouvoir détecter et prendre en compte la présence d'humains dans son voisinage, par exemple pour les éviter, leur céder le passage, faciliter ou sécuriser leurs déplacements. Cependant, pour une interaction active, le robot doit également être capable de percevoir et d'interpréter leurs postures, leurs démarches ou leurs gestes. Dans ce but, nous souhaitons mettre en place un système de suivi visuel des mouvements humains à partir des caméras embarquées sur le robot. Une représentation 3D fruste de l'enveloppe corporelle est proposée à partir de considérations biomécaniques et anthropomorphes. La démarche consiste alors à recaler ce modèle dans les images obtenues en exploitant plusieurs indices visuels 2D (contours, couleur, mouvements) complétés par une reconstruction 3D éparse de la scène. Pour estimer les paramètres de situation et de configuration du modèle 3D, nous exploitons les techniques de filtrage particulaire, bien connues en suivi visuel. Des évolutions de l'algorithme générique de filtrage sont cependant envisagées afin de répondre plus efficacement au problème posé et de satisfaire des contraintes temporelles cohérentes avec le contexte applicatif. Afin d'aborder les problèmes de manière graduelle, deux contextes sont étudiés. Le premier, de type robotique ubitquiste, repose sur l'utilisation de caméras d'ambiance fixes proposant des points de vue différents et complémentaires de la scène à étudier. Le second, de type robotique mobile, exploite des caméras stéréoscopiques embarquées sur le robot.Ce travail a été effectué au sein du groupe Robotique Action Perception (RAP) du LAAS-CNRS.