Search

This thesis deals with the capture, annotation, synthesis and evaluation of arm and hand motions for the animation of avatars communicating in Sign Languages (SL). Currently, the production and dissemination of SL messages often depend on video recordings which lack depth information and for which editing and analysis are complex issues. Signing avatars constitute a powerful alternative to video. They are generally animated using either procedural or data-driven techniques. Procedural animation often results in robotic and unrealistic motions, but any sign can be precisely produced. With data-driven animation, the avatar’s motions are realistic but the variety of the signs that can be synthesized is limited and/or biased by the initial database. As we considered the acceptance of the avatar to be a prime issue, we selected the data-driven approach but, to address its main limitation, we propose to use annotated motions present in an SL Motion Capture database to synthesize novel SL signs and utterances absent from this initial database. To achieve this goal, our first contribution is the design, recording and perceptual evaluation of a French Sign Language (LSF) Motion Capture database composed of signs and utterances performed by deaf LSF teachers. Our second contribution is the development of automatic annotation techniques for different tracks based on the analysis of the kinematic properties of specific joints and existing machine learning algorithms. Our last contribution is the implementation of different motion synthesis techniques based on motion retrieval per phonological component and on the modular reconstruction of new SL content with the additional use of motion generation techniques such as inverse kinematics, parameterized to comply to the properties of real motions.; Cette thèse porte sur la capture, l’annotation, la synthèse et l’évaluation des mouvements des mains et des bras pour l’animation d’avatars communiquant en Langues des Signes (LS). Actuellement, la production et la diffusion de messages en LS dépendent souvent d’enregistrements vidéo qui manquent d’informations de profondeur et dont l’édition et l’analyse sont difficiles. Les avatars signeurs constituent une alternative prometteuse à la vidéo. Ils sont généralement animés soit à l’aide de techniques procédurales, soit par des techniques basées données. L’animation procédurale donne souvent lieu à des mouvements peu naturels, mais n’importe quel signe peut être produit avec précision. Avec l’animation basée données, les mouvements de l’avatar sont réalistes mais la variété des signes pouvant être synthétisés est limitée et/ou biaisée par la base de données initiale. Privilégiant l’acceptation de l’avatar, nous avons choisi l’approche basée sur les données mais, pour remédier à sa principale limitation, nous proposons d’utiliser les mouvements annotés présents dans une base de mouvements de LS capturés pour synthétiser de nouveaux signes et énoncés absents de cette base. Pour atteindre cet objectif, notre première contribution est la conception, l’enregistrement et l’évaluation perceptuelle d’une base de données de capture de mouvements en Langue des Signes Française (LSF) composée de signes et d’énoncés réalisés par des enseignants sourds de LSF. Notre deuxième contribution est le développement de techniques d’annotation automatique pour différentes pistes d’annotation basées sur l’analyse des propriétés cinématiques de certaines articulations et des algorithmes d’apprentissage automatique existants. Notre dernière contribution est la mise en œuvre de différentes techniques de synthèse de mouvements basées sur la récupération de mouvements par composant phonologique et sur la reconstruction modulaire de nouveaux contenus de LSF avec l’utilisation de techniques de génération de mouvements, comme la cinématique inverse, paramétrées pour se conformer aux propriétés des mouvements réels.

This thesis deals with the capture, annotation, synthesis and evaluation of arm and hand motions for the animation of avatars communicating in Sign Languages (SL). Currently, the production and dissemination of SL messages often depend on video recordings which lack depth information and for which editing and analysis are complex issues. Signing avatars constitute a powerful alternative to video. They are generally animated using either procedural or data-driven techniques. Procedural animation often results in robotic and unrealistic motions, but any sign can be precisely produced. With data-driven animation, the avatar’s motions are realistic but the variety of the signs that can be synthesized is limited and/or biased by the initial database. As we considered the acceptance of the avatar to be a prime issue, we selected the data-driven approach but, to address its main limitation, we propose to use annotated motions present in an SL Motion Capture database to synthesize novel SL signs and utterances absent from thisinitial database. To achieve this goal, our first contribution is the design, recording and perceptual evaluation of a French Sign Language (LSF) Motion Capture database composed of signs and utterances performed by deaf LSF teachers. Our second contribution is the development of automatic annotation techniques for different tracks based on the analysis of the kinematic properties of specific joints and existing machine learning algorithms. Our last contribution is the implementation and evaluation of different motion synthesis techniques based on motion retrieval per phonological component and on the modular reconstruction of new SL content with the additional use of motion generation techniques such as inverse kinematics, parameterized tocomply to the properties of real motions.; Cette thèse porte sur la capture, l’annotation, la synthèse et l’évaluation des mouvements des mains et des bras pour l’animation d’avatars communiquant en Langues des Signes (LS). Actuellement, la production et la diffusion de messages en LS dépendent souvent d’enregistrements vidéo qui ne possèdent pas d’informations de profondeur et dont l’édition et l’analyse sont difficiles. Les avatars signeurs constituent une alternative prometteuse à la vidéo. Ils sont généralement animés soit à l’aide de techniques procédurales, soit par des techniques basées données.L’animation procédurale donne souvent lieu à des mouvements peu naturels, mais n’importe quel signe peut être produit avec précision. Avec l’animation basée données, les mouvements de l’avatar sont réalistes mais la variété des signes pouvant être synthétisés est limitée et/ou biaisée par la base de données initiale. Privilégiant l’acceptation de l’avatar, nous avons choisi l’approche basée sur les données mais, pour remédier à sa principale limitation, nous proposons d’utiliser les mouvements annotés présents dans une base de mouvements de LS capturés pour synthétiser de nouveaux signes et énoncés absents de cette base.Pour atteindre cet objectif, notre première contribution est la conception, l’enregistrement et l’évaluation perceptuelle d’une base de données de capture de mouvements en Langue des Signes Française (LSF) composée de signes et d’énoncés réalisés par des enseignants sourds de LSF. Notre deuxième contribution est le développement de techniques d’annotation automatique pour différentes pistes d’annotationbasées sur l’analyse des propriétés cinématiques de certaines articulations et des algorithmes d’apprentissage automatique existants. Notre dernièrecontribution est la mise en oeuvre et l’évaluation de différentes techniques de synthèse de mouvements basées sur la récupération de mouvements par composant phonologique et sur la reconstruction modulaire de nouveaux contenus de LSF avec l’utilisation de techniques de génération de mouvements, comme la cinématique inverse, paramétrées pour se conformer aux propriétés des mouvements réels.

National audience; Nous présentons une approche pour la reconnaissance d'expressions corporelles qui accompagnent le mouvement d'un personnage réel. L'idée développée dans cet article s'inspire de travaux en synthèses d'animations. Notre sys-tème se base sur l'analyse de la différence obtenue dans le domaine fréquentiel entre un mouvement expressif et un mouvement neutre. Dans ce papier, nous introduisons la notion de mouvement neutre et proposons un algorithme qui permet de l'obtenir par la minimisation d'une fonction de coût global. Le coût global tient compte de la distance parcourue par les différentes articulations et l'accéléra-tion de chaque articulation au cours du mouvement. Nous avons évalué notre méthode sur différentes bases de don-nées contenant des mouvements et expressions corporelles hétérogènes. Les résultats obtenus sont encourageants et confirment la validité de notre démarche.

In this thesis we are interested in designing a mobile robot able to analyze the behavior and movement of a a person in indoor and cluttered environment. Our goal is to equip the robot by visual perception capabilities of the human posture to better analyze situations that require understanding of person with which the robot interacts, or detect risk situations such as falls or analyze motor skills of the person. Motion capture in a dynamic and crowded environment raises multiple challenges such as learning the background of the environment and extracting the silhouette that can be partially observable when the person is in hidden places. These difficulties make motion capture difficult. Most of existing methods assume that the scene is static and the person is always fully visible by the camera. These approaches are not able to work in such realitsit conditions. In this thesis, We propose a new motion capture system capable of tracking a person in realistic world conditions. Our approach uses a 3D occupancy grid with a hidden Markov model to continuously learn the changing background of the scene and to extract silhouette of the person, then a hierarchical particle filtering algorithm is used to reconstruct the posture. We propose a novel occlusion management algorithm able to identify and discards hidden body parts of the person from process of the pose estimation. We also proposed a new database containing RGBD images with ground truth data in order to establish a new benchmark for the assessment of motion capture systems in a real environment with occlusions. The ground truth is obtained from a motion capture system based on high-precision marker with eight infrared cameras. All data is available online. The second contribution of this thesis is the development of a new visual odometry method to localize an RGB-D camera mounted on a robot moving in a dynamic environment. The major difficulty of the localization in a dynamic environment, is that mobile objects in the scene induce additional movement that generates outliers pixels. These pixels should be excluded from the camera motion estimation process in order to produce accurate and precise localization. We thus propose an extension of the dense localization method based on the optical flow method to remove outliers pixels using the RANSAC algorithm.; Dans cette thèse nous intéressons à la conception d'un robot mobile capable d’analyser le comportement et le mouvement d’une personne en environnement intérieur et encombré, par exemple le domicile d’une personne âgée. Plus précisément, notre objectif est de doter le robot des capacités de perception visuelle de la posture humaine de façon à mieux maîtriser certaines situations qui nécessitent de comprendre l’intention des personnes avec lesquelles le robot interagit, ou encore de détecter des situations à risques comme les chutes ou encore d’analyser les capacités motrices des personnes dont il a la garde. Le suivi de la posture dans un environnement dynamique et encombré relève plusieurs défis notamment l'apprentissage en continue du fond de la scène et l'extraction la silhouette qui peut être partiellement observable lorsque la personne est dans des endroits occultés. Ces difficultés rendent le suivi de la posture une tâche difficile. La majorité des méthodes existantes, supposent que la scène est statique et la personne est toujours visible en entier. Ces approches ne sont pas adaptées pour fonctionner dans des conditions réelles.Nous proposons, dans cette thèse, un nouveau système de suivi capable de suivre la posture de la personne dans ces conditions réelles. Notre approche utilise une grille d'occupation avec un modèle de Markov caché pour apprendre en continu l'évolution de la scène et d'extraire la silhouette, ensuite un algorithme de filtrage particulaire hiérarchique est utilisé pour reconstruire la posture. Nous proposons aussi un nouvel algorithme de gestion d'occlusion capable d'identifier et d'exclure les parties du corps cachées du processus de l'estimation de la pose. Finalement, nous avons proposé une base de données contenant des images RGB-D avec la vérité-terrain dans le but d'établir une nouvelle référence pour l'évaluation des systèmes de capture de mouvement dans un environnement réel avec occlusions. La vérité-terrain est obtenue à partir d'un système de capture de mouvement à base de marqueur de haute précision avec huit caméras infrarouges. L'ensemble des données est disponible en ligne. La deuxième contribution de cette thèse, est le développement d'une méthode de localisation visuelle à partir d'une caméra du type RGB-D montée sur un robot qui se déplace dans un environnement dynamique. En effet, le système de capture de mouvement que nous avons développé doit équiper un robot se déplaçant dans une scène. Ainsi, l'estimation de mouvement du robot est importante pour garantir une extraction de silhouette correcte pour le suivi. La difficulté majeure de la localisation d'une caméra dans un environnement dynamique, est que les objets mobiles de la scène induisent un mouvement supplémentaire qui génère des pixels aberrants. Ces pixels doivent être exclus du processus de l'estimation du mouvement de la caméra. Nous proposons ainsi une extension de la méthode de localisation dense basée sur le flux optique pour isoler les pixels aberrants en utilisant l'algorithme de RANSAC.

The work conducted in this thesis can be summarized into four main steps.Firstly, we proposed a multi-level body movement notation system that allows the description ofexpressive body movement across various body actions. Secondly, we collected a new databaseof emotional body expression in daily actions. This database constitutes a large repository of bodilyexpression of emotions including the expression of 8 emotions in 7 actions, combining video andmotion capture recordings and resulting in more than 8000 sequences of expressive behaviors.Thirdly, we explored the classification of emotions based on our multi-level body movement notationsystem. Random Forest approach is used for this purpose. The advantage of using RandomForest approach in our work is double-fold : 1) reliability of the classification model and 2) possibilityto select a subset of relevant features based on their relevance measures. We also comparedthe automatic classification of emotions with human perception of emotions expressed in differentactions. Finally, we extracted the most relevant features that capture the expressive content of themotion based on the relevance measure of features returned by the Random Forest model. Weused this subset of features to explore the characterization of emotional body expression acrossdifferent actions. A Decision Tree model was used for this purpose., Ce travail de thèse peut être résumé en quatre étapes principales. Premièrement, nousavons proposé un système d’annotation multi-niveaux pour décrire le mouvement corporel expressif dansdifférentes actions. Deuxièmement, nous avons enregistré une base de données de l’expression corporelledes émotions dans des actions quotidiennes. Cette base de données constitue un large corpus de comportementsexpressifs considérant l’expression de 8 émotions dans 7 actions quotidiennes, combinant à la fois lesdonnées audio-visuelle et les données de capture de mouvement et donnant lieu à plus que 8000 séquencesde mouvement expressifs. Troisièmement, nous avons exploré la classification des émotions en se basantsur notre système d’annotation multi-niveaux. L’approche des forêts aléatoires est utilisée pour cette fin. L’utilisationdes forêts aléatoires dans notre travail a un double objectif : 1) la fiabilité du modèle de classification,et 2) la possibilité de sélectionner un sous-ensemble de paramètres pertinents en se basant sur la mesured’importance retournée par le modèle. Nous avons aussi comparé la classification automatique des émotionsavec la perception humaine des émotions exprimées dans différentes actions. Finalement, nous avonsextrait les paramètres les plus pertinents qui retiennent l’expressivité du mouvement en se basant sur la mesured’importance retournée par le modèle des forêts aléatoires. Nous avons utilisé ce sous-ensemble deparamètres pour explorer la caractérisation de l’expression corporelle des émotions dans différentes actionsquotidiennes. Un modèle d’arbre de décision a été utilisé pour cette fin.

How optimal are human movements ? This thesis tackles this issue by focusing especially on climbing movements, studied here under three complementary aspects which are the experimental gathering of climbing sequences, the biomechanical analysis of these data, and the synthesis of gestures by timing optimization. Walking has been largely studied, with good results in animation [Mordatch 2013]. We are interested here especially in the original question of climbing motions, whose diversity and multicontact aspect present an interesting complexity for the evaluation of the human motion characteristics. The heterogeneity of climbing gestures can be linked to several factors which are the variety of wall shapes, the multiplicity of climber skill levels, and different climbing categories, namely bouldering, route climbing or speed climbing. Our exploratory approach of this sport consists in three steps: the data collection by multicamera marker-based motion capture, combined with a set of force sensors mounted on an in-laboratory bouldering wall; a gesture analysis by inverse dynamics, taking only kinematic data as inputs, based on the minimization of internal torques to resolve the multicontact ambiguity, intrinsic to the climbing activity, validated by comparison with sensor measurements; and finally, the use of the energy efficiency criterion for synthesizing the best timing associated with a given sequence of movements. Experimental recordings were made at McGill University which has a climbing wall instrumented of 6 force sensors, and a motion capture device of 24 cameras, which allowed us to collect data on a population of nine subjects. The analysis of these data is the second part of this thesis. The addressed challenge is to find the external forces and internal torques from the climber's movements only. To this end we assume an optimal distribution of internal torques. After analysis, the distribution turns out to be rather uniform than proportional to the muscle capacity associated to each body joint. Finally, in a third and last part, we focus on the timing of climbing gestures, taking as input the path of the climber, possibly after inverse kinematics in order to overcome the need for a capture with markers and infrared cameras. As output, an optimal timing for this path is found. This timing is realistic, but lacks of a modelization for hesitation and decision making instants, as well as a model for the contact establishment, with the associated temporal delay currently not taken into account.; À quel point les mouvements humains sont-ils optimaux ? Cette thèse aborde cette question en se concentrant particulièrement sur les mouvements en escalade, étudiés ici sous trois aspects complémentaires que sont la collecte expérimentale de séquences de grimpe, l'analyse biomécanique de ces données, et la synthèse de gestes par optimisation temporelle. La marche fut l'objet de nombreux travaux, avec de bons résultats notamment en animation [Mordatch 2013]. Nous nous intéressons ici spécialement au problème original des mouvements d'escalade, dont la diversité et leur caractère multicontact présentent une complexité intéressante pour l'évaluation des caractéristiques du mouvement humain. L'hétérogénéité du répertoire gestuel rencontrée en escalade s'explique par plusieurs facteurs que sont l'évolution sur des parois de formes variées, la multiplicité des niveaux d'expertise des pratiquants, et des disciplines différentes au sein même de l'activité, à savoir le bloc, la difficulté, ou encore l'escalade de vitesse. Notre démarche d'exploration de ce sport se décompose en trois étapes : la collecte de données par une capture de mouvements multicaméra avec marqueurs, couplée à un ensemble de capteurs de force montés sur un mur de bloc en laboratoire ; une analyse du geste par dynamique inverse, prenant exclusivement des données cinématiques pour entrées, basée sur une minimisation des couples internes pour résoudre l'ambiguïté du multicontact, intrinsèque à l'activité d'escalade, validée par comparaison avec les mesures capteurs ; et enfin, l'utilisation d'un critère d'efficacité énergétique pour synthétiser la meilleure temporisation associée à une séquence de déplacements donnés. Les enregistrements expérimentaux se sont fait à l'université McGill qui dispose d'un mur instrumenté de 6 capteurs de forces, et d'un dispositif de capture de mouvements 24 caméras, nous ayant permis de collecter des données sur une population de 9 sujets. L'analyse de ces données constitue la deuxième partie de cette thèse. Le défi abordé est de retrouver les forces externes et les efforts internes à partir uniquement des déplacements du grimpeur. Nous supposons pour cela une répartition optimale des efforts internes. Après analyse, cette répartition s'avère être plutôt uniforme que proportionnelle aux capacités musculaires des différentes articulations du corps. Finalement, dans une troisième et dernière partie, nous nous intéressons à la temporisation des gestes en escalade, en prenant en entrée la trajectoire du grimpeur, éventuellement issue de cinématique inverse pour s'affranchir de la nécessité d'une capture par marqueurs et caméras infra-rouges. En sortie, une temporisation idéale pour cette trajectoire est trouvée. Cette temporisation s'avère réaliste, mais manque d'une modélisation des instants d'hésitation et de prise de décision, ainsi que d'un modèle d'établissements de contact, phénomène présentant un délai temporel non pris en compte pour l'instant.

This document describes an overview of my research works on measurement and modeling for motion capture. The driving methodology has been dimensionality reduction for optimal modeling of articulated motion. My works covers topics on anatomical motion analysis from human to animals. In particular, the later has been studied thanks to dedicated experimental platforms including a low gravity set-up as well as an X-ray based facility.; Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.

This document describes an overview of my research works on measurement and modeling for motion capture. The driving methodology has been dimensionality reduction for optimal modeling of articulated motion. My works covers topics on anatomical motion analysis from human to animals. In particular, the later has been studied thanks to dedicated experimental platforms including a low gravity set-up as well as an X-ray based facility.; Il est beaucoup plus fréquent d'entendre parler de capture que de mesure de mouvement. On peut y voir l'intuition que derrière le mot mouvement se conçoit un phénomène plus complexe que la donnée de marqueurs qui en constitue aujourd'hui la norme d'instrumentation rigoureuse. Si le marqueur est quantifiable, le mouvement conserve une qualité supplémentaire à explorer. Je retrace ainsi ici les travaux de recherche que j'ai encadrés ces dernières années sur cette notion de capture de mouvement, à travers les outils scientifiques que sont la mesure et le modèle. Mes activités ont été initialement dédiées à l'animation 3D, puis se sont progressivement tournées vers des enjeux liés à l'anatomie. Les contributions en animation 3D ont d'abord porté sur la recherche d'espaces paramétriques optimaux pour mesurer et générer le mouvement articulé. L'optimalité est à prendre ici au sens de la recherche d'une réduction de dimensions qui préserve au mieux la qualité du mouvement. Elle s'est déclinée autour d'applications pour l'analyse vidéo du mouvement, en particuliers animal, sur la compression de données de mouvement articulé et l'édition de pose de personnage 3D. Ces différents thèmes ce sont structurés autour de modèles d'analyse statistique multidimensionnelle appris des différentes sources données, vidéo ou articulaires, conduisant à un paramétrage de haut niveau du mouvement. J'ai ensuite abordé différents aspects de l'intégration de données réelles dans des modèles d'animation physiques. Le mouvement animal a été étudié à travers une simulation de quadrupèdes dont les paramètres ont été optimisés par rapport à des données "terrain". Le mouvement humain a quant à lui été modélisé à travers le développement d'une formulation en mécanique Lagrangienne des paramètres de haut niveau identifiés précédemment. Une mesure des aspects dynamiques a été menée pour les situations de contacts multiples avec une application d'estimation de forces directement à partir de la cinématique. Une grande partie de mon activité de recherche a aussi porté sur le développement de systèmes expérimentaux pour le petit animal de laboratoire. Les tests sur rongeurs sont les premières étapes de toute mise sur le marché de médicament, de l'évaluation de la toxicité de substance chimique impliquée dans l'agro-alimentaire et de beaucoup de recherche en génétique grace au phénotypage. L'activité motrice est un indice princeps du comportement et donc sa quantification un enjeu important. Je me suis donc intéressé à la mesure 3D du mouvement du rongeur sous diverses conditions, du laboratoire d'anatomie comparée au vol parabolique en apesanteur. Des modèles anatomiques 3D ont été développés et couplés aux méthodes d'estimation de mouvement à partir de la vidéo. Ces recherches expérimentales ont conduit à la mise en place d'une nouvelle plateforme d'analyse construite autour d'un réseau de caméras et de cinéradiograpie biplanaire.

How optimal are human movements ? This thesis tackles this issue by focusing especially on climbing movements, studied here under three complementary aspects which are the experimental gathering of climbing sequences, the biomechanical analysis of these data, and the synthesis of gestures by timing optimization. Walking has been largely studied, with good results in animation [Mordatch 2013]. We are interested here especially in the original question of climbing motions, whose diversity and multicontact aspect present an interesting complexity for the evaluation of the human motion characteristics. The heterogeneity of climbing gestures can be linked to several factors which are the variety of wall shapes, the multiplicity of climber skill levels, and different climbing categories, namely bouldering, route climbing or speed climbing. Our exploratory approach of this sport consists in three steps: the data collection by multicamera marker-based motion capture, combined with a set of force sensors mounted on an in-laboratory bouldering wall; a gesture analysis by inverse dynamics, taking only kinematic data as inputs, based on the minimization of internal torques to resolve the multicontact ambiguity, intrinsic to the climbing activity, validated by comparison with sensor measurements; and finally, the use of the energy efficiency criterion for synthesizing the best timing associated with a given sequence of movements. Experimental recordings were made at McGill University which has a climbing wall instrumented of 6 force sensors, and a motion capture device of 24 cameras, which allowed us to collect data on a population of nine subjects. The analysis of these data is the second part of this thesis. The addressed challenge is to find the external forces and internal torques from the climber's movements only. To this end we assume an optimal distribution of internal torques. After analysis, the distribution turns out to be rather uniform than proportional to the muscle capacity associated to each body joint. Finally, in a third and last part, we focus on the timing of climbing gestures, taking as input the path of the climber, possibly after inverse kinematics in order to overcome the need for a capture with markers and infrared cameras. As output, an optimal timing for this path is found. This timing is realistic, but lacks of a modelization for hesitation and decision making instants, as well as a model for the contact establishment, with the associated temporal delay currently not taken into account., À quel point les mouvements humains sont-ils optimaux ? Cette thèse aborde cette question en se concentrant particulièrement sur les mouvements en escalade, étudiés ici sous trois aspects complémentaires que sont la collecte expérimentale de séquences de grimpe, l'analyse biomécanique de ces données, et la synthèse de gestes par optimisation temporelle. La marche fut l'objet de nombreux travaux, avec de bons résultats notamment en animation [Mordatch 2013]. Nous nous intéressons ici spécialement au problème original des mouvements d'escalade, dont la diversité et leur caractère multicontact présentent une complexité intéressante pour l'évaluation des caractéristiques du mouvement humain. L'hétérogénéité du répertoire gestuel rencontrée en escalade s'explique par plusieurs facteurs que sont l'évolution sur des parois de formes variées, la multiplicité des niveaux d'expertise des pratiquants, et des disciplines différentes au sein même de l'activité, à savoir le bloc, la difficulté, ou encore l'escalade de vitesse. Notre démarche d'exploration de ce sport se décompose en trois étapes : la collecte de données par une capture de mouvements multicaméra avec marqueurs, couplée à un ensemble de capteurs de force montés sur un mur de bloc en laboratoire ; une analyse du geste par dynamique inverse, prenant exclusivement des données cinématiques pour entrées, basée sur une minimisation des couples internes pour résoudre l'ambiguïté du multicontact, intrinsèque à l'activité d'escalade, validée par comparaison avec les mesures capteurs ; et enfin, l'utilisation d'un critère d'efficacité énergétique pour synthétiser la meilleure temporisation associée à une séquence de déplacements donnés. Les enregistrements expérimentaux se sont fait à l'université McGill qui dispose d'un mur instrumenté de 6 capteurs de forces, et d'un dispositif de capture de mouvements 24 caméras, nous ayant permis de collecter des données sur une population de 9 sujets. L'analyse de ces données constitue la deuxième partie de cette thèse. Le défi abordé est de retrouver les forces externes et les efforts internes à partir uniquement des déplacements du grimpeur. Nous supposons pour cela une répartition optimale des efforts internes. Après analyse, cette répartition s'avère être plutôt uniforme que proportionnelle aux capacités musculaires des différentes articulations du corps. Finalement, dans une troisième et dernière partie, nous nous intéressons à la temporisation des gestes en escalade, en prenant en entrée la trajectoire du grimpeur, éventuellement issue de cinématique inverse pour s'affranchir de la nécessité d'une capture par marqueurs et caméras infra-rouges. En sortie, une temporisation idéale pour cette trajectoire est trouvée. Cette temporisation s'avère réaliste, mais manque d'une modélisation des instants d'hésitation et de prise de décision, ainsi que d'un modèle d'établissements de contact, phénomène présentant un délai temporel non pris en compte pour l'instant.

Session "Posters"; National audience; Nous présentons une méthode permettant la mesure complète de la pose de la tête lors de captures vidéo monoculaires. Ce procédé utilise un modèle de visage et de texture précis. Le modèle facial, construit à partir d'une distribution de scans 3D haute résolution de visages, permet de générer des densités adaptées aux résolutions effectives. L'étape d'initialisation de la position du modèle est cruciale car elle conditionne le suivi ultérieur de la pose. Nous proposons ainsi d'utiliser une métrique composite construite sur des textures extraites de trois bases de données différentes. L'algorithme est alors capable de suivre le visage dans de vastes plages de poses avec une grande précision. Nous proposons des séquences vidéo de test dotées de vérité-terrain de pose précise et indépendante (précision de 0.1 degrés RMS)